Konfigurasi Kafka Writer - DataWorks

Untuk mengonfigurasi Kafka Writer, Anda hanya perlu memilih tabel tempat Anda ingin menulis data dan mengonfigurasi pemetaan bidang.

Prasyarat

Node pembaca atau konversi telah dikonfigurasi. Untuk informasi lebih lanjut, lihat Jenis sumber data yang mendukung sinkronisasi real-time.

Informasi latar belakang

Deduplikasi tidak didukung untuk data yang ingin Anda tulis ke Kafka. Jika Anda mengatur ulang offset untuk node sinkronisasi Anda atau node sinkronisasi Anda di-restart setelah failover, data duplikat mungkin akan ditulis ke Kafka.

Prosedur

Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sebelah kiri, pilih Data Development and O&M > Data Development. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Development.
Di panel Alur Kerja Terjadwal pada halaman DataStudio, gerakkan penunjuk mouse di atas ikon dan pilih Create Node > Data Integration > Real-time Synchronization.
Sebagai alternatif, temukan alur kerja yang diinginkan di panel Alur Kerja Terjadwal, klik kanan nama alur kerja, dan pilih Create Node > Data Integration > Real-time Synchronization.
Di kotak dialog Create Node, atur parameter Sync Method menjadi End-to-end ETL dan konfigurasikan parameter Name dan Path.
Klik Confirm.
Di tab konfigurasi node sinkronisasi real-time, seret Kafka di bagian Output ke kanvas di sebelah kanan dan hubungkan node Kafka ke node pembaca atau konversi yang telah dikonfigurasi.

Klik node Kafka. Di panel yang muncul, konfigurasikan parameter-parameter tersebut.

Parameter	Deskripsi
Data source	Nama sumber data Kafka yang Anda tambahkan ke DataWorks. Anda hanya dapat memilih sumber data Kafka. Jika tidak ada sumber data yang tersedia, klik New data source di sebelah kanan untuk pergi ke halaman Data Sources di Management Center untuk menambahkan sumber data Kafka. Untuk informasi lebih lanjut, lihat Tambahkan sumber data Kafka.
Topic	Nama topik Kafka tempat Anda ingin menulis data. Kafka memelihara feed pesan dalam kategori yang disebut topik. Setiap pesan yang dipublikasikan ke kluster Kafka diberi topik. Setiap topik berisi sekelompok pesan. Catatan Kafka Writer di setiap node sinkronisasi data hanya dapat menulis data ke satu topik.
Key Column	Nama kolom sumber yang nilainya di setiap baris digunakan sebagai kunci di topik Kafka tujuan. Jika Anda memilih beberapa kolom, nilai-nilai kolom di setiap baris digabungkan sebagai kunci menggunakan tanda koma (,). Jika Anda tidak memilih kolom, string kosong digunakan sebagai kunci di topik Kafka tujuan.
Value Column	Nama kolom sumber yang nilainya di setiap baris digabungkan sebagai nilai di topik Kafka tujuan. Jika Anda tidak memilih kolom, nilai semua kolom sumber di setiap baris digabungkan sebagai nilai di topik Kafka tujuan. Metode yang digunakan untuk menggabungkan nilai kolom sumber bergantung pada mode penulisan yang Anda tentukan. Untuk informasi lebih lanjut, lihat deskripsi parameter yang disediakan di Kafka Writer.
Key Type	Tipe data kunci di topik Kafka. Nilai parameter ini menentukan pengaturan key.serializer yang digunakan untuk menginisialisasi Kafka producer. Nilai valid: STRING, BYTEARRAY, DOUBLE, FLOAT, INTEGER, LONG, dan SHORT.
Value Type	Tipe data nilai di topik Kafka. Nilai parameter ini menentukan pengaturan value.serializer yang digunakan untuk menginisialisasi Kafka producer. Nilai valid: STRING, BYTEARRAY, DOUBLE, FLOAT, INTEGER, LONG, dan SHORT.
Amount of data written at one time	Jumlah byte yang ditulis dalam satu waktu. Kami merekomendasikan Anda mengatur parameter ini ke nilai yang lebih besar dari 16000.
Write Mode	Mode penulisan. Anda dapat menggunakan parameter ini untuk menentukan format di mana Kafka Writer menggabungkan nilai kolom nilai di sumber. Nilai valid: text dan json. Jika Anda mengatur parameter ini ke text, Kafka Writer menggabungkan nilai kolom menggunakan pemisah yang ditentukan. Jika Anda mengatur parameter ini ke json, Kafka Writer menggabungkan nilai kolom sebagai string JSON. Sebagai contoh, tiga kolom col1, col2, dan col3 diperoleh sebagai kolom nilai dari pembaca, dan nilai kolom di baris tertentu adalah a, b, dan c. Jika parameter Mode Penulisan diatur ke text dan parameter Pemisah Kolom diatur ke `#`, nilai yang disimpan di topik Kafka tujuan adalah `a#b#c`. Jika parameter Mode Penulisan diatur ke json, nilai yang disimpan di topik Kafka tujuan adalah string `{"col1":"a","col2":"b","col3":"c"}`.
Column separator	Pemisah yang digunakan untuk menggabungkan nilai kolom yang diperoleh dari pembaca jika parameter Mode Penulisan diatur ke text. Nilai kolom di setiap baris digabungkan sebagai nilai di topik Kafka tujuan. Anda dapat menentukan satu atau lebih karakter sebagai pemisah kolom. Anda dapat menentukan karakter Unicode dalam format `\u0001`. Karakter escape seperti `\t` dan `\n` didukung. Nilai default: `\t`.
Configuration parameters	Parameter ekstensi yang dapat Anda konfigurasikan saat membuat Kafka consumer. Sebagai contoh, Anda dapat mengonfigurasi parameter bootstrap.servers, acks, dan linger.ms. Anda dapat mengonfigurasi parameter dalam KafkaConfig untuk mengontrol perilaku pembacaan data Kafka consumer. Untuk node sinkronisasi real-time yang menyinkronkan data ke Kafka, nilai default parameter acks untuk Kafka consumer adalah all. Jika Anda memiliki persyaratan lebih tinggi untuk performa, Anda dapat menentukan nilai berbeda untuk parameter acks. Nilai valid untuk parameter acks: 0: Kafka consumer tidak mengakui apakah data ditulis ke tujuan. 1: Kafka consumer mengakui bahwa operasi penulisan berhasil jika data ditulis ke replika utama. all: Kafka consumer mengakui bahwa operasi penulisan berhasil jika data ditulis ke semua replika.

Di bilah alat atas tab konfigurasi node sinkronisasi real-time, klik ikon untuk menyimpan node.