DataWorks:Konfigurasi tugas sinkronisasi real-time tabel tunggal

1. Konfigurasi sumber

1. Di tab Configuration, pilih topik Kafka yang akan disinkronkan.

   Anda dapat menggunakan nilai default untuk konfigurasi lain atau memodifikasinya sesuai kebutuhan. Untuk informasi lebih lanjut tentang parameter tersebut, lihat dokumentasi resmi Kafka .

2. Di pojok kanan atas, klik Data Sampling.

   Di kotak dialog yang muncul, atur Start time dan Sampled Data Records, lalu klik Start Collection. Tindakan ini mengambil sampel data dari topik Kafka yang ditentukan. Anda dapat melihat pratinjau data tersebut, yang menjadi masukan untuk konfigurasi pratinjau dan visualisasi pada node pemrosesan data selanjutnya.

3. Di tab Configure Output Field, pilih bidang yang akan disinkronkan.

   Secara default, Kafka menyediakan enam bidang.

   Field Name	Description
   __key__	Kunci dari record Kafka.
   __value__	Nilai dari record Kafka.
   __partition__	Nomor partisi tempat record Kafka berada. Nomor partisi adalah bilangan bulat yang dimulai dari 0.
   __headers__	Header dari record Kafka.
   __offset__	Offset dari record Kafka dalam partisinya. Offset adalah bilangan bulat yang dimulai dari 0.
   __timestamp__	Stempel waktu UNIX 13 digit dalam milidetik untuk record Kafka.

   Anda juga dapat melakukan transformasi bidang lebih lanjut di node pemrosesan data selanjutnya.

2. Pemrosesan data

Aktifkan toggle Data Processing. Tersedia lima metode pemrosesan data: data masking, string replace, data filtering, JSON parsing, dan edit and assign fields. Anda dapat mengatur urutan metode ini sesuai preferensi. Saat runtime, metode tersebut dieksekusi secara berurutan.

Setelah mengonfigurasi node pemrosesan data, Anda dapat mengklik Preview Data Output di pojok kanan atas:

1. Tabel di bawah data masukan menampilkan hasil dari langkah Data Sampling sebelumnya. Anda dapat mengklik Re-obtain Output of Ancestor Node untuk memperbarui hasilnya.

2. Jika tidak ada output dari node hulu, Anda juga dapat menggunakan Manually Construct Data untuk mensimulasikan output sebelumnya.

3. Klik Preview untuk melihat data keluaran dari langkah hulu setelah diproses oleh komponen pemrosesan data.

Tabel Input Data menampilkan bidang pesan Kafka seperti key, value, partition, offset, dan timestamp. Bagian Preview Result menunjukkan bidang yang telah diurai setelah pemrosesan data, seperti pasangan kunci-nilai dari penguraian JSON. Bagian ini juga menunjukkan jumlah catatan data kotor yang ditemukan dan mencantumkan pernyataan: "Pratinjau yang ditampilkan di sini hanya sebagai referensi. Hasil eksekusi tugas aktual yang berlaku."

3. Konfigurasi tujuan

1. Di bagian Destination, pilih kelompok sumber daya Tunnel. Pilihan default adalah "Public Transport Resources", yang sesuai dengan kuota gratis untuk MaxCompute.

2. Tentukan apakah akan menulis ke tabel baru atau menggunakan tabel yang sudah ada.

   1. Jika Anda membuat tabel baru, Anda dapat memilih Create dari daftar drop-down. Secara default, tabel dengan struktur yang sama dengan sumber dibuat secara otomatis. Anda dapat mengubah nama dan skema tabel tujuan secara manual.

   2. Jika Anda memilih menggunakan tabel yang sudah ada, pilih tabel tujuan dari daftar drop-down.

3. (Opsional) Edit skema tabel.

   Klik ikon edit di samping nama tabel untuk memodifikasi skemanya. Anda dapat mengklik Re-generate Table Schema Based on Output Column of Ancestor Node untuk menghasilkan skema secara otomatis berdasarkan kolom output dari node hulu. Anda kemudian dapat memilih kolom dalam skema yang dihasilkan secara otomatis sebagai kunci utama.

Tugas sinkronisasi menyediakan parameter lanjutan untuk konfigurasi detail halus. Sistem menyediakan nilai default yang umumnya tidak perlu diubah. Untuk memodifikasinya:

1. Di pojok kanan atas halaman, klik Advanced Settings untuk membuka halaman konfigurasi Advanced Parameters.

   Catatan

   Di Data Development, konfigurasi lanjutan berada di tab di sisi kanan halaman konfigurasi tugas.

2. Anda dapat mengatur parameter secara terpisah untuk ujung baca dan tulis tugas sinkronisasi. Atur Automatically set runtime configuration ke false untuk menyesuaikan Runtime Configuration.

3. Ubah nilai parameter berdasarkan tooltip. Deskripsi setiap parameter ditampilkan di samping namanya. Untuk saran konfigurasi beberapa parameter, lihat Parameter lanjutan untuk sinkronisasi real-time.

1. Tambahkan peringatan

Pilih Use custom rules, lalu masukkan Alert Name dan Description. Metode notifikasi yang didukung meliputi Email, SMS, Phone, DingTalk, webhook, dan Feishu. Anda dapat mengonfigurasi metode ini secara independen untuk level WARNING dan CRITICAL. Penerima dapat ditentukan melalui on-call schedule atau ditambahkan secara manual.

(1) Klik Create Rule untuk mengonfigurasi aturan peringatan.

Anda dapat mengatur Alert Reason untuk memantau metrik seperti Business delay, failover, Task status, DDL Notification, dan Task Resource Utilization. Anda kemudian dapat menetapkan level peringatan CRITICAL atau WARNING berdasarkan ambang batas yang ditentukan.

• Setelah mengatur metode peringatan, Anda dapat menggunakan Configure Advanced Parameters untuk mengontrol interval pengiriman notifikasi peringatan, yang mencegah pembanjiran pesan dan pemborosan.

• Jika Anda memilih Business delay, Task status, atau Task Resource Utilization sebagai penyebab peringatan, Anda juga dapat mengaktifkan notifikasi pemulihan untuk memberi tahu penerima saat tugas kembali normal.

(2) Kelola aturan peringatan.

Untuk aturan peringatan yang sudah ada, Anda dapat menggunakan toggle untuk mengaktifkan atau menonaktifkannya. Anda juga dapat mengirim peringatan ke personel yang berbeda berdasarkan level peringatan.

2. Lihat peringatan

Di daftar tugas, perluas More > Configure Alert Rule untuk membuka halaman event peringatan dan melihat riwayat peringatan.