DataWorks:Pengaturan Data Integration

Cara kerja

Fitur Processing Policy for DDL Messages in Real-time Sync memungkinkan Anda menetapkan kebijakan sinkronisasi DDL (Data Definition Language) default untuk berbagai jenis sumber data tujuan, seperti MaxCompute dan Hologres. Setelah disimpan, sistem akan menerapkan kebijakan ini secara otomatis saat Anda membuat real-time synchronization task for an entire database baru.

1. Pilih jenis tujuan: Dari menu drop-down Synchronize To, pilih jenis sumber data tujuan.

2. Tetapkan kebijakan sinkronisasi: Untuk berbagai jenis pesan perubahan DDL sumber, seperti penambahan kolom atau pengosongan tabel, konfigurasikan dan simpan metode pemrosesan yang sesuai.

   • Normal treatment: Perubahan DDL diterapkan pada skema tujuan.

     Penting

     Saat kolom baru ditambahkan di sumber dan disinkronkan ke tujuan, sistem tidak melakukan backfill data historis ke kolom yang baru dibuat.

   • Ignore: Sistem membuang event DDL tersebut, dan skema tujuan tetap tidak berubah.

   • Error: Tugas sinkronisasi real-time dihentikan, dan sistem mengatur statusnya menjadi Error.

3. Setelah Anda menyimpan kebijakan, sistem akan menerapkannya secara otomatis saat Anda membuat tugas sinkronisasi real-time lain untuk seluruh database dengan jenis tujuan yang sama.

4. Untuk mengganti kebijakan tersebut pada satu tugas tertentu, klik Advanced Configuration > DDL Capability Configuration di pojok kanan atas halaman detail tugas untuk mengonfigurasi kebijakan pemrosesan pesan DDL khusus tugas tersebut.

Rekomendasi

Untuk sinkronisasi real-time dari sumber MySQL dan PolarDB for MySQL, tambahkan kolom baru di akhir tabel, bukan di tengah. Jika Anda harus menambahkan kolom di tengah tabel sumber, ikuti batasan berikut:

• Selama fase full initialization, jangan menambahkan kolom di tengah tabel. Melakukannya menyebabkan anomali data pada fase sinkronisasi real-time berikutnya.

• Selama fase real-time synchronization, Anda harus mengatur ulang offset sinkronisasi ke timestamp setelah kolom tersebut ditambahkan. Jika tidak, anomali data akan terjadi pada sinkronisasi berikutnya.

Jika terjadi anomali data, Anda dapat mengedit tugas untuk menghapus tabel yang memiliki kolom tambahan tersebut, lalu simpan tugas untuk memulihkan data.

Kasus penggunaan

• Standarisasi pengembangan: Simpan konfigurasi tugas umum sebagai templat agar anggota tim dapat menggunakannya kembali, sehingga menerapkan praktik pengembangan yang konsisten.

• Tingkatkan efisiensi pengembangan: Saat membuat tugas baru, Anda dapat memulai dari templat yang sudah ada untuk mempercepat pengembangan dan mengurangi pekerjaan berulang.

• Lestarikan pengetahuan: Simpan implementasi tugas yang kompleks atau berkualitas tinggi sebagai templat untuk memfasilitasi berbagi dan transfer pengetahuan.

Operasi utama

• Lihat daftar templat: Daftar ini menampilkan semua templat tugas yang tersedia di proyek saat ini, termasuk ID templat, nama, dan waktu pembaruan terakhir.

• Cari templat: Gunakan kotak pencarian di bagian atas untuk menemukan templat dengan cepat berdasarkan nama, ID, atau informasi sumber data terkait.

• Kelola templat: Di kolom Operation pada daftar, Anda dapat menghapus templat.

Kasus penggunaan

• Standarisasi pemantauan: Tetapkan standar peringatan seragam untuk berbagai jenis tugas (seperti tugas kritis dan rutin) atau skenario peringatan (seperti error, perlambatan, atau tidak dieksekusi).

• Tingkatkan efisiensi konfigurasi: Saat mengonfigurasi peringatan untuk suatu tugas, Anda dapat langsung mereferensikan aturan publik alih-alih berulang kali memasukkan informasi seperti metode notifikasi dan kontak.

• Manajemen terpusat: Kelola semua aturan peringatan dalam satu tampilan terpadu, sehingga mudah memodifikasi penerima notifikasi atau menyesuaikan ambang batas peringatan secara batch.

Operasi utama

• Buat aturan baru: Klik tombol Create untuk membuat Public Alert Rule. Definisikan Alert Rule Name, pilih Alert Reason (seperti latency bisnis, data kotor, atau failover), konfigurasikan Alert Notification Method (seperti panggilan telepon, SMS, email, DingTalk, webhook, atau Lark), dan atur Configure Advanced Parameters. Untuk informasi lebih lanjut tentang konfigurasi peringatan, lihat Best practices for configuring alerts for real-time synchronization tasks.

  Catatan

  • Untuk anomali terkait latency bisnis, status tugas, dan pemanfaatan resource tugas, Anda juga dapat mengaktifkan recovery notification untuk memberi tahu penerima saat status kembali normal.

  • Webhook dan Lark hanya tersedia di Edisi Perusahaan.

• Task Reference: Klik Task Reference untuk menerapkan atau menghapus aturan peringatan tersebut dari beberapa tugas secara efisien. Anda juga dapat mengaktifkan atau menjeda peringatan untuk tugas-tugas tersebut secara batch guna menghindari operasi berulang.

• Test: Kirim peringatan uji coba untuk memverifikasi bahwa konfigurasi peringatan benar dan notifikasi dikirimkan ke penerima yang ditentukan.

  Catatan

  Fitur ini mengirimkan notifikasi peringatan langsung. Gunakan dengan hati-hati untuk menghindari gangguan yang tidak perlu bagi orang lain.