DataWorks:Pengaturan Data Integration

Feature description

Fitur Processing Policy for DDL Messages in Real-time Sync memungkinkan Anda menetapkan kebijakan sinkronisasi DDL default untuk berbagai jenis sumber data tujuan, seperti MaxCompute dan Hologres. Setelah kebijakan ditetapkan, sistem akan secara otomatis memuat konfigurasi tersebut saat Anda membuat real-time sync task for an entire database baru, sehingga menyederhanakan proses konfigurasi.

1. Pilih jenis tujuan: Dari daftar drop-down Synchronize To, pilih jenis sumber data tujuan yang ingin Anda konfigurasi.

2. Tetapkan kebijakan sinkronisasi: Anda dapat mengonfigurasi dan menyimpan metode pemrosesan untuk berbagai jenis pesan perubahan DDL dari sumber, seperti penambahan kolom atau pengosongan tabel.

   • Normal treatment: Tujuan memproses pesan perubahan DDL dari sumber.

     Penting

     Jika kolom baru ditambahkan ke sumber dan juga dibuat di tujuan melalui sinkronisasi DDL, sistem tidak akan melakukan backfill data historis ke kolom baru tersebut di tabel tujuan.

   • Ignore: Pesan perubahan diabaikan dan tujuan tidak dimodifikasi.

   • Error: Tugas real-time sync untuk seluruh database dihentikan dan statusnya diubah menjadi Error.

3. Setelah kebijakan disimpan, sistem akan secara otomatis menerapkan kebijakan DDL yang telah disimpan saat Anda membuat tugas real-time sync untuk seluruh database baru dengan jenis tujuan ini.

4. Anda juga dapat mengklik Advanced Configuration > DDL Capability Configuration di pojok kanan atas halaman detail tugas untuk mengonfigurasi kebijakan pemrosesan pesan DDL untuk satu tugas tertentu, sehingga memungkinkan konfigurasi khusus.

Implementation recommendations

Untuk sinkronisasi real-time dari sumber MySQL dan PolarDB for MySQL, tambahkan kolom baru di akhir tabel, bukan di tengah field yang sudah ada. Jika Anda harus menambahkan kolom di tengah tabel sumber, perhatikan batasan berikut:

• Selama fase full initialization, jangan menambahkan kolom di tengah tabel. Jika dilakukan, anomali data akan terjadi selama fase sinkronisasi real-time.

• Selama fase real-time synchronization, Anda harus mengatur ulang offset sinkronisasi ke titik waktu setelah event DDL yang menambahkan kolom tersebut terjadi. Jika tidak, anomali data akan terjadi pada sinkronisasi real-time berikutnya.

Jika terjadi anomali data, Anda dapat mengedit tugas untuk menghapus tabel tempat kolom ditambahkan di tengah, lalu menerapkan pembaruan tersebut guna memulihkan data yang benar.

Core uses

• Standarisasi pengembangan: Anda dapat menyimpan konfigurasi tugas umum sebagai templat agar dapat digunakan kembali oleh anggota tim, sehingga membantu menstandarkan praktik pengembangan.

• Tingkatkan efisiensi pengembangan: Saat membuat tugas baru, Anda dapat memodifikasi templat yang sudah ada untuk menyelesaikan pengembangan dengan cepat dan mengurangi pekerjaan berulang.

• Lestarikan pengetahuan: Anda dapat menyimpan implementasi tugas yang unggul atau kompleks sebagai templat untuk berbagi dan mewariskan pengetahuan.

Main operations

• Lihat daftar templat: Anda dapat melihat semua templat tugas yang tersedia dalam proyek saat ini, termasuk ID templat, nama, dan waktu pembaruan.

• Ambil templat: Anda dapat menggunakan kotak pencarian di bagian atas untuk menemukan templat secara cepat berdasarkan nama tugas, ID templat, atau informasi sumber data terkait.

• Kelola templat: Di kolom Operation pada daftar, Anda dapat menghapus templat.

Core uses

• Standardize monitoring: Anda dapat menetapkan standar peringatan yang seragam untuk berbagai jenis tugas, seperti tugas kritis dan tugas normal, atau untuk berbagai skenario peringatan, seperti error, perlambatan, atau tidak berjalan.

• Improve configuration efficiency: Saat mengonfigurasi peringatan untuk suatu tugas, Anda dapat langsung mereferensikan aturan umum yang sudah ada, sehingga menghindari pengisian ulang informasi seperti metode notifikasi dan kontak.

• Centralize management: Anda dapat mengelola semua aturan peringatan dalam satu tampilan terpadu, sehingga mempermudah modifikasi kontak atau penyesuaian ambang batas peringatan secara batch.

Main operations

• Create a new rule: Anda dapat mengklik tombol Create untuk membuat aturan peringatan umum. Tetapkan Alert Rule Name dan Alert Reason, seperti latensi bisnis, data kotor, atau failover. Lalu, konfigurasikan Alert Notification Method, seperti panggilan telepon, pesan teks, email, DingTalk, webhook, atau Lark, serta Configure Advanced Parameters. Untuk informasi lebih lanjut tentang konfigurasi peringatan, lihat Best practices for configuring alerts for real-time sync tasks.

  Catatan

  • Sistem juga mendukung pengiriman notifikasi kepada penerima saat pemulihan terjadi untuk anomali latensi bisnis, status tugas, dan pemanfaatan resource tugas, asalkan notifikasi pemulihan diaktifkan.

  • Webhook dan Lark hanya tersedia di DataWorks Edisi Perusahaan.

• Task Reference: Anda dapat mengklik Task Reference untuk menerapkan aturan peringatan ke beberapa tugas sekaligus atau menghapusnya dari tugas-tugas tersebut. Anda juga dapat mengaktifkan atau menjeda peringatan untuk tugas-tugas tersebut secara batch guna menghindari operasi berulang.

• Test: Anda dapat mengirim peringatan uji coba untuk memverifikasi bahwa konfigurasi peringatan sudah benar dan pesan dapat dikirimkan ke penerima yang ditentukan.

  Catatan

  Fitur ini mengirim notifikasi peringatan yang sesungguhnya. Gunakan fitur ini dengan hati-hati agar tidak mengganggu orang lain.