Pelajari metrik yang tersedia untuk peringatan tugas sinkronisasi real-time dan lihat contoh praktik terbaik. - DataWorks

Di DataWorks Data Integration, Anda dapat mengonfigurasi aturan peringatan untuk memantau status tugas sinkronisasi real-time serta fase sinkronisasi real-time dari tugas sinkronisasi penuh dan inkremental. Topik ini menjelaskan metrik yang tersedia untuk aturan peringatan tersebut dan memberikan contoh praktik terbaik.

Metrik aturan peringatan

Anda dapat mengonfigurasi aturan peringatan untuk tugas sinkronisasi real-time di Operation Center DataWorks. Metrik peringatan yang tersedia mencakup Status, Business delay, Failover, Not Supported by DDL Statements, DDL Notification, dan Dirty Data. Saat membuat aturan baru, Anda juga harus mengonfigurasi parameter seperti Name, Description, threshold, Alert Interval, WARNING, CRITICAL, dan Recipients (Non-DingTalk).

Metric 1: Status

Description	Configuration recommendations
Metrik Status menggunakan heartbeat tugas untuk menentukan apakah tugas berfungsi dengan benar.	Konfigurasikan peringatan ini untuk semua tugas sinkronisasi real-time kritis. Tetapkan ambang batas peringatan minimal 3 menit untuk mencegah alarm palsu akibat fluktuasi jaringan atau masalah sementara lainnya.

Metric 2: Business delay

Description

Configuration recommendations

Peringatan Business delay menentukan apakah laju sinkronisasi mampu mengimbangi laju produksi data di sumber. Metrik ini mengukur selisih waktu antara pembuatan data di sumber dan pemrosesannya oleh tugas.

Ini adalah metrik peringatan inti. Kami merekomendasikan mengonfigurasikannya untuk semua tugas sinkronisasi real-time kritis. Untuk tugas dengan sumber Kafka, gunakan metrik Accumulated Messages sebagai gantinya.
Tetapkan ambang batas berdasarkan kebutuhan bisnis Anda. Kami merekomendasikan ambang batas dalam satuan menit untuk menghindari alarm palsu akibat fluktuasi jaringan atau lonjakan data sementara di sumber.

Metric 3: Accumulated Messages (Kafka sources only)

Description	Configuration recommendations
Metrik ini hanya tersedia untuk tugas sinkronisasi real-time yang menggunakan sumber Kafka. Metrik ini mengukur lag konsumen dengan membandingkan offset sumber di Kafka dan offset terakhir yang dikonsumsi.	Konfigurasikan peringatan ini untuk semua tugas sinkronisasi real-time kritis yang menggunakan sumber Kafka.

Metric 4: Failover

Description	Configuration recommendations
Event Failover terjadi ketika proses sinkronisasi real-time keluar secara tidak terduga. Untuk meningkatkan keandalan proses, layanan kontrol Data Integration akan secara otomatis me-restart proses tersebut guna mencoba pemulihan.	Jika Anda perlu melacak failover tugas, konfigurasikan peringatan ini agar diberi tahu tentang restart yang sering terjadi, yang mungkin mengindikasikan adanya masalah stabilitas mendasar.

Metric 5: Unsupported DDL statements (deprecated)

Description	Configuration recommendations
Sinkronisasi real-time Data Integration mendukung beberapa event DDL dari sistem sumber. Untuk event DDL yang tidak didukung, Anda dapat menetapkan kebijakan penanganan seperti Ignore, Warning, atau Critical pada halaman konfigurasi DDL. Ketika event DDL dengan tingkat keparahan Warning atau Critical terjadi, metrik Not Supported by DDL Statements akan memicu peringatan.	Metrik ini sudah tidak digunakan lagi. Gunakan metrik DDL Notification sebagai gantinya, yang mencakup fungsionalitas ini.

Metric 6: DDL Notification

Description	Configuration recommendations
Metrik DDL Notification memungkinkan Anda memantau jenis DDL tertentu, terlepas dari kebijakan penanganan DDL. Ketika event DDL yang dipantau terjadi, metrik ini akan memicu peringatan.	Metrik ini mencakup fungsionalitas peringatan Not Supported by DDL Statements. Kami merekomendasikan penggunaan metrik ini untuk semua skenario pemantauan dan peringatan terkait DDL.

Metric 7: Dirty Data

Description

Configuration recommendations

Selama sinkronisasi real-time, data yang gagal ditulis ke tujuan diklasifikasikan sebagai dirty data. Konfigurasikan metrik ini agar diberi peringatan saat dirty data dihasilkan.

Secara default, tugas sinkronisasi real-time tidak mentolerir dirty data, sehingga Anda tidak perlu mengonfigurasi peringatan untuk metrik ini. Konfigurasikan hanya jika Anda mengubah kebijakan dirty data agar mentolerir dirty data setelah me-restart tugas dan Anda perlu diberi peringatan saat dirty data muncul.
Mengubah kebijakan dirty data menyebabkan data yang gagal ditulis dibuang, sehingga menimbulkan ketidaksesuaian antara sumber dan tujuan. Kami merekomendasikan untuk tidak mengubah kebijakan ini kecuali Anda memiliki alasan khusus.

Metode notifikasi peringatan

DataWorks mendukung beberapa metode notifikasi untuk peringatan tugas sinkronisasi real-time: email, pesan teks, DingTalk, dan webhook.

Email

DataWorks mengirim peringatan email ke alamat penerima yang dikonfigurasi pada halaman Alert Contacts di Konsol DataWorks. Jika tidak ada alamat yang dikonfigurasi, DataWorks akan mengirim peringatan ke alamat email Akun Alibaba Cloud yang terkait.

Catatan

Saat memeriksa email peringatan, pastikan email tersebut tidak masuk ke folder spam Anda.

Pesan teks

DataWorks mengirim peringatan pesan teks ke nomor telepon penerima yang dikonfigurasi pada halaman Alert Contacts di Konsol DataWorks. Jika tidak ada nomor yang dikonfigurasi, DataWorks akan mengirim peringatan ke nomor telepon Akun Alibaba Cloud yang terkait.

DingTalk

Pemberitahuan peringatan dikirim sebagai pesan teks ke grup DingTalk tertentu melalui chatbot DingTalk kustom. Masukkan token chatbot di bidang DingTalk Robot Token. Gunakan koma untuk memisahkan beberapa token. Anda juga dapat mengaktifkan fitur DingTalk Group Notification agar peringatan terlihat oleh semua anggota grup.

Penting

Setelah menambahkan chatbot DingTalk kustom ke grup, Anda harus menetapkan kata kunci kustom. Metode penyaringan lain tidak didukung. Anda harus menambahkan DataWorks sebagai kata kunci (case-sensitive). Jika tidak, grup tidak akan menerima pemberitahuan peringatan. Untuk panduan langkah demi langkah, lihat Use case: Send alert notifications to a DingTalk group.

Webhook

Pemberitahuan peringatan dikirim ke alamat web tertentu. Masukkan URL webhook produk target di bidang Webhook URL. Gunakan koma untuk memisahkan beberapa webhook.

Edisi yang tersedia: Fitur webhook hanya tersedia di DataWorks Enterprise Edition.
Target notifikasi yang didukung: WeCom dan Lark.

Kirim peringatan ke grup DingTalk

Tambahkan chatbot DingTalk

Catatan

Langkah-langkah berikut mungkin sedikit berbeda tergantung versi DingTalk Anda.

Buka grup DingTalk target untuk peringatan, lalu klik ikon Group Settings di pojok kanan atas.
Klik Bot.
Pada halaman Bot, klik Add Robot.
Pada halaman Robot Management, klik Add Robot.
Pada halaman Please choose which robot to add, klik Custom.
Pada kotak dialog Custom, klik Add.

Pada kotak dialog Add Robot, konfigurasi parameter berikut.

Parameter	Description
Chatbot name	Nama tampilan chatbot kustom.
Add to Group	Grup DingTalk tempat chatbot ditambahkan. Pengaturan ini tidak dapat diubah setelah dikonfigurasi.
Custom Keyword	Setelah menetapkan kata kunci, chatbot hanya akan mengirim pesan yang mengandung minimal satu kata kunci yang ditentukan. Anda harus menambahkan DataWorks sebagai kata kunci case-sensitive. Catatan Anda dapat menetapkan hingga 10 kata kunci. Pesan harus mengandung minimal satu kata kunci agar berhasil dikirim.

Pilih I have read and accepted the <<DingTalk Custom Robot Terms of Service>> lalu klik Completed.
Setelah menyelesaikan pengaturan keamanan, salin Webhook chatbot lalu klik Completed.

Penting
Jaga kerahasiaan URL webhook untuk menghindari risiko keamanan.

Buat aturan peringatan

Buka halaman pengaturan peringatan untuk tugas sinkronisasi real-time.
Login ke Konsol DataWorks. Di Operation Center, pada halaman Real-time Synchronization Task, temukan tugas sinkronisasi yang ingin Anda konfigurasi peringatannya, lalu klik Alert Settings di kolom Actions.
- Tab Alert Events menampilkan event alarm yang telah dipicu.
- Tab Alert Rules menampilkan aturan peringatan yang ada dan memungkinkan Anda membuat yang baru.
Klik tab Alert Rules lalu klik Create Rule.
Konfigurasi aturan peringatan.
Ikuti petunjuk di layar untuk mengonfigurasi nama aturan, deskripsi, dan parameter lainnya. Use case ini mengirim peringatan ke grup DingTalk. Parameter utamanya sebagai berikut.
- WARNING dan CRITICAL: Pilih DingTalk.
- DingTalk Robot Token: Masukkan token chatbot DingTalk.
- DingTalk Group Notification: Centang kotak Enable.
Penting
- Aturan peringatan akan diaktifkan secara otomatis setelah dikonfigurasi.
- Di lingkungan produksi, kami merekomendasikan mengonfigurasi dua metrik peringatan berikut:
  
  Gunakan metrik Task Status untuk memantau apakah tugas berjalan dengan baik.
  
  Gunakan metrik Business Latency atau Accumulated Messages untuk memantau apakah throughput sinkronisasi mampu mengimbangi laju produksi data di sumber.

Verifikasi konfigurasi aturan peringatan

Setelah menambahkan aturan peringatan, Anda dapat mengklik Test pada halaman aturan peringatan untuk memverifikasi bahwa konfigurasi sudah benar.