DataWorks:Konfigurasikan pemantauan kualitas data

Langkah 1: Buka konfigurasi aturan

1. Masuk ke DataWorks console. Di wilayah target, klik Data Governance > Data Quality di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Quality.

2. Buka halaman konfigurasi aturan untuk tabel tersebut.

   Di panel navigasi sebelah kiri halaman Data Quality, klik Configure Rules > Configure by Table. Temukan tabel target berdasarkan parameter berikut:

   • Connection: E-MapReduce.

   • Table: Dalam tutorial ini, Anda perlu mengonfigurasi aturan pemantauan untuk tabel dwd_log_info_di_emr.

3. Pada hasil pencarian, temukan tabel target dan klik Rule Management di kolom Actions untuk membuka halaman detail kualitas tabel tersebut.

Langkah 2: Konfigurasikan Monitor

Monitor memeriksa apakah data dalam rentang data (partisi) tertentu dari tabel target memenuhi ekspektasi Anda.

Pada langkah ini, atur Data Range Monitor menjadi dt=$[yyyymmdd-1]. Saat Monitor dijalankan, data dalam partisi yang sesuai akan diperiksa untuk menentukan apakah memenuhi persyaratan kualitas.

Artinya, setiap kali node penjadwalan untuk tabel dwd_log_info_di_emr dijalankan, Monitor tersebut akan dipicu. Monitor kemudian menggunakan aturan kualitas terkaitnya untuk memvalidasi data dalam rentang data yang ditentukan.

Ikuti langkah-langkah berikut:

1. Di tab Monitor, klik Create Monitor.

2. Konfigurasikan parameter Monitor. Parameter utama dijelaskan sebagai berikut:

   Parameter	Contoh
   Data Range	dt=$[yyyymmdd-1]
   Monitoring Rule	Akan dikonfigurasi pada langkah berikutnya.
   Trigger Method	Pilih Triggered by production scheduling dan pilih node dwd_log_info_di_emr yang telah Anda buat dalam topik Pemrosesan data.

   Catatan

   Untuk informasi lebih lanjut tentang cara mengonfigurasi Monitor, lihat Konfigurasi aturan: Berdasarkan tabel (tabel tunggal).

Langkah 3: Konfigurasikan aturan pemantauan

Tabel dwd_log_info_di_emr digunakan untuk memproses data dari tabel ods_raw_log_d_emr. Untuk mencegah pemrosesan tidak valid dan masalah kualitas, Anda mengonfigurasi Strong Rule berdasarkan templat Table is not empty. Aturan ini menentukan apakah node leluhur telah menulis data ke partisi tabel.

Jika jumlah baris yang dipantau pada partisi terkait di tabel dwd_log_info_di_emr adalah 0, peringatan akan dipicu, dan node dwd_log_info_di_emr gagal serta keluar, sehingga menghentikan eksekusi node turunan dari node dwd_log_info_di_emr.

Ikuti langkah-langkah berikut:

1. Di tab Rule Management, di bawah Monitor Perspective, pilih Monitor yang telah Anda buat (misalnya, raw_log_number_of_table_rows_not_0), lalu klik Create Rule untuk membuka panel Create Rule.

2. Di tab System Template, temukan aturan The number of rows is greater than 0. dan klik Use. Kemudian, ubah Degree of importance menjadi Strong rules.

   Catatan

   Dalam tutorial ini, aturan didefinisikan sebagai Strong Rule. Artinya, jika Monitor menemukan bahwa tabel dwd_log_info_di_emr memiliki nol baris, peringatan akan dipicu dan semua node turunan akan diblokir.

3. Klik Determine.

   Catatan

   Untuk informasi lebih lanjut tentang item konfigurasi lainnya, lihat Konfigurasi aturan: Berdasarkan tabel (tabel tunggal).

Langkah 4: Uji Monitor

Anda dapat menjalankan pengujian untuk memverifikasi bahwa aturan pemantauan telah dikonfigurasi dengan benar dan berfungsi sesuai harapan.

1. Klik Test Run untuk membuka kotak dialog Test Run.

2. Di kotak dialog Test Run, pilih Data Timestamp dan klik Test Run.

3. Setelah pengujian selesai, ikuti petunjuk di layar dan klik View Details untuk memeriksa hasilnya.

   Tab Current Run Record menampilkan informasi dalam tiga bagian: Informasi Aturan (termasuk nama aturan, ID, cakupan, templat, tingkat kepentingan, metode perbandingan, dan ambang batas); Informasi Eksekusi Tugas Deteksi (termasuk metode pemicu, waktu pemicu aturan, tanggal bisnis, waktu mulai aktual, dan waktu akhir aturan); serta Hasil Pengumpulan dan Perbandingan Kualitas (termasuk status pemeriksaan, hasil pemeriksaan, nilai garis dasar, nilai sampel, dan nilai pemeriksaan).

Langkah 5: Berlangganan Monitor

Data Quality menyediakan fitur pemantauan dan peringatan. Berlangganan Monitor untuk menerima peringatan tepat waktu saat pemeriksaan kualitas gagal. Hal ini memungkinkan Anda menyelesaikan masalah dengan cepat dan memastikan data diproduksi secara aman dan tepat waktu.

1. Di tab Rule Management, klik Subscribe to Alerts. Di kotak dialog Subscribe to Alerts, pilih metode langganan dan penerima, lalu klik Save.

2. Lihat dan modifikasi langganan.

   Setelah mengonfigurasi langganan, di panel navigasi sebelah kiri, klik Quality O&M > Monitor. Lalu, klik tab My Subscriptions untuk melihat dan memodifikasi langganan Anda.