DataWorks：Pemantauan kualitas data

Langkah 1: Pergi ke halaman Konfigurasi berdasarkan Tabel

1. Buka halaman Kualitas Data.

   Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih Data Governance > Data Quality. Pada halaman yang muncul, pilih ruang kerja dari daftar drop-down dan klik Go to Data Quality.

2. Buka halaman Konfigurasi Berdasarkan Tabel.

   Di panel navigasi sisi kiri halaman Kualitas Data, pilih Configure Rules > Configure by Table. Pada halaman Konfigurasi Berdasarkan Tabel, temukan tabel yang diinginkan menggunakan kondisi filter berikut:

   • Di bagian Koneksi, pilih E-MapReduce.

   • Di sisi kanan halaman Konfigurasi Berdasarkan Tabel, tentukan kondisi filter untuk menemukan tabel dwd_log_info_di_emr yang ingin Anda pantau.

3. Temukan tabel yang diinginkan dalam hasil pencarian dan klik Rule Management di kolom Aksi. Halaman Detail Kualitas Tabel akan muncul. Bagian berikutnya menjelaskan konfigurasi tabel tersebut.

Langkah 2: Konfigurasikan pemantauan

Gunakan pemantauan untuk memeriksa apakah kualitas data dalam rentang tertentu (partisi) tabel memenuhi harapan Anda.

Dalam langkah ini, atur parameter Data Range menjadi dt=$[yyyymmdd-1]. Saat pemantauan dijalankan, sistem mencari partisi data sesuai dengan nilai parameter dan memverifikasi apakah kualitas datanya memenuhi harapan Anda.

Setiap kali node penjadwalan yang digunakan untuk menulis data ke tabel dwd_log_info_di_emr dijalankan, pemantauan dipicu dan aturan terkait digunakan untuk memeriksa kualitas data dalam rentang tertentu.

Lakukan langkah-langkah berikut:

1. Pada tab Monitor, klik Create Monitor.

2. Konfigurasikan parameter pemantauan. Tabel berikut menjelaskan parameter utama.

   Parameter	Deskripsi
   Data Range	dt=$[yyyymmdd-1]
   Monitoring Rule	Anda tidak perlu mengonfigurasi parameter ini. Aturan pemantauan dikonfigurasi di bagian Konfigurasi aturan pemantauan.
   Trigger Method	Metode pemicu. Atur parameter ini menjadi Dipicu oleh Penjadwalan Node di Lingkungan Produksi dan pilih node dwd_log_info_di_emr yang dibuat selama pemrosesan data.

   Catatan

   Untuk informasi lebih lanjut tentang cara mengonfigurasi pemantauan, lihat Konfigurasikan Aturan Pemantauan untuk Satu Tabel.

Langkah 3: Konfigurasikan aturan pemantauan

Tabel dwd_log_info_di_emr digunakan untuk memproses data dari tabel ods_raw_log_d_emr. Untuk mencegah pemrosesan data tidak valid dan masalah kualitas data, buat aturan kuat yang memantau jumlah baris di tabel dwd_log_info_di_emr agar lebih besar dari 0. Aturan ini membantu memastikan bahwa node leluhur menulis data ke partisi tabel.

Jika jumlah baris di partisi terkait dari tabel dwd_log_info_di_emr adalah 0, peringatan akan dipicu. Node dwd_log_info_di_emr akan gagal dan keluar, serta node turunan dari node dwd_log_info_di_emr akan diblokir untuk mencegahnya berjalan.

Lakukan langkah-langkah berikut:

1. Di bagian Monitor Perspective pada tab Rule Management, pilih pemantauan. Dalam contoh ini, pemantauan raw_log_number_of_table_rows_not_0 dipilih. Lalu, klik Create Rule. Panel Buat Aturan akan muncul.

   

2. Pada tab System Template dari panel Buat Aturan, temukan aturan Table is not empty dan klik Use. Di sisi kanan panel, atur parameter Degree of Importance menjadi Strong Rule..

   Catatan

   Dalam contoh ini, aturan didefinisikan sebagai aturan kuat. Jika jumlah baris di tabel dwd_log_info_di_emr adalah 0, peringatan dipicu dan node turunan diblokir agar tidak berjalan.

   

3. Klik Determine.

   Catatan

   Untuk informasi tentang parameter lain yang dikonfigurasi untuk aturan pemantauan, lihat Konfigurasikan Aturan Pemantauan untuk Satu Tabel.

Langkah 4: Lakukan uji coba pada pemantauan

Lakukan uji coba untuk memverifikasi apakah konfigurasi aturan pemantauan bekerja seperti yang diharapkan. Setelah membuat aturan terkait, lakukan uji coba untuk memastikan konfigurasi benar dan memenuhi harapan Anda.

1. Klik Test Run. Kotak dialog Test Run akan muncul.

2. Dalam kotak dialog Test Run, atur parameter Scheduling Time, lalu klik Test Run.

3. Setelah uji coba selesai, klik View Details untuk melihat hasil tes.

   

Langkah 5: Berlangganan pemantauan

Kualitas Data menyediakan fitur pemantauan dan peringatan. Anda dapat berlangganan pemantauan untuk menerima notifikasi peringatan tentang masalah kualitas data. Dengan cara ini, Anda dapat menyelesaikan masalah kualitas data secara tepat waktu dan memastikan keamanan, stabilitas, serta ketepatan waktu pembuatan data.

1. Pada tab Rule Management, klik Alert Subscription. Di kotak dialog Alert Subscription, pilih metode notifikasi dan penerima, lalu klik Save di kolom Aksi.

   

2. Lihat dan modifikasi pemantauan yang dilanggan.

   Setelah konfigurasi langganan selesai, pilih Quality O&M > Monitor di panel navigasi sisi kiri. Lalu, klik My Subscriptions di halaman Pemantauan untuk melihat dan memodifikasi pemantauan yang dilanggan.