E-MapReduce：Konfigurasikan pemantau

Langkah 1: Buka halaman Konfigurasi berdasarkan Tabel

1. Buka halaman Kualitas Data.

   Masuk ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi sisi kiri, pilih Data Governance > Data Quality. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Quality.

2. Buka halaman Konfigurasi berdasarkan Tabel.

   Di panel navigasi sisi kiri halaman Kualitas Data, pilih Configure Rules > Configure by Table. Pada halaman Konfigurasi berdasarkan Tabel, temukan tabel yang diinginkan menggunakan kondisi filter berikut:

   • Di bagian Koneksi, pilih E-MapReduce.

   • Di sisi kanan halaman Konfigurasi berdasarkan Tabel, tentukan kondisi filter untuk menemukan tabel dwd_log_info_di_emr yang ingin Anda konfigurasi aturan pemantaunya.

3. Temukan tabel yang diinginkan dalam hasil pencarian dan klik Rule Management di kolom Aksi. Halaman Detail Kualitas Tabel dari tabel tersebut akan muncul. Bagian berikutnya menjelaskan konfigurasi tabel tersebut.

Langkah 2: Konfigurasikan pemantau

Anda dapat menggunakan pemantau untuk memeriksa apakah kualitas data dalam rentang (partisi) tertentu dari sebuah tabel memenuhi harapan Anda.

Dalam langkah ini, atur parameter Data Range pemantau ke dt=$[yyyymmdd-1]. Saat pemantau dijalankan, ia akan mencari partisi data yang sesuai dengan nilai parameter dan memeriksa apakah kualitas data memenuhi harapan Anda.

Dalam kasus ini, setiap kali node penjadwalan yang digunakan untuk menulis data ke tabel dwd_log_info_di_emr dijalankan, pemantau dipicu dan aturan pemantauan terkait digunakan untuk memeriksa apakah kualitas data dalam rentang tertentu memenuhi harapan Anda.

Lakukan langkah-langkah berikut:

1. Pada tab Monitor, klik Create Monitor.

2. Konfigurasikan parameter pemantau. Tabel berikut menjelaskan parameter utama.

   Parameter	Deskripsi
   Data Range	dt=$[yyyymmdd-1]
   Monitoring Rule	Anda tidak perlu mengonfigurasi parameter ini. Aturan pemantauan dikonfigurasi di bagian Konfigurasi aturan pemantauan.
   Trigger Method	Metode pemicu. Atur parameter ini ke Dipicu oleh Penjadwalan Node di Lingkungan Produksi dan pilih node dwd_log_info_di_emr yang dibuat selama pengolahan data.

   Catatan

   Untuk informasi lebih lanjut tentang cara mengonfigurasi pemantau, lihat Konfigurasikan Aturan Pemantauan untuk Satu Tabel.

Langkah 3: Konfigurasikan aturan pemantauan

Tabel dwd_log_info_di_emr digunakan untuk memproses data dari tabel ods_raw_log_d_emr. Untuk mencegah pemrosesan data tidak valid dan masalah kualitas data, Anda perlu membuat serta mengonfigurasi aturan kuat yang memantau apakah jumlah baris dalam tabel dwd_log_info_di_emr lebih besar dari 0. Aturan ini membantu menentukan apakah node leluhur telah menulis data ke partisi tabel dwd_log_info_di_emr.

Jika jumlah baris dalam partisi terkait dari tabel dwd_log_info_di_emr adalah 0, peringatan akan dipicu, node dwd_log_info_di_emr gagal dan keluar, serta node turunan dari node dwd_log_info_di_emr diblokir agar tidak berjalan.

Lakukan langkah-langkah berikut:

1. Di bagian Monitor Perspective pada tab Rule Management, pilih pemantau. Dalam contoh ini, pemantau raw_log_number_of_table_rows_not_0 dipilih. Lalu, klik Create Rule. Panel Buat Aturan akan muncul.

   

2. Pada tab System Template dari panel Buat Aturan, temukan aturan Table is not empty dan klik Use. Di sisi kanan panel, atur parameter Degree of Importance ke Strong Rule.

   Catatan

   Dalam contoh ini, aturan didefinisikan sebagai aturan kuat. Ini menunjukkan bahwa ketika jumlah baris dalam tabel dwd_log_info_di_emr ditemukan 0, peringatan dipicu dan node turunan diblokir agar tidak berjalan.

   

3. Klik Determine.

   Catatan

   Untuk informasi tentang parameter lain yang dikonfigurasi untuk aturan pemantauan, lihat Konfigurasikan Aturan Pemantauan untuk Satu Tabel.

Langkah 4: Lakukan uji coba pada pemantau

Anda dapat melakukan uji coba untuk memverifikasi apakah konfigurasi aturan pemantauan yang terkait dengan pemantau bekerja seperti yang diharapkan. Untuk memastikan bahwa konfigurasi aturan benar dan memenuhi harapan Anda, lakukan uji coba pada pemantau setelah membuat aturan yang terkait dengan pemantau.

1. Klik Test Run. Kotak dialog Test Run akan muncul.

2. Di kotak dialog Test Run, konfigurasikan parameter Scheduling Time dan klik Test Run.

3. Setelah uji coba selesai, klik View Details untuk melihat hasil pengujian.

   

Langkah 5: Berlangganan pemantau

Kualitas Data menyediakan fitur pemantauan dan peringatan. Anda dapat berlangganan pemantau untuk menerima notifikasi peringatan tentang masalah kualitas data. Dengan cara ini, Anda dapat menyelesaikan masalah kualitas data secepat mungkin dan memastikan keamanan data, stabilitas data, dan ketepatan waktu pembuatan data.

1. Pada tab Rule Management, klik Alert Subscription. Di kotak dialog Alert Subscription, pilih metode notifikasi dan penerima, lalu klik Save di kolom Aksi.

   

2. Lihat dan modifikasi pemantau yang dilanggan.

   Setelah konfigurasi langganan selesai, pilih Quality O&M > Monitor di panel navigasi sisi kiri. Lalu, klik My Subscriptions di halaman Pemantau untuk melihat dan memodifikasi pemantau yang dilanggan.