DataWorks:Konfigurasikan aturan untuk memantau kualitas data

Prasyarat

Sebelum memulai, pastikan Anda telah:

• Data yang telah disinkronkan dan diproses. Untuk informasi selengkapnya, lihat Sinkronkan data dan Proses data.

Langkah 1: Buka halaman Configure by Table

1. Buka halaman Data Quality. Masuk ke DataWorks console. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Governance > Data Quality. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down, lalu klik Go to Data Quality.

2. Buka halaman Configure by Table. Di panel navigasi kiri halaman Data Quality, pilih Configure Rules > Configure by Table. Di halaman Configure by Table, temukan tabel dwd_log_info_di_emr:

   • Di bagian Connection, pilih E-MapReduce.

   • Di sisi kanan halaman, tentukan kondisi filter tambahan untuk menemukan tabel tersebut.

3. Pada hasil pencarian, klik Rule Management di kolom Actions untuk tabel dwd_log_info_di_emr. Halaman Table Quality Details akan muncul.

Langkah 2: Mengonfigurasi monitor

Pemantau menentukan rentang data (partisi) yang akan diperiksa dan cara pemicuan pemeriksaan tersebut. Atur pemantau agar berjalan setiap kali Node penjadwalan yang menulis data ke dwd_log_info_di_emr selesai di lingkungan produksi.

1. Di tab Monitor, klik Create Monitor.

2. Konfigurasikan parameter berikut:

   Parameter	Nilai	Deskripsi
   Data Range	dt=$[yyyymmdd-1]	Filter partisi. Saat pemicu dijalankan, sistem akan memeriksa partisi yang sesuai dengan ekspresi ini—dalam kasus ini, partisi kemarin.
   Monitoring Rule	(kosongkan)	Dikonfigurasi secara terpisah di Langkah 3.
   Trigger Method	Triggered by Node Scheduling in Production Environment	Pemicu dijalankan segera setelah node dwd_log_info_di_emr selesai. Pilih node dwd_log_info_di_emr yang dibuat selama data processing.

   Untuk daftar lengkap parameter pemicu, lihat Configure a monitoring rule for a single table.

Langkah 3: Konfigurasikan aturan pemantauan

Tabel dwd_log_info_di_emr memproses data dari tabel ods_raw_log_d_emr. Untuk mendeteksi partisi kosong sebelum node turunan dijalankan, buat aturan kuat yang memverifikasi jumlah baris lebih besar dari 0.

Aturan kuat memblokir node turunan dan memicu peringatan jika pemeriksaan gagal.

Untuk membuat aturan tersebut:

1. Di bagian Monitor Perspective pada tab Rule Management, pilih pemicu raw_log_number_of_table_rows_not_0, lalu klik Create Rule. Panel Create Rule akan muncul.

   

2. Di tab System Template, temukan Table is not empty lalu klik Use. Aturan Table is not empty memeriksa apakah partisi berisi setidaknya satu baris. Aturan ini cocok untuk skenario ini karena secara langsung mendeteksi apakah node leluhur menulis data ke partisi—jika jumlah baris adalah 0, aturan akan gagal. Di sisi kanan panel, atur Degree of Importance menjadi Strong Rule.

   Dengan pengaturan ini, jika jumlah baris di tabel dwd_log_info_di_emr adalah 0, peringatan akan dipicu dan node turunan diblokir dari eksekusi.

   

3. Klik Determine.

   Untuk informasi tentang parameter aturan lainnya, lihat Configure a monitoring rule for a single table.

Langkah 4: Jalankan uji coba

Jalankan uji coba untuk memverifikasi konfigurasi aturan sebelum pemicu aktif. Lakukan uji coba setelah semua aturan terkait pemicu selesai dibuat.

1. Klik Test Run. Kotak dialog Test Run akan muncul.

2. Di kotak dialog Test Run, atur parameter Scheduling Time, lalu klik Test Run.

3. Setelah uji coba selesai, klik View Details untuk melihat hasilnya.

   

Langkah 5: Berlangganan ke pemantau

Berlangganan pemberitahuan peringatan agar Anda dapat memastikan keamanan data, stabilitas data, dan ketepatan waktu dalam pembuatan data.

1. Di tab Rule Management, klik Alert Subscription. Di kotak dialog Alert Subscription, pilih metode notifikasi dan penerima, lalu klik Save.

   

2. Untuk melihat atau mengubah langganan Anda, pilih Quality O&M > Monitor di panel navigasi kiri. Di halaman Monitor, klik My Subscriptions.

Langkah berikutnya

Setelah pemrosesan data selesai, gunakan DataAnalysis untuk memvisualisasikan data pada dasbor. Untuk informasi selengkapnya, lihat Visualize data on a dashboard.