DataWorks:Pantau kualitas data

1. Konfigurasikan monitor kualitas

Monitor kualitas memeriksa apakah data dalam rentang data (partisi) tertentu dari tabel target sesuai dengan ekspektasi.

Pada langkah ini, atur Data Range untuk monitor kualitas menjadi dt=$[yyyymmdd-1]. Saat monitor dijalankan, ia akan memeriksa data dalam partisi ini.

Setiap kali tugas penjadwalan untuk tabel ods_raw_log_d dijalankan, monitor kualitas akan dipicu. Monitor tersebut menggunakan aturan kualitas yang terkait untuk memeriksa data dalam rentang data yang sesuai dan menentukan apakah data tersebut memenuhi aturan pemeriksaan kualitas data.

Lakukan langkah-langkah berikut:

1. Di halaman detail kualitas untuk tabel tersebut, klik tab Monitor, lalu klik Create Monitor.

2. Konfigurasikan monitor kualitas.

   Parameter utama:

   Parameter	Contoh konfigurasi
   Data Range	dt=$[yyyymmdd-1]
   Trigger Method	Triggered by production scheduling. Pilih node ods_raw_log_d yang dibuat di Sinkronisasi data.
   Monitoring Rule	Jangan konfigurasikan sekarang. Konfigurasikan di bagian berikutnya.

   Catatan

   Untuk informasi lebih lanjut tentang cara mengonfigurasi monitor kualitas, lihat Konfigurasikan aturan untuk satu tabel.

Dalam tutorial ini, tujuannya adalah memantau apakah data tabel yang dihasilkan oleh tugas penjadwalan harian sesuai dengan ekspektasi. Karena tabel menghasilkan data untuk hari sebelumnya, data tersebut dianggap sesuai ekspektasi jika waktu penjadwalan adalah hari ini dan waktu bisnis adalah hari sebelumnya.

2. Konfigurasikan aturan pemantauan

Tabel ods_raw_log_d digunakan untuk menerima catatan akses website yang disinkronkan dari OSS dan berfungsi sebagai tabel sumber untuk analisis persona pengguna. Untuk mencegah pemrosesan tidak valid dan masalah kualitas, konfigurasikan aturan kuat untuk tabel ini guna memeriksa apakah jumlah baris lebih besar dari 0. Aturan ini menentukan apakah tugas sinkronisasi telah menulis data ke partisi tabel.

Jika monitor mendeteksi bahwa jumlah baris dalam partisi yang sesuai dari tabel ods_raw_log_d adalah 0, peringatan akan dipicu. Node ods_raw_log_d kemudian gagal dan memblokir downstream tasks-nya agar tidak berjalan.

Lakukan langkah-langkah berikut:

1. Di halaman detail kualitas untuk tabel tersebut, klik tab Rule Management. Di Monitor Perspective, pilih monitor kualitas yang telah Anda buat (misalnya, raw_log_number_of_table_rows_not_0). Lalu, di sisi kanan halaman, klik Create Rule untuk membuka halaman Create Rule.

2. Di bagian System Template, temukan aturan The number of rows is greater than 0., klik Use, lalu ubah Degree of importance menjadi Strong rules.

   Catatan

   Dalam tutorial ini, aturan didefinisikan sebagai strong rule. Jika jumlah baris tabel ods_raw_log_d adalah 0, peringatan akan dipicu dan eksekusi downstream tasks akan diblokir.

3. Klik Determine.

   Catatan

   Untuk informasi lebih lanjut tentang item konfigurasi, lihat Konfigurasikan aturan untuk satu tabel.

3. Jalankan uji coba pemantauan kualitas

Jalankan uji coba untuk memverifikasi apakah aturan pemeriksaan dalam monitor kualitas dikonfigurasi dengan benar. Untuk memastikan aturan kualitas benar dan sesuai ekspektasi, jalankan uji coba monitor kualitas setelah membuat aturan.

1. Di tab Rule Management, di Monitor Perspective, pilih monitor kualitas yang telah Anda buat (misalnya, raw_log_number_of_table_rows_not_0). Di sisi kanan, klik ikon , lalu klik Test Run untuk membuka kotak dialog Test Run.

2. Di kotak dialog Test Run, pilih Data Timestamp dan klik Test Run.

3. Setelah uji coba selesai, ikuti petunjuk di layar dan klik View Details untuk meninjau hasil uji coba.

4. Berlangganan Pemantauan Kualitas

Data Quality menyediakan fitur pemantauan dan peringatan. Berlangganan monitor kualitas untuk segera menerima notifikasi tentang pengecualian pemeriksaan kualitas dan menanganinya. Hal ini memastikan keamanan data, stabilitas, dan output tepat waktu.

1. Di tab Rule Management, di Monitor Perspective, pilih monitor kualitas yang telah Anda buat (misalnya, raw_log_number_of_table_rows_not_0). Di sisi kanan, klik ikon , lalu klik Subscribe to Alerts.

2. Ikuti petunjuk di layar untuk menambahkan Notification Method dan Recipient. Lalu, di kolom Actions, klik Save.

3. Setelah mengonfigurasi langganan, di panel navigasi kiri, klik Quality O&M > Monitor. Pilih My Subscriptions untuk melihat dan mengubah tugas yang telah Anda langgani.

1. Konfigurasikan monitor kualitas

Monitor kualitas memeriksa apakah data dalam rentang data (partisi) tertentu dari tabel target sesuai dengan ekspektasi.

Atur Data Range menjadi dt=$[yyyymmdd-1] agar monitor memeriksa partisi hari sebelumnya.

Setiap kali tugas penjadwalan untuk tabel ods_user_info_d dijalankan, monitor kualitas akan dipicu. Monitor tersebut menggunakan aturan kualitas yang terkait untuk memeriksa data dalam rentang data yang sesuai dan menentukan apakah data tersebut memenuhi aturan pemeriksaan kualitas data.

Lakukan langkah-langkah berikut:

1. Di tab Monitor, klik Create Monitor.

2. Konfigurasikan monitor kualitas.

   Parameter utama:

   Parameter	Contoh Konfigurasi
   Data Range	dt=$[yyyymmdd-1]
   Trigger Method	Dipicu oleh penjadwalan produksi. Pilih node ods_user_info_d yang dibuat di Synchronize data.
   Monitoring Rule	Jangan konfigurasikan sekarang. Konfigurasikan pada bagian berikutnya.

   Catatan

   Untuk informasi lebih lanjut tentang cara mengonfigurasi monitor kualitas, lihat Konfigurasikan aturan untuk satu tabel.

2. Konfigurasikan aturan pemantauan

Tabel ods_user_info_d digunakan untuk menerima informasi pengguna dasar yang disinkronkan dari ApsaraDB RDS for MySQL dan berfungsi sebagai tabel sumber untuk analisis persona pengguna. Untuk mencegah pemrosesan tidak valid dan masalah kualitas, konfigurasikan aturan kuat untuk tabel ini guna memeriksa apakah jumlah baris lebih besar dari 0. Aturan ini menentukan apakah tugas sinkronisasi telah menulis data ke partisi tabel.

Setelah aturan berlaku, jika monitor mendeteksi bahwa jumlah baris dalam partisi yang sesuai dari tabel ods_user_info_d adalah 0, peringatan akan dipicu. Node ods_user_info_d kemudian gagal dan memblokir downstream tasks-nya agar tidak berjalan.

Lakukan langkah-langkah berikut:

1. Di tab Rule Management, di Monitor Perspective, pilih monitor kualitas yang telah Anda buat (misalnya, user_info_quality_control). Lalu, klik Create Rule untuk membuka halaman Create Rule.

2. Di bagian System Template, temukan aturan The number of rows is greater than 0., klik Use, lalu ubah Degree of importance menjadi Strong rules.

   Catatan

   Dalam tutorial ini, aturan didefinisikan sebagai strong rule. Jika jumlah baris tabel ods_user_info_d adalah 0, peringatan akan dipicu dan eksekusi downstream tasks akan diblokir.

3. Di bagian System Template, temukan aturan Unique Value Count, Fixed Value dan klik Use. Lalu, konfigurasikan parameter Rule Scope, Monitoring Threshold, dan Degree of importance sebagai berikut:

   • Rule Scope: uid(STRING)

   • Monitoring Threshold: Normal threshold = 0

   • Degree of importance: soft rule

4. Klik Determine.

   Catatan

   Untuk informasi lebih lanjut tentang item konfigurasi, lihat Konfigurasikan aturan untuk satu tabel.

3. Konfigurasi lainnya

Prosedur untuk menjalankan uji coba monitor kualitas dan berlangganan monitor kualitas sama seperti yang dijelaskan dalam Konfigurasikan aturan pemantauan kualitas untuk ods_raw_log_d.

1. Konfigurasikan ekspresi filter partisi

Monitor kualitas memeriksa apakah data dalam rentang data (partisi) tertentu dari tabel target sesuai dengan ekspektasi.

Seperti sebelumnya, atur Data Range menjadi dt=$[yyyymmdd-1] untuk memeriksa partisi hari sebelumnya.

Setiap kali tugas penjadwalan untuk tabel ads_user_info_1d dijalankan, monitor kualitas akan dipicu. Monitor tersebut menggunakan aturan kualitas yang terkait untuk memeriksa data dalam rentang data yang sesuai dan menentukan apakah data tersebut memenuhi aturan pemeriksaan kualitas data.

Lakukan langkah-langkah berikut:

1. Di tab Monitor, klik Create Monitor.

2. Konfigurasikan monitor kualitas.

   Parameter utama:

   Parameter	Contoh konfigurasi
   Data Range	dt=$[yyyymmdd-1]
   Trigger Method	Triggered by production scheduling. Pilih node ads_user_info_1d yang dibuat di Proses data.
   Monitoring Rule	Jangan konfigurasikan sekarang. Konfigurasikan di bagian berikutnya.

   Catatan

   Untuk informasi lebih lanjut tentang cara mengonfigurasi monitor kualitas, lihat Konfigurasikan aturan untuk satu tabel.

2. Buat aturan pemantauan

Tabel ads_user_info_1d digunakan untuk analisis persona pengguna. Untuk mendeteksi fluktuasi UV harian, pantau fluktuasi jumlah baris data agregat dan periksa keunikan kunci primer. Hal ini membantu Anda mengamati fluktuasi UV harian dan tetap mengetahui perubahan trafik online.

Saat aturan berlaku, peringatan akan dipicu jika mendeteksi bahwa kunci primer dalam tabel ads_user_info_1d tidak unik. Peringatan warning akan dipicu jika laju fluktuasi jumlah baris dalam 7 hari lebih besar dari 10% dan kurang dari 50%. Peringatan error akan dipicu jika laju fluktuasi jumlah baris dalam 7 hari lebih besar dari 50%.

Lakukan langkah-langkah berikut:

1. Di tab Rule Management, di Monitor Perspective, pilih monitor kualitas yang telah Anda buat (misalnya, ads_user_info_quality_control). Lalu, klik Create Rule untuk membuka halaman Create Rule.

2. Di bagian System Template, temukan aturan Number Of Rows, 7-day Volatility, klik Use, lalu konfigurasikan Monitoring Threshold dan Degree of importance sebagai berikut:

   • Monitoring Threshold:

     • Error threshold > 50%

     • Warning threshold > 10%

     • Normal threshold <= 10%

   • Degree of importance: soft rule

3. Di bagian System Template, temukan aturan The number of rows is greater than 0., klik Use, lalu ubah Degree of importance menjadi Strong rules.

4. Klik Determine.

   Catatan

   Untuk informasi lebih lanjut tentang item konfigurasi, lihat Konfigurasikan aturan untuk satu tabel.

3. Konfigurasi lainnya

Prosedur untuk menjalankan pengujian pemantau kualitas dan berlangganan ke pemantau kualitas sama dengan yang dijelaskan dalam Mengonfigurasi aturan pemantauan kualitas untuk ods_raw_log_d.