DataWorks：Quality Monitor

1. Pilih tabel

Di halaman konfigurasi Node Pemantauan Kualitas Data, klik Add Table. Di kotak dialog Add Table, pilih tabel yang akan dipantau. Anda dapat menggunakan filter More untuk menemukan tabel dengan cepat.

2. Tentukan cakupan data

• Untuk Tabel Non-partisi, seluruh tabel dipantau secara default. Anda dapat melewati langkah ini.

• Untuk Tabel Partisi, Anda harus memilih partisi tertentu yang akan dipantau. Anda dapat menggunakan Scheduling Parameter dalam ekspresi tersebut. Klik Preview untuk memverifikasi bahwa Ekspresi Partisi dievaluasi dengan benar.

3. Konfigurasikan aturan pemantauan kualitas data

Anda dapat membuat aturan baru atau mengimpor aturan yang sudah ada. Secara default, semua aturan yang dikonfigurasi diaktifkan.

• Buat aturan

  Klik Create Rule untuk membuat Aturan Pemantauan Kualitas Data berdasarkan templat atau SQL kustom. Bagian berikut menjelaskan metode-metode tersebut.

  Templat sistem

  Platform menyediakan berbagai Aturan Pemantauan bawaan. Anda dapat menggunakan templat ini untuk membuat Aturan Pemantauan Kualitas Data dengan cepat. Gambar berikut mengilustrasikan proses ini.

  Catatan

  Sebagai alternatif, Anda dapat menemukan templat aturan di daftar templat sistem di sebelah kiri dan klik + Use untuk membuat aturan.

  

  Parameter templat aturan sistem

  Parameter	Description
  Rule Name	Nama aturan pemantauan.
  Template	Tentukan jenis validasi aturan yang perlu dilakukan pada tabel. Data Quality menyediakan banyak templat aturan bawaan tingkat tabel dan tingkat bidang yang siap digunakan. Untuk informasi selengkapnya, lihat Lihat templat aturan bawaan. Catatan Anda hanya dapat mengonfigurasi aturan pemantauan tingkat bidang berikut untuk bidang numerik: nilai rata-rata, jumlah nilai, nilai minimum, dan nilai maksimum.
  Rule Scope	Cakupan penerapan aturan. Untuk aturan pemantauan tingkat tabel, cakupan penerapannya adalah tabel saat ini secara default. Untuk aturan pemantauan tingkat bidang, cakupan penerapannya adalah bidang tertentu.
  Comparison Method	Metode perbandingan yang digunakan oleh aturan untuk memeriksa apakah data tabel sesuai dengan yang diharapkan. Manual Settings: Anda dapat mengonfigurasi metode perbandingan untuk membandingkan hasil output data dengan hasil yang diharapkan berdasarkan kebutuhan bisnis Anda. Anda dapat memilih metode perbandingan yang berbeda untuk templat aturan yang berbeda. Anda dapat melihat metode perbandingan yang didukung oleh suatu templat aturan di Konsol DataWorks. Untuk hasil numerik, Anda dapat membandingkan hasil numerik dengan nilai tetap, yaitu nilai yang diharapkan. Metode perbandingan berikut didukung: Greater Than, Greater Than Or Equal To, Equal To, Not Equal To, Less Than, dan Less Than Or Equal To. Anda dapat mengonfigurasi rentang data normal (normal threshold) dan rentang data abnormal (red threshold) berdasarkan kebutuhan bisnis Anda. Untuk hasil fluktuasi, Anda dapat membandingkan hasil fluktuasi dengan rentang fluktuasi. Metode perbandingan berikut didukung: Absolute Value, Raise, dan Drop. Anda dapat mengonfigurasi rentang data normal (normal threshold) berdasarkan kebutuhan bisnis Anda. Anda juga dapat menentukan pengecualian output data (orange threshold) dan output data yang tidak terduga (red threshold) berdasarkan tingkat penyimpangan abnormal. Intelligent Dynamic Threshold: Jika Anda memilih opsi ini, Anda tidak perlu mengonfigurasi ambang batas fluktuasi atau nilai yang diharapkan secara manual. Sistem secara otomatis menentukan ambang batas yang wajar berdasarkan algoritma cerdas. Jika data abnormal terdeteksi, peringatan segera dipicu atau task terkait segera diblokir. Saat parameter Comparison Method diatur ke Intelligent Dynamic Threshold, Anda dapat mengonfigurasi parameter Degree of importance. Catatan Hanya aturan pemantauan yang dikonfigurasi berdasarkan custom SQL statement, custom range, atau dynamic threshold yang mendukung metode perbandingan intelligent dynamic threshold.
  Monitoring Threshold	Jika Anda mengatur parameter Comparison Method ke Manual Settings, Anda dapat mengonfigurasi parameter Normal Threshold dan Red Threshold. Normal Threshold: Jika hasil pemeriksaan kualitas data memenuhi kondisi yang ditentukan, output data sesuai dengan yang diharapkan. Red Threshold: Jika hasil pemeriksaan kualitas data memenuhi kondisi yang ditentukan, output data tidak sesuai dengan yang diharapkan. Jika aturan yang Anda konfigurasi merupakan aturan Intelligent Dynamic Threshold, Anda harus mengonfigurasi Orange Threshold. Orange Threshold: Jika hasil pemeriksaan kualitas data memenuhi kondisi yang ditentukan, data bersifat abnormal tetapi bisnis Anda tidak terpengaruh.
  Retain problem data	Jika aturan pemantauan diaktifkan dan pemeriksaan kualitas data berdasarkan aturan tersebut gagal, sistem secara otomatis membuat tabel untuk menyimpan data bermasalah yang teridentifikasi selama pemeriksaan kualitas data. Penting Parameter Retain problem data tersedia untuk tabel MaxCompute dan Hologres. Parameter Retain problem data hanya tersedia untuk aturan pemantauan tertentu dalam Data Quality. Jika Anda Disable aturan pemantauan, data bermasalah tidak akan disimpan.
  Status	Menentukan apakah aturan di Enable atau Disable di lingkungan produksi. Penting Jika Anda Disable aturan, aturan tersebut tidak dapat dipicu untuk menjalankan uji coba atau dipicu oleh node penjadwalan terkait.
  Degree of importance	Tingkat kepentingan aturan dalam bisnis Anda. Aturan kuat (Strong rules) adalah aturan penting. Jika Anda mengatur parameter ini ke Strong rules dan ambang batas kritis terlampaui, node penjadwalan yang terkait dengan monitor tersebut akan diblokir secara default. Aturan lemah (Weak rules) adalah aturan biasa. Jika Anda mengatur parameter ini ke Weak rules dan ambang batas kritis terlampaui, node penjadwalan yang terkait dengan monitor tersebut tidak akan diblokir secara default.
  Configuration Source	Sumber konfigurasi aturan. Nilai default-nya adalah Data Quality.
  Description	Anda dapat menambahkan deskripsi tambahan untuk aturan tersebut.

  Templat kustom

  Sebelum menggunakan metode ini, Anda harus terlebih dahulu membuka Data Quality > Rule Assets > Rule Templates untuk membuat templat aturan kustom. Anda kemudian dapat menggunakan templat ini untuk membuat Aturan Pemantauan Kualitas Data. Untuk informasi lebih lanjut, lihat Membuat dan mengelola templat aturan kustom.

  Gambar berikut menunjukkan cara membuat Aturan Kualitas Data berdasarkan templat kustom.

  Catatan

  Sebagai alternatif, Anda dapat menemukan templat aturan kustom di daftar templat kustom di sebelah kiri dan klik + Use untuk membuat aturan.

  

  Parameter templat aturan kustom

  Hanya parameter yang unik untuk aturan berdasarkan templat aturan kustom yang dijelaskan dalam tabel berikut. Untuk informasi tentang parameter lainnya, lihat parameter untuk mengonfigurasi aturan berdasarkan templat aturan bawaan.

  Parameter	Deskripsi
  FLAG parameter	Pernyataan SET yang ingin Anda eksekusi sebelum pernyataan SQL dalam aturan dieksekusi.
  SQL	Pernyataan SQL yang menentukan logika pemeriksaan lengkap. Hasil yang dikembalikan harus berupa angka dan terdiri dari satu baris dan satu kolom. Dalam pernyataan SQL kustom, sertakan ekspresi filter partisi dalam tanda kurung []. Contoh: SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; Catatan Dalam pernyataan ini, nilai variabel ${tableName} secara dinamis diganti dengan nama tabel tempat Anda mengonfigurasi aturan pemantauan. Untuk informasi tentang cara mengonfigurasi ekspresi filter partisi, lihat bagian Lampiran 2: Ekspresi filter partisi bawaan dalam topik ini. Jika Anda telah membuat monitor untuk tabel tersebut, pengaturan partisi tabel yang Anda tentukan dalam parameter Data Range selama konfigurasi monitor tidak lagi berlaku untuk tabel tersebut setelah Anda mengonfigurasi parameter ini. Aturan menentukan partisi tabel yang akan diperiksa berdasarkan pengaturan WHERE dalam pernyataan SQL.

  SQL kustom

  Metode ini memungkinkan Anda menentukan logika validasi kualitas data kustom untuk tabel Anda.

  

  Parameter SQL kustom

  Hanya parameter yang unik untuk SQL kustom yang ditampilkan di sini. Untuk penjelasan parameter lainnya, lihat deskripsi parameter templat aturan sistem.

  Parameter	Deskripsi
  FLAG parameter	Pernyataan SET yang ingin Anda eksekusi sebelum pernyataan SQL dalam aturan dieksekusi.
  SQL	Pernyataan SQL yang menentukan logika pemeriksaan lengkap. Hasil yang dikembalikan harus berupa angka dan terdiri dari satu baris dan satu kolom. Dalam pernyataan SQL kustom, sertakan ekspresi filter partisi dalam tanda kurung []. Contoh: SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; Catatan Anda harus mengganti <table_name> dengan nama tabel tempat Anda mengonfigurasi aturan pemantauan. Pernyataan SQL menentukan tabel yang perlu dipantau. Untuk informasi tentang cara mengonfigurasi ekspresi filter partisi, lihat bagian Lampiran 2: Ekspresi filter partisi bawaan dalam topik ini. Jika Anda telah membuat monitor untuk tabel tersebut, pengaturan partisi tabel yang Anda tentukan dalam parameter Data Range selama konfigurasi monitor tidak lagi berlaku untuk tabel tersebut setelah Anda mengonfigurasi parameter ini. Aturan menentukan partisi tabel yang akan diperiksa berdasarkan pengaturan WHERE dalam pernyataan SQL.

• Impor aturan yang sudah ada

  Jika Anda telah membuat Aturan Pemantauan untuk tabel target di modul Data Quality, Anda dapat mengimpornya untuk mereplikasi aturan tersebut dengan cepat. Jika tidak ada aturan yang tersedia, Anda harus terlebih dahulu membuatnya di modul Data Quality. Untuk informasi lebih lanjut, lihat Mengonfigurasi aturan: Berdasarkan tabel (tabel tunggal).

  Catatan

  Metode ini memungkinkan Anda mengimpor beberapa aturan sekaligus dan mengonfigurasinya di tingkat tabel atau bidang.

  Klik Import Rule. Anda kemudian dapat mencari dan memilih aturan yang akan diimpor berdasarkan ID atau nama aturan, templat aturan, atau cakupan terkait (seluruh tabel atau bidang tabel tertentu).

  

4. Konfigurasikan resource waktu proses

Pilih Resource Waktu Proses yang diperlukan untuk menjalankan pemeriksaan aturan kualitas. Resource ini menentukan sumber data tempat tugas pemantauan dijalankan. Secara default, ini adalah sumber data yang sama yang berisi tabel yang dipantau.

Kategori peringatan

Kebijakan penanganan peringatan

Anda dapat mengonfigurasi kebijakan penanganan untuk peringatan yang dipicu oleh pemeriksaan aturan:

• Continue: Kebijakan ini memungkinkan Anda mengonfigurasi sistem untuk menghentikan node saat ini dan menandainya sebagai gagal jika peringatan tertentu terdeteksi, seperti Peringatan Kritis dari Aturan Kuat.

  Catatan

  • Saat node saat ini gagal, Node Downstream tidak akan dijalankan. Hal ini memblokir pipeline produksi dan mencegah penyebaran data bermasalah.

  • Anda dapat mengonfigurasi kebijakan ini untuk memeriksa beberapa kategori peringatan.

  • Kebijakan ini biasanya digunakan ketika peringatan menunjukkan masalah serius yang harus memblokir tugas downstream.

• Ignore: Mengabaikan peringatan dan memungkinkan node downstream untuk terus berjalan.

Metode langganan peringatan

Anda dapat mengonfigurasi cara menerima notifikasi peringatan, misalnya melalui email. Saat peringatan dipicu, platform mengirimkan notifikasi melalui saluran yang ditentukan, sehingga Anda dapat segera menemukan dan menangani masalah tersebut.