DataWorks：Node pemantauan kualitas data

Klik Add Table. Di kotak dialog Add Table, cari dan pilih tabel target yang akan dipantau.

• Tabel non-partisi: Seluruh tabel dipantau secara default. Anda dapat melewati langkah ini.

• Tabel partisi: Pilih partisi yang akan dipantau. Anda dapat menggunakan parameter penjadwalan. Klik Preview untuk memverifikasi bahwa hasil perhitungan ekspresi filter partisi benar.

Anda dapat membuat aturan baru atau mengimpor aturan yang sudah ada. Aturan yang dikonfigurasi diaktifkan secara default.

• Buat aturan

  Klik Create Rule untuk membuat aturan pemantauan kualitas data dari templat atau menggunakan pernyataan SQL kustom. Bagian berikut menjelaskan metode-metode tersebut.

  Metode 1: Dari templat sistem

  Platform menyediakan berbagai aturan pemantauan bawaan. Anda dapat menggunakan templat aturan ini untuk membuat aturan pemantauan kualitas data dengan cepat. Gambar berikut menunjukkan prosedurnya.

  Catatan

  Anda juga dapat menemukan templat aturan yang diperlukan di daftar templat sistem di sebelah kiri dan klik +Use untuk membuat aturan.

  

  Parameter untuk mengonfigurasi aturan berdasarkan templat aturan bawaan

  Parameter	Deskripsi
  Rule Name	Nama aturan pemantauan.
  Template	Tentukan jenis validasi aturan yang perlu dilakukan pada tabel. Kualitas Data menyediakan banyak templat aturan siap pakai tingkat tabel dan tingkat bidang. Untuk informasi selengkapnya, lihat Lihat templat aturan bawaan. Catatan Anda hanya dapat mengonfigurasi aturan pemantauan tingkat bidang berikut untuk bidang numerik: nilai rata-rata, jumlah nilai, nilai minimum, dan nilai maksimum.
  Rule Scope	Cakupan penerapan aturan. Untuk aturan pemantauan tingkat tabel, cakupan penerapannya adalah tabel saat ini secara default. Untuk aturan pemantauan tingkat bidang, cakupan penerapannya adalah bidang tertentu.
  Comparison Method	Metode perbandingan yang digunakan aturan untuk memeriksa apakah data tabel sesuai harapan. Manual Settings: Anda dapat mengonfigurasi metode perbandingan untuk membandingkan hasil output data dengan hasil yang diharapkan berdasarkan kebutuhan bisnis Anda. Anda dapat memilih metode perbandingan berbeda untuk templat aturan berbeda. Anda dapat melihat metode perbandingan yang didukung oleh templat aturan di Konsol DataWorks. Untuk hasil Numeric, Anda dapat membandingkan hasil numerik dengan nilai tetap, yaitu nilai yang diharapkan. Metode perbandingan berikut didukung: Greater Than, Greater Than Or Equal To, Equal To, Not Equal To, Less Than, dan Less Than Or Equal To. Anda dapat mengonfigurasi rentang data normal (ambang normal) dan rentang data abnormal (ambang kritis) berdasarkan kebutuhan bisnis Anda. Untuk hasil Fluctuation, Anda dapat membandingkan hasil fluktuasi dengan rentang fluktuasi. Metode perbandingan berikut didukung: Absolute Value, Rise, dan Drop. Anda dapat mengonfigurasi rentang data normal (ambang normal) berdasarkan kebutuhan bisnis Anda. Anda juga dapat menentukan pengecualian output data (ambang peringatan) dan output data tak terduga (ambang kritis) berdasarkan tingkat penyimpangan abnormal. Intelligent Dynamic Threshold: Jika Anda memilih opsi ini, Anda tidak perlu mengonfigurasi ambang fluktuasi atau nilai yang diharapkan secara manual. Sistem secara otomatis menentukan ambang yang wajar berdasarkan algoritma cerdas. Jika data abnormal terdeteksi, peringatan segera dipicu atau tugas terkait segera diblokir. Saat parameter Metode Perbandingan diatur ke Ambang Dinamis Cerdas, Anda dapat mengonfigurasi parameter Tingkat Keutamaan. Catatan Hanya aturan pemantauan yang Anda konfigurasi berdasarkan pernyataan SQL kustom, rentang kustom, atau ambang dinamis yang mendukung metode perbandingan ambang dinamis cerdas.
  Monitoring Threshold	Jika Anda mengatur parameter Comparison Method ke Manual Settings, Anda dapat mengonfigurasi parameter Normal Threshold dan Red Threshold. Normal Threshold: Jika hasil pemeriksaan kualitas data memenuhi kondisi yang ditentukan, output data sesuai harapan. Red Threshold: Jika hasil pemeriksaan kualitas data memenuhi kondisi yang ditentukan, output data tidak sesuai dengan yang diharapkan. Jika aturan yang Anda konfigurasi adalah aturan tipe Fluctuation Type, Anda harus mengonfigurasi parameter Warning Threshold. Warning Threshold Is Exceeded: Jika hasil pemeriksaan kualitas data memenuhi kondisi yang ditentukan, data abnormal tetapi bisnis Anda tidak terpengaruh.
  Retain Problem Data	Jika aturan pemantauan diaktifkan dan pemeriksaan kualitas data berdasarkan aturan tersebut gagal, sistem secara otomatis membuat tabel untuk menyimpan data bermasalah yang diidentifikasi selama pemeriksaan kualitas data. Penting Parameter Simpan data bermasalah hanya tersedia untuk tabel MaxCompute. Parameter Simpan data bermasalah hanya tersedia untuk aturan pemantauan tertentu di Kualitas Data. Jika Anda Turn Off Status untuk aturan pemantauan, data bermasalah tidak disimpan.
  Status	Tentukan apakah akan Enable atau Disable aturan di lingkungan produksi. Penting Jika Anda Turn Off sakelar untuk aturan tersebut, aturan tidak dapat dipicu untuk menjalankan uji coba atau dipicu oleh node penjadwalan terkait.
  Degree Of Importance	Kekuatan aturan dalam bisnis Anda. Aturan kuat adalah aturan penting. Jika Anda mengatur parameter ke Aturan kuat dan ambang kritis terlampaui, node penjadwalan yang Anda kaitkan dengan monitor diblokir secara default. Aturan lemah adalah aturan biasa. Jika Anda mengatur parameter ke Aturan lemah dan ambang kritis terlampaui, node penjadwalan yang Anda kaitkan dengan monitor tidak diblokir secara default.
  Configuration Source	Sumber konfigurasi aturan. Nilai default adalah Data Quality.
  Description	Anda dapat menambahkan deskripsi tambahan untuk aturan tersebut.

  Metode 2: Dari templat kustom

  Sebelum menggunakan metode ini, buka Data Quality > Quality Assets > Rule Template Library untuk membuat templat aturan kustom. Anda kemudian dapat membuat aturan pemantauan kualitas data berdasarkan templat tersebut. Untuk informasi selengkapnya, lihat Buat dan kelola templat aturan kustom.

  Gambar berikut menunjukkan cara membuat aturan kualitas data dari templat kustom.

  Catatan

  Anda juga dapat menemukan templat aturan yang diperlukan di daftar templat kustom di sebelah kiri dan klik +Use untuk membuat aturan.

  

  Parameter untuk mengonfigurasi aturan berdasarkan templat aturan kustom

  Hanya parameter yang unik untuk aturan berdasarkan templat aturan kustom yang dijelaskan dalam tabel berikut. Untuk informasi tentang parameter lainnya, lihat parameter untuk mengonfigurasi aturan berdasarkan templat aturan bawaan.

  Parameter	Deskripsi
  Parameter FLAG	Pernyataan SET yang ingin Anda eksekusi sebelum pernyataan SQL dalam aturan dieksekusi.
  SQL	Pernyataan SQL yang menentukan logika pemeriksaan lengkap. Hasil yang dikembalikan harus berupa angka dan terdiri dari satu baris dan satu kolom. Dalam pernyataan SQL kustom, sertakan ekspresi filter partisi dalam tanda kurung []. Contoh: SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; Catatan Dalam pernyataan ini, nilai variabel ${tableName} secara dinamis diganti dengan nama tabel tempat Anda mengonfigurasi aturan pemantauan. Untuk informasi tentang cara mengonfigurasi ekspresi filter partisi, lihat bagian Lampiran 2: Ekspresi filter partisi bawaan dalam topik ini. Jika Anda telah membuat monitor untuk tabel tersebut, pengaturan partisi tabel yang Anda tentukan dalam parameter Data Range selama konfigurasi monitor tidak lagi berlaku untuk tabel tersebut setelah Anda mengonfigurasi parameter ini. Aturan menentukan partisi tabel yang akan diperiksa berdasarkan pengaturan WHERE dalam pernyataan SQL.

  Metode 3: Dari pernyataan SQL kustom

  Metode ini memungkinkan Anda menentukan logika pemeriksaan kualitas data kustom untuk tabel.

  

  Parameter untuk mengonfigurasi aturan berdasarkan pernyataan SQL kustom

  Hanya parameter yang unik untuk aturan berdasarkan pernyataan SQL kustom yang dijelaskan dalam tabel berikut. Untuk informasi tentang parameter lainnya, lihat parameter untuk mengonfigurasi aturan berdasarkan templat aturan bawaan.

  Parameter	Deskripsi
  Parameter FLAG	Pernyataan SET yang ingin Anda eksekusi sebelum pernyataan SQL dalam aturan dieksekusi.
  SQL	Pernyataan SQL yang menentukan logika pemeriksaan lengkap. Hasil yang dikembalikan harus berupa angka dan terdiri dari satu baris dan satu kolom. Dalam pernyataan SQL kustom, sertakan ekspresi filter partisi dalam tanda kurung []. Contoh: SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; Catatan Anda harus mengganti <table_name> dengan nama tabel tempat Anda mengonfigurasi aturan pemantauan. Pernyataan SQL menentukan tabel yang perlu dipantau. Untuk informasi tentang cara mengonfigurasi ekspresi filter partisi, lihat bagian Lampiran 2: Ekspresi filter partisi bawaan dalam topik ini. Jika Anda telah membuat monitor untuk tabel tersebut, pengaturan partisi tabel yang Anda tentukan dalam parameter Data Range selama konfigurasi monitor tidak lagi berlaku untuk tabel tersebut setelah Anda mengonfigurasi parameter ini. Aturan menentukan partisi tabel yang akan diperiksa berdasarkan pengaturan WHERE dalam pernyataan SQL.

• Impor aturan yang sudah ada

  Jika aturan pemantauan untuk tabel target sudah ada di modul Data Quality, Anda dapat mengimpornya untuk mengkloning aturan dengan cepat. Jika tidak ada aturan, Anda harus membuatnya terlebih dahulu di modul Kualitas Data. Untuk informasi selengkapnya, lihat Konfigurasikan aturan untuk satu tabel.

  Catatan

  Metode ini mendukung impor beberapa aturan sekaligus dan mengonfigurasi aturan pemantauan pada tingkat tabel dan bidang.

  Klik Import Rules. Anda dapat mencari dan memilih aturan yang akan diimpor berdasarkan ID atau nama aturan, templat aturan, atau cakupan terkait (seluruh tabel atau bidang tertentu dari tabel).

  

Pilih sumber daya komputasi yang diperlukan untuk menjalankan pemeriksaan aturan kualitas. Ini menentukan sumber data tempat tugas pemantauan kualitas data dijalankan. Secara default, sumber data tabel yang dipantau digunakan.

Tabel berikut menjelaskan kategori pengecualian pemeriksaan.

Konfigurasikan kebijakan untuk menangani pengecualian yang ditemukan oleh pemeriksaan aturan sesuai kebutuhan:

• Jangan abaikan: Ketika kategori pengecualian tertentu terdeteksi, seperti peringatan kesalahan untuk aturan kuat, node saat ini dihentikan dan statusnya diatur ke gagal.

  Catatan

  • Jika node saat ini gagal dijalankan, node hilirnya tidak akan dijalankan. Hal ini memblokir pipeline produksi dan mencegah penyebaran data bermasalah.

  • Anda dapat menambahkan beberapa kategori pengecualian untuk deteksi.

  • Kebijakan ini biasanya digunakan ketika pengecualian memiliki dampak besar dan memblokir eksekusi tugas hilir.

• Abaikan: Abaikan pengecualian dan lanjutkan menjalankan node hilir.

Anda dapat mengonfigurasi cara menerima notifikasi pengecualian, misalnya melalui email. Ketika pengecualian terjadi, platform mengirimkan notifikasi menggunakan metode yang ditentukan sehingga Anda dapat segera menemukan dan menanganinya.