DataWorks:Konfigurasi aturan untuk sebuah tabel

Langkah 1: Akses halaman detail kualitas tabel

1. Buka halaman Data Quality.

   Login ke DataWorks console. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Governance > Data Quality. Di halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Quality.

2. Buka halaman Configure by Table.

   Di panel navigasi kiri, klik Configure Rules > Configure by Table untuk membuka halaman konfigurasi aturan.

   1. Di daftar Data Source di sebelah kiri, pilih database yang berisi tabel tempat Anda ingin mengonfigurasi aturan.

   2. Filter tabel berdasarkan jenis database, database, nama tabel, atau kriteria lainnya. Klik nama tabel target, atau klik Rule Management di kolom Actions untuk membuka halaman detail kualitas tabel.

      Halaman ini menampilkan semua monitor dan aturan kualitas yang telah dikonfigurasi untuk tabel saat ini. Anda dapat memfilter aturan berdasarkan apakah aturan tersebut dikaitkan dengan monitor kualitas. Anda juga dapat menentukan konfigurasi eksekusi untuk aturan yang belum dikaitkan dengan monitor kualitas.

      

Langkah 2: Buat monitor kualitas

1. Buat monitor kualitas.

   Anda dapat membuat monitor kualitas dengan salah satu dari dua cara berikut:

   Tab manajemen aturan

   Di halaman Table Quality Details, klik tab Rule Management. Di samping Monitor Perspective, klik ikon untuk membuat monitor kualitas baru.

   

   Tab pemantauan kualitas

   Di halaman Table Quality Details, alihkan ke tab Quality monitoring. Klik Create Monitor.

   

2. Konfigurasi parameter untuk monitor kualitas.

   Bagian	Parameter	Deskripsi
   Basic Configurations	Monitor Name	Masukkan nama kustom untuk monitor kualitas.
   	Quality Monitoring Owner	Tentukan pemilik monitor kualitas ini. Saat Anda mengonfigurasi langganan peringatan, Anda dapat menentukan pemilik sebagai penerima peringatan dengan menggunakan metode notifikasi Email, Email and SMS, atau Telephone.
   	Monitored Object	Objek untuk pemeriksaan kualitas data. Secara default, ini adalah tabel saat ini.
   	Data Range	Gunakan ekspresi filter partisi untuk menentukan partisi tabel mana yang akan diperiksa oleh aturan kualitas. Untuk tabel non-partisi, Anda tidak perlu mengonfigurasi parameter ini. Nilai default-nya adalah Full Table. Untuk tabel partisi, format ekspresinya adalah partition_name=partition_value. Nilai partisi dapat berupa nilai tetap atau built-in partition filter expression. Catatan Konfigurasi ini tidak berlaku saat mengonfigurasi aturan dengan templat kustom atau SQL kustom. Untuk aturan kualitas yang dikonfigurasi dengan templat kustom atau SQL kustom, SQL kustom tersebut yang menentukan partisi mana yang akan diperiksa.
   Select Quality Rules	Select Quality Rules	Memilih aturan kualitas yang akan dikaitkan dengan monitor kualitas. Aturan ini akan memeriksa apakah data dalam rentang yang ditentukan memenuhi ekspektasi. Catatan Anda dapat membuat beberapa monitor kualitas untuk partisi berbeda dan mengaitkannya dengan aturan kualitas berbeda untuk menerapkan aturan validasi berbeda pada partisi berbeda. Jika Anda belum membuat aturan kualitas, Anda dapat melewati langkah ini. Anda dapat terlebih dahulu membuat monitor kualitas, lalu menambahkan aturan ke dalamnya nanti. Untuk informasi lebih lanjut tentang cara membuat aturan kualitas, lihat Langkah 3: Konfigurasi aturan kualitas data.
   Running Settings	Trigger Method	Metode pemicu untuk monitor kualitas. Triggered by Node Scheduling in Production Environment: Mengaitkan monitor kualitas dengan tugas terjadwal periodik tertentu di DataWorks Operation Center. Setelah tugas berhasil dijalankan, aturan kualitas dalam monitor kualitas ini secara otomatis dipicu. Tugas dry-run tidak memicu pemeriksaan aturan kualitas. Triggered Manually: Memungkinkan Anda memicu secara manual aturan pemantauan kualitas yang dikaitkan dengan monitor kualitas saat ini. Penting Jika tabel yang Anda pantau bukan tabel MaxCompute dan Anda mengatur Trigger Method ke Triggered by Node Scheduling in Production Environment, tugas terjadwal periodik yang dipilih tidak boleh menggunakan public scheduling resource group. Jika tidak, monitor kualitas akan melaporkan error saat dijalankan.
   	Associate Scheduling Node	Jika Anda mengatur Trigger Method ke Triggered by Node Scheduling in Production Environment, Anda dapat mengonfigurasi parameter ini untuk menentukan node penjadwalan terkait. Setelah node penjadwalan yang ditentukan berhasil dijalankan, aturan pemantauan kualitas secara otomatis dipicu.
   	Select Run Resource	Menentukan sumber daya komputasi yang diperlukan untuk menjalankan pemeriksaan aturan kualitas. Secara default, sumber daya untuk sumber data tabel yang dipantau dipilih. Jika Anda memilih sumber data lain, pastikan sumber dayanya dapat mengakses tabel tersebut.
   Handling Policies	Quality Issue Handling Policies	Konfigurasikan kebijakan pemblokiran atau peringatan yang akan digunakan ketika sistem mendeteksi masalah kualitas data. Alert: Ketika terdeteksi masalah kualitas data, sistem mengirimkan peringatan ke saluran berlangganan untuk monitor kualitas tersebut. Kondisi default-nya adalah Strong Rule · Critical Anomaly, Strong Rule · Warning Anomaly, Strong Rule · Check Failed, Weak Rule · Critical Anomaly, Weak Rule · Warning Anomaly, dan Weak Rule · Check Failed. Blocks: Ketika terdeteksi masalah kualitas data, sistem mengidentifikasi node penjadwalan produksi yang memicu pemeriksaan kualitas tabel, mengatur status node menjadi Gagal, dan mencegah node downstream berjalan. Proses ini memblokir pipeline produksi untuk mencegah penyebaran data bermasalah. Kondisi default-nya adalah Strong Rule · Critical Anomaly. Penting Jika Anda mengatur kebijakan ke Blocks, sistem juga memicu peringatan ketika kondisi aturan kualitas data terpenuhi.
   	Alert Method Configuration	Anda dapat mengirimkan notifikasi peringatan menggunakan Email, Email and SMS, DingTalk Chatbot, DingTalk Chatbot @ALL, Lark Group Chatbot, Enterprise WeChat Chatbot, Custom Webhook, atau Telephone. Catatan Untuk menggunakan chatbot, tambahkan chatbot DingTalk, Lark, atau WeCom, peroleh URL webhook-nya, lalu tempelkan URL tersebut ke dalam langganan peringatan. Metode notifikasi Custom Webhook hanya didukung di DataWorks Enterprise Edition. Untuk informasi tentang format pesan notifikasi peringatan yang dikirim menggunakan Custom Webhook, lihat Appendix: Webhook message format. Jika Anda memilih Email, Email and SMS, atau Telephone sebagai metode notifikasi, Anda dapat mengatur Recipient ke Data Quality Monitoring Owner, Shift Schedule, atau Scheduling Task Owner. Data Quality Monitoring Owner: Notifikasi peringatan dikirim ke Quality Monitoring Owner yang ditentukan di bagian Basic Configurations monitor kualitas saat ini. Shift Schedule: Ketika peringatan untuk pemeriksaan aturan kualitas dipicu oleh node penjadwalan yang dikaitkan dengan monitor kualitas, sistem mengirimkan notifikasi peringatan ke pengguna yang bertugas hari ini dalam jadwal shift. Scheduling Task Owner: Notifikasi peringatan dikirim ke owner node penjadwalan yang dikaitkan dengan monitor kualitas.

3. Klik Save untuk membuat monitor kualitas.

Langkah 3: Konfigurasi aturan kualitas data

1. Di halaman Table Quality Details, di tab Rule Management, pilih monitor kualitas yang telah Anda buat dan klik Create Rule untuk membuka halaman konfigurasi aturan.

2. Buat aturan kualitas data.

   Data Quality menyediakan beberapa metode untuk mengonfigurasi aturan pemantauan kualitas. Pilih metode yang paling sesuai dengan kebutuhan bisnis Anda.

   Metode 1: Templat sistem

   Data Quality menyediakan puluhan templat aturan kualitas bawaan. Di panel sisi kiri, klik + Use di samping templat untuk membuat aturan pemantauan kualitas dengan cepat. Anda dapat menambahkan beberapa aturan secara bersamaan.

   Anda dapat mengklik + System Template Rule di bagian atas lalu memodifikasi parameter Template untuk mengubah templat aturan.

   Parameter templat aturan sistem

   Parameter	Description
   Rule Name	Anda dapat memasukkan nama aturan kustom.
   Template	Menentukan jenis pemeriksaan aturan yang ingin Anda lakukan pada tabel. Data Quality menyediakan berbagai templat pemantauan bawaan tingkat tabel dan tingkat field yang dapat Anda gunakan. Untuk informasi lebih lanjut, lihat View built-in rule templates. Catatan Nilai rata-rata, jumlah, minimum, dan maksimum hanya berlaku untuk field numerik.
   Rule Scope	Lingkup aturan. Untuk aturan tingkat tabel, cakupannya adalah tabel saat ini secara default. Untuk aturan tingkat field, Anda perlu memilih field tertentu.
   Comparison Method	Menentukan cara aturan memeriksa apakah data tabel memenuhi ekspektasi Anda. Manual Settings: Menyesuaikan perbandingan antara output data dan aturan. Templat aturan berbeda mendukung metode perbandingan berbeda. Opsi yang tersedia di UI mungkin berbeda. Untuk hasil numeric, Anda dapat membandingkan hasil dengan nilai tetap, yang dikenal sebagai nilai yang diharapkan. Metode perbandingan yang didukung meliputi Greater Than, Greater Than or Equal To, Equal To, Unequal To, Less Than, dan Less Than or Equal To. Anda dapat menyesuaikan rentang data normal (ambang normal) dan rentang data kritis (ambang kritis). Untuk hasil fluctuation, Anda dapat melakukan perbandingan rentang. Metode perbandingan yang didukung meliputi Absolute Value, Raise, dan Drop. Anda dapat menyesuaikan rentang data normal (ambang normal). Anda juga dapat menentukan rentang peringatan (warning threshold) dan rentang kritis (critical threshold) berdasarkan tingkat penyimpangan. Intelligent Dynamic Threshold: Anda tidak perlu mengonfigurasi secara manual ambang fluktuasi atau nilai yang diharapkan. Sistem menggunakan algoritma cerdas untuk secara otomatis menentukan ambang yang wajar. Jika sistem mendeteksi data abnormal, sistem segera memicu peringatan atau memblokir tugas terkait. Ambang dinamis juga mendukung aturan kuat dan lemah. Catatan Hanya aturan kualitas yang dibuat dari templat custom SQL, custom range, and dynamic threshold yang mendukung metode perbandingan ambang dinamis cerdas.
   Monitoring Threshold	Jika Anda mengatur Comparison Method ke Manual Settings, Anda dapat menentukan Normal threshold dan Critical Threshold. Normal threshold: Jika hasil pemeriksaan aturan kualitas memenuhi nilai yang Anda tentukan di sini, data sesuai ekspektasi. Critical Threshold: Jika hasil pemeriksaan aturan kualitas memenuhi nilai yang Anda tentukan di sini, data tidak sesuai ekspektasi. Jika aturan merupakan pemeriksaan tipe fluctuation-type, Anda juga harus menentukan Warning Threshold. Warning Threshold: Jika hasil pemeriksaan aturan kualitas memenuhi nilai yang Anda tentukan di sini, data memiliki anomali tetapi tidak memengaruhi operasi bisnis.
   Retain problem data	Jika aturan diaktifkan dan pemeriksaan aturan kualitas gagal, sistem secara otomatis membuat tabel untuk menyimpan data bermasalah yang ditemukan selama pemeriksaan. Penting Saat ini, Anda dapat mengaktifkan fitur ini untuk tabel MaxCompute dan Hologres. Saat ini, hanya beberapa aturan pemantauan kualitas yang mendukung fitur ini. Status aturan memengaruhi fitur ini. Jika aturan Disabled, sistem tidak menyimpan data bermasalah.
   Status	Status Enable atau Disable aturan, yang mengontrol apakah aturan dijalankan di lingkungan produksi. Penting Jika Anda mengatur status ke Disable, Anda tidak dapat memicu aturan untuk test run, dan tugas penjadwalan terkait tidak akan memicunya.
   Degree of importance	Menentukan tingkat keparahan aturan. Aturan kuat: Aturan penting. Jika terjadi anomali kritis, secara default akan memblokir tugas penjadwalan terkait. Aturan lemah: Aturan biasa. Jika terjadi anomali kritis, secara default tidak memblokir tugas penjadwalan terkait.
   Configuration Source	Menampilkan sumber konfigurasi aturan. Dalam kasus ini, nilainya adalah Data Quality.
   Description	Anda dapat menambahkan deskripsi tambahan untuk aturan.

   Metode 2: Templat kustom

   Catatan

   Sebelum menggunakan templat kustom untuk membuat aturan, Anda harus membuka Quality Assets > Rule Template Library untuk membuat templat aturan kustom. Untuk informasi lebih lanjut, lihat Create and manage custom rule templates.

   Saat menggunakan templat kustom, sistem secara otomatis menampilkan konfigurasi dasarnya, seperti parameter FLAG parameter dan validasi SQL. Anda dapat menentukan Rule Name kustom dan mengonfigurasi ambang pemantauan berdasarkan jenis aturan. Misalnya, aturan numerik memerlukan ambang normal dan ambang kritis, sedangkan aturan tipe fluktuasi juga memerlukan warning threshold.

   Parameter templat aturan kustom

   Bagian ini hanya menjelaskan parameter yang unik untuk templat aturan kustom. Untuk informasi tentang parameter lainnya, lihat deskripsi parameter templat aturan sistem.

   Parameter	Deskripsi
   FLAG parameter	Menentukan perintah SET yang dieksekusi sebelum SQL pemeriksaan kualitas data dijalankan.
   SQL	Menentukan logika validasi SQL lengkap. Kueri harus mengembalikan satu nilai numerik dalam satu baris dan satu kolom. Dalam SQL kustom, gunakan tanda kurung siku untuk mencocokkan ekspresi filter partisi tabel. Contoh: SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; Catatan Sistem secara dinamis mengganti variabel ${tableName} dengan nama tabel yang dipantau. Untuk informasi lebih lanjut tentang cara mengonfigurasi ekspresi filter partisi, lihat Appendix 2: Built-in partition filter expressions. Jika Anda telah membuat quality monitor untuk tabel dan mengonfigurasi aturan dengan cara ini, Data Range yang Anda tentukan di pengaturan monitor tidak lagi berlaku. Klausul WHERE dalam pernyataan SQL ini yang menentukan partisi tabel mana yang akan diperiksa oleh aturan.

   Metode 3: Custom SQL

   Metode ini memungkinkan Anda menyesuaikan logika validasi kualitas data untuk tabel.

   Parameter SQL Kustom

   Bagian ini hanya menjelaskan parameter yang unik untuk Custom SQL. Untuk informasi tentang parameter lainnya, lihat deskripsi parameter templat aturan sistem.

   Parameter	Deskripsi
   FLAG parameter	Menentukan perintah SET yang dieksekusi sebelum SQL pemeriksaan kualitas data dijalankan.
   SQL	Menentukan logika validasi SQL lengkap. Kueri harus mengembalikan satu nilai numerik dalam satu baris dan satu kolom. Dalam SQL kustom, gunakan tanda kurung siku untuk mencocokkan ekspresi filter partisi tabel. Contoh: SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; Catatan Dalam konfigurasi Anda, Anda harus mengganti <table_name> dengan nama aktual tabel. Pernyataan SQL ini menentukan tabel mana yang akan dipantau. Untuk informasi lebih lanjut tentang cara mengonfigurasi ekspresi filter partisi, lihat Appendix 2: Built-in partition filter expressions. Jika Anda telah membuat quality monitor untuk tabel dan mengonfigurasi aturan dengan cara ini, Data Range yang Anda tentukan di pengaturan monitor tidak lagi berlaku. Klausul WHERE dalam pernyataan SQL ini yang menentukan partisi tabel mana yang akan diperiksa oleh aturan.

   Metode 4: Skrip kustom

   Aturan skrip kustom mendukung validasi data tingkat jam dan menit. Untuk informasi tentang cara menulis aturan skrip, lihat Using system rule templates. Contohnya:

   - assertion: change 30 minutes ago for max(id) = 15
     name: 30-minute difference in max value of id field is 15

   

3. (Opsional) Tambahkan aturan yang telah dikonfigurasi ke monitor kualitas. Untuk informasi lebih lanjut tentang monitor kualitas, lihat Langkah 2: Buat monitor kualitas.

   Catatan

   Aturan kualitas hanya dapat dipicu setelah Anda menambahkannya ke monitor kualitas. Di sini Anda dapat memilih monitor kualitas yang sudah ada, atau memilih aturan kualitas ini di langkah Select Quality Rules saat mengonfigurasi monitor kualitas.

   

4. Klik OK.

Langkah 4: Uji eksekusi aturan

Anda dapat menguji aturan dalam monitor kualitas dengan cara berikut.

Langkah 5: Ubah langganan peringatan

Anda telah mengonfigurasi langganan peringatan di Langkah 2. Buat monitor kualitas. Ketika aturan dipicu, sistem mengirimkan notifikasi ke penerima peringatan yang ditentukan. Jika Anda ingin mengubah langganan peringatan untuk memberi tahu pengguna lain, Anda dapat mengonfigurasinya dengan cara berikut.

Lampiran 1: Rumus laju fluktuasi dan varians

• Rumus laju fluktuasi: Fluctuation rate = (Sample value - Baseline value) / Baseline value

  • Sample value: Nilai sampel yang dikumpulkan pada hari ini. Misalnya, untuk pemeriksaan fluktuasi 1 hari jumlah baris tabel dalam tugas SQL, sampelnya adalah jumlah baris partisi hari ini.

  • Baseline value: Nilai perbandingan dari sampel historis.

  Catatan

  • Jika aturan adalah pemeriksaan table row count, 1-day fluctuation rate untuk tugas SQL, nilai baseline-nya adalah jumlah baris partisi hari sebelumnya.

  • Jika aturan adalah pemeriksaan table row count, 7-day average fluctuation rate untuk tugas SQL, nilai baseline-nya adalah rata-rata jumlah baris dari 7 hari sebelumnya.

• Rumus fluktuasi varians: (Current sample - Average of last N days) / Standard deviation

  Catatan

  Anda hanya dapat menggunakan varians untuk tipe numerik seperti BIGINT dan DOUBLE.

Lampiran 2: Ekspresi filter partisi bawaan

Contoh berikut mengasumsikan skenario ini:

• Waktu data (bizdate) adalah 20240524

• Waktu penjadwalan adalah 10:30:00