DataWorks:Konfigurasi aturan: Berdasarkan tabel

Langkah 1: Buka halaman detail kualitas tabel

1. Login ke DataWorks console. Di wilayah target, klik Data Governance > Data Quality di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Quality.

2. Buka halaman konfigurasi aturan untuk tabel.

   Di panel navigasi sebelah kiri, klik Rule Setting > Configure by Table untuk membuka halaman konfigurasi aturan.

   1. Dari daftar Connection di sebelah kiri, pilih database yang berisi tabel tempat Anda ingin mengonfigurasi aturan.

   2. Filter tabel berdasarkan kriteria seperti tipe database, database, dan nama tabel. Klik nama tabel target, atau klik Rule Management di kolom Actions untuk membuka halaman detail kualitas tabel.

      Halaman ini menampilkan semua monitor dan aturan kualitas untuk tabel tersebut. Anda dapat memfilter aturan berdasarkan apakah aturan tersebut dikaitkan dengan monitor kualitas dan menentukan mode jalannya untuk aturan yang tidak dikaitkan.

Langkah 2: Buat monitor kualitas

1. Buat monitor kualitas.

   Anda dapat membuat monitor kualitas dengan salah satu cara berikut:

   1. Metode 1: Di halaman Table Quality Details, klik tab Rule Management. Klik ikon di samping Monitor Perspective untuk membuat monitor kualitas.

   2. Metode 2: Di halaman Table Quality Details, beralih ke tab pemantauan kualitas. Klik Create Monitor.

2. Konfigurasi parameter untuk monitor kualitas.

   Parameter	Parameter	Deskripsi
   Basic Configurations	Monitor Name	Masukkan nama kustom untuk monitor kualitas.
   	Quality Monitoring Owner	Tentukan pemilik untuk monitor kualitas. Dalam langganan peringatan, Anda dapat menetapkan pemilik ini sebagai penerima untuk notifikasi Email, Email and SMS, atau Telephone.
   	Monitored Object	Objek yang akan diperiksa kualitas datanya. Secara default, ini adalah tabel saat ini.
   	Data Scope	Gunakan ekspresi filter partisi untuk menentukan partisi tabel yang akan diperiksa. Tabel non-partisi: Anda tidak perlu mengonfigurasi parameter ini. Secara default, Full Table diperiksa. Tabel partisi: Ekspresi harus dalam format partition_name=partition_value. Nilai partisi dapat berupa nilai tetap atau nilai dari Lampiran 2: Ekspresi filter partisi bawaan. Catatan Pengaturan ini diabaikan ketika Anda mengonfigurasi aturan menggunakan templat kustom atau SQL kustom, karena SQL kustom itu sendiri yang menentukan partisi mana yang diperiksa.
   Select Monitoring Rule	Select Monitoring Rule	Pilih aturan kualitas data yang akan diterapkan pada rentang data yang ditentukan. Catatan Anda dapat membuat beberapa monitor kualitas untuk partisi berbeda dan mengaitkan masing-masing dengan aturan kualitas data yang berbeda. Jika Anda belum membuat aturan kualitas data, Anda dapat melewati langkah ini. Anda dapat membuat monitor kualitas terlebih dahulu, lalu menambahkan aturan ke dalamnya nanti. Untuk informasi lebih lanjut tentang cara membuat aturan kualitas data, lihat Langkah 3. Konfigurasi aturan kualitas data.
   Running Settings	Trigger Method	Metode yang memicu monitor kualitas. Triggered by Node Scheduling in Production Environment: Mengaitkan monitor kualitas dengan tugas terjadwal periodik tertentu di DataWorks Operation Center. Setelah tugas berhasil dijalankan, aturan kualitas data dalam monitor kualitas ini akan secara otomatis dipicu. Tugas dry-run tidak memicu pemeriksaan aturan kualitas data. Triggered Manually: Memulai secara manual aturan kualitas data yang dikaitkan dengan monitor kualitas saat ini. Penting Jika tabel yang Anda pantau bukan tabel MaxCompute dan Anda menetapkan Trigger Method ke Triggered by Node Scheduling in Production Environment, tugas terjadwal periodik yang dipilih tidak boleh menggunakan resource group penjadwalan publik. Jika tidak, akan terjadi error saat monitor kualitas dijalankan.
   	Associated Auto Triggered Node	Jika Anda menetapkan Trigger Method ke Triggered by Node Scheduling in Production Environment, Anda dapat mengonfigurasi parameter ini untuk menentukan node penjadwalan terkait. Setelah node penjadwalan yang ditentukan berhasil dijalankan, aturan kualitas data akan secara otomatis dipicu.
   	Resources	Sumber daya komputasi yang digunakan untuk menjalankan pemeriksaan aturan kualitas data. Secara default, sumber data tabel yang dipantau di ruang kerja dipilih. Jika Anda memilih sumber data lain, pastikan sumber dayanya dapat mengakses tabel tersebut.
   Handling Policies	Quality Issue Handling Policies	Kebijakan yang diterapkan ketika terdeteksi masalah kualitas data. Alert: Ketika terdeteksi masalah kualitas data, notifikasi peringatan dikirim ke subscriber monitor kualitas. Kondisi default adalah: Strong rule - Critical anomaly, Strong rule - Warning anomaly, Strong rule - Check failed, Weak rule - Critical anomaly, Weak rule - Warning anomaly, dan Weak rule - Check failed. Blocks: Ketika terdeteksi masalah kualitas data, sistem akan menggagalkan node penjadwalan produksi pemicu dan memblokir node downstream-nya. Tindakan ini memblokir pipeline produksi untuk mencegah penyebaran data bermasalah. Kondisi default adalah Strong rule - Critical anomaly. Penting Jika Anda menetapkan kebijakan ke Blocks, peringatan juga akan dipicu ketika terdeteksi masalah kualitas data.
   	Alert Method Configuration	Anda dapat mengirim notifikasi peringatan melalui Email, Email and SMS, DingTalk Chatbot, DingTalk Chatbot @ALL, Lark Group Chatbot, Enterprise WeChat Chatbot, Custom Webhook, atau Telephone. Catatan Untuk menggunakan chatbot DingTalk, Lark, atau Enterprise WeChat, tambahkan chatbot untuk mendapatkan URL webhook-nya, lalu tempelkan URL tersebut ke pengaturan langganan peringatan. Metode Custom Webhook hanya didukung di DataWorks Enterprise Edition. Untuk informasi tentang format pesan notifikasi peringatan yang dikirim DataWorks melalui Custom Webhook, lihat Lampiran: Format pesan Webhook. Jika Anda memilih Email, Email and SMS, atau Telephone sebagai metode notifikasi, Anda dapat menetapkan Authorized object ke Data Quality Monitoring Owner, Shift Schedule, atau Scheduling Task Owner. Data Quality Monitoring Owner: Mengirim notifikasi peringatan ke Quality Monitoring Owner yang ditentukan di bagian Basic Configurations monitor kualitas saat ini. Shift Schedule: Ketika node penjadwalan terkait memicu peringatan kualitas, sistem mengirim notifikasi ke pengguna yang bertugas hari ini dalam jadwal shift. Scheduling Task Owner: Notifikasi peringatan akan dikirim ke Head dari node penjadwalan yang dikaitkan dengan monitor kualitas.

3. Klik Save untuk membuat monitor kualitas.

Langkah 3: Konfigurasi aturan kualitas data

1. Di halaman Table Quality Details, klik tab Rule Management, pilih monitor kualitas yang telah Anda buat, lalu klik Create Rule untuk membuka halaman konfigurasi aturan.

2. Buat aturan kualitas data.

   Data Quality menyediakan metode berikut untuk mengonfigurasi aturan. Pilih metode yang paling sesuai dengan kebutuhan bisnis Anda.

   Metode 1: System template

   Data Quality menyediakan puluhan templat aturan bawaan. Di panel sebelah kiri, klik + Use di samping templat untuk segera membuat aturan kualitas. Anda dapat menambahkan beberapa aturan sekaligus.

   Anda dapat mengklik + System template rule di bagian atas lalu memodifikasi parameter Template untuk mengubah templat aturan.

   Parameter templat aturan sistem

   Parameter	Description
   Rule Name	Masukkan nama kustom untuk aturan.
   Template	Menentukan jenis pemeriksaan aturan yang dilakukan pada tabel. Data quality menyediakan berbagai templat aturan tingkat tabel dan tingkat bidang bawaan. Untuk informasi lebih lanjut, lihat Lihat templat aturan bawaan. Catatan Rata-rata, jumlah, nilai minimum, dan maksimum hanya berlaku untuk bidang numerik.
   Rule Scope	Cakupan penerapan aturan. Untuk aturan tingkat tabel, cakupannya adalah tabel saat ini secara default. Untuk aturan tingkat bidang, Anda harus memilih bidang tertentu.
   Comparison Method	Menentukan cara aturan memvalidasi data tabel. Manual Settings: Memungkinkan Anda menetapkan metode perbandingan dan ambang batas secara manual. Metode perbandingan yang tersedia bervariasi tergantung templat aturan. Opsi yang ditampilkan di UI bersifat definitif. Mendukung perbandingan hasil Numeric Type, biasanya terhadap nilai tetap (nilai yang diharapkan). Metode perbandingannya meliputi Greater Than, Greater Than or Equal To, Equal To, Unequal To, Less Than, dan Less Than or Equal To. Anda dapat menyesuaikan rentang data normal (ambang batas normal) dan rentang data abnormal (ambang batas kritis). Mendukung perbandingan hasil Fluctuation, yang biasanya merupakan perbandingan rentang. Metode perbandingannya meliputi Absolute Value, Raise, dan Drop. Anda dapat menyesuaikan rentang data normal (ambang batas normal). Anda juga dapat menentukan rentang peringatan untuk data dengan anomali (ambang peringatan) dan rentang kritis untuk data yang tidak memenuhi ekspektasi (ambang batas kritis) berdasarkan tingkat penyimpangannya. Intelligent Dynamic Threshold: Sistem menggunakan algoritma cerdas untuk secara otomatis menentukan ambang batas yang wajar, sehingga Anda tidak perlu mengonfigurasinya secara manual. Jika sistem mendeteksi data abnormal, sistem segera memicu peringatan atau memblokir tugas terkait. Ambang batas dinamis juga mendukung strong rule dan weak rule. Catatan Hanya aturan kualitas custom SQL, custom range, and dynamic threshold yang mendukung metode perbandingan ambang batas dinamis cerdas.
   Monitoring Threshold	Jika Anda menetapkan Comparison Method ke Manual Settings, Anda dapat menentukan Normal threshold dan Error Threshold. Normal threshold: Kondisi yang harus dipenuhi oleh hasil pemeriksaan agar data dianggap normal. Error Threshold: Kondisi yang, jika dipenuhi oleh hasil pemeriksaan, menunjukkan data sangat abnormal dan memicu peringatan kritis. Jika aturan melakukan pemeriksaan Fluctuation, Anda juga harus menentukan Warning Threshold. Warning Threshold: Kondisi yang, jika dipenuhi oleh hasil pemeriksaan, menunjukkan anomali tidak kritis yang tidak memengaruhi operasi bisnis.
   Retain problem data	Jika fitur ini diaktifkan dan pemeriksaan aturan gagal, sistem secara otomatis membuat tabel untuk menyimpan data bermasalah tersebut. Penting Anda dapat mengonfigurasi fitur retain problem data untuk tabel MaxCompute dan Hologres. Hanya beberapa aturan kualitas data yang mendukung fitur retain problem data. Fitur ini dipengaruhi oleh status aturan. Jika aturan Deactivate, sistem tidak menyimpan data bermasalah.
   Status	Status aturan, yang dapat berupa Enable atau Deactivate. Ini mengontrol apakah aturan dijalankan di lingkungan produksi. Penting Jika Anda menetapkan status ke Deactivate, aturan tidak dapat dipicu untuk test run atau oleh tugas penjadwalan terkait.
   Degree of importance	Tingkat keparahan aturan. Strong rule: Aturan penting. Secara default, anomali kritis akan memblokir tugas penjadwalan terkait. Weak rule: Aturan biasa. Secara default, anomali kritis tidak memblokir tugas penjadwalan terkait.
   Configuration Source	Sumber konfigurasi aturan. Dalam kasus ini, nilainya adalah Data Quality.
   Description	Deskripsi opsional untuk aturan.

   Metode 2: Custom template

   Catatan

   Sebelum membuat aturan menggunakan templat kustom, Anda harus membuka Quality Assets > Rule Template Library untuk membuat templat aturan kustom. Untuk informasi lebih lanjut, lihat Buat dan kelola templat aturan kustom.

   Ketika menggunakan templat kustom, konfigurasi dasarnya, seperti parameter FLAG parameter dan validasi SQL, akan diisi secara otomatis. Anda dapat menentukan Rule Name kustom dan mengonfigurasi ambang batas pemantauan berdasarkan jenis aturan. Misalnya, aturan numerik memerlukan ambang batas normal dan ambang batas kritis, sedangkan aturan jenis fluktuasi juga memerlukan ambang peringatan.

   Parameter templat aturan kustom

   Bagian ini hanya menjelaskan parameter yang unik untuk templat aturan kustom. Untuk informasi tentang parameter lainnya, lihat Parameter templat aturan sistem.

   Parameter	Deskripsi
   FLAG parameter	Menentukan perintah SET yang dieksekusi sebelum SQL pemeriksaan kualitas data dijalankan.
   SQL	Logika validasi SQL. Kueri harus mengembalikan satu nilai numerik. Dalam SQL kustom, gunakan tanda kurung siku untuk mencocokkan ekspresi filter partisi tabel. Contoh: SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; Catatan Variabel ${tableName} secara dinamis diganti dengan nama tabel yang dipantau. Untuk informasi lebih lanjut tentang cara mengonfigurasi ekspresi filter partisi, lihat Lampiran 2: Ekspresi filter partisi bawaan. Jika Anda membuat monitor kualitas untuk tabel dan mengonfigurasi aturan dengan metode ini, Data Scope yang ditentukan untuk monitor akan diabaikan. Klausul WHERE dalam SQL ini menentukan partisi mana yang diperiksa.

   Metode 3: Custom SQL

   Metode ini memungkinkan Anda menyesuaikan logika validasi kualitas data untuk tabel.

   Parameter SQL Kustom

   Bagian ini hanya menjelaskan parameter yang unik untuk Custom SQL. Untuk informasi tentang parameter lainnya, lihat Parameter templat aturan sistem.

   Parameter	Deskripsi
   FLAG parameter	Menentukan perintah SET yang dieksekusi sebelum SQL pemeriksaan kualitas data dijalankan.
   SQL	Logika validasi SQL. Kueri harus mengembalikan satu nilai numerik. Dalam SQL kustom, gunakan tanda kurung siku untuk mencocokkan ekspresi filter partisi tabel. Contoh: SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; Catatan Dalam konfigurasi Anda, Anda harus mengganti <table_name> dengan nama aktual tabel. Pernyataan SQL ini menentukan tabel mana yang dipantau. Untuk informasi lebih lanjut tentang cara mengonfigurasi ekspresi filter partisi, lihat Lampiran 2: Ekspresi filter partisi bawaan. Jika Anda membuat monitor kualitas untuk tabel dan mengonfigurasi aturan dengan metode ini, Data Scope yang ditentukan untuk monitor akan diabaikan. Klausul WHERE dalam SQL ini menentukan partisi mana yang diperiksa.

   Metode 4: Custom script

   Aturan skrip kustom mendukung validasi data tingkat jam dan tingkat menit. Untuk informasi tentang cara menulis aturan skrip, lihat Gunakan templat aturan sistem. Contoh:

   - assertion: change 30 minutes ago for max(id) = 15
     name: 30-minute difference in max value of id field is 15

3. (Opsional) Tambahkan aturan yang telah dikonfigurasi ke monitor kualitas. Untuk informasi lebih lanjut tentang monitor kualitas, lihat Langkah 2. Buat monitor kualitas.

   Catatan

   Aturan kualitas hanya dapat dipicu setelah Anda menambahkannya ke monitor kualitas. Di sini Anda dapat memilih monitor kualitas yang sudah ada, atau memilih aturan kualitas ini di langkah Select quality rules saat mengonfigurasi monitor kualitas.

4. Klik Confirm.

Langkah 4: Uji aturan

Anda dapat menguji aturan monitor kualitas dengan cara berikut.

Langkah 5: Ubah langganan peringatan

Anda telah mengonfigurasi langganan peringatan di Langkah 2. Buat monitor kualitas. Ketika aturan dipicu, sistem mengirim notifikasi ke penerima peringatan yang ditentukan. Jika perlu mengubah penerima peringatan, Anda dapat memodifikasi langganan peringatan dengan salah satu cara berikut.

Lampiran 1: Rumus laju fluktuasi dan varians

• Rumus laju fluktuasi: laju fluktuasi = (nilai sampel - nilai garis dasar) / nilai garis dasar

  • nilai sampel: Nilai sampel hari ini. Misalnya, untuk pemeriksaan laju fluktuasi 1 hari pada jumlah baris tabel tugas SQL, nilai sampel adalah jumlah baris partisi hari ini.

  • nilai garis dasar: Nilai referensi dari sampel historis.

  Catatan

  • Jika aturan adalah pemeriksaan jumlah baris tabel tugas SQL, laju fluktuasi 1 hari, nilai garis dasarnya adalah jumlah baris partisi hari sebelumnya.

  • Jika aturan adalah pemeriksaan jumlah baris tabel tugas SQL, laju fluktuasi rata-rata 7 hari, nilai garis dasarnya adalah rata-rata jumlah baris dari 7 hari sebelumnya.

• Rumus varians: (nilai sampel saat ini - rata-rata N hari terakhir) / deviasi standar

  Catatan

  Anda hanya dapat menggunakan varians untuk tipe numerik seperti BIGINT dan DOUBLE.

Lampiran 2: Ekspresi partisi bawaan

Asumsikan skenario berikut:

• Waktu data (bizdate) adalah 20240524

• Waktu penjadwalan adalah 10:30:00