DataWorks：Konfigurasi aturan: Berdasarkan tabel (tabel tunggal)

1. Buka halaman detail kualitas tabel

1. Buka halaman Data Quality.

   Login ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Di panel navigasi kiri, pilih Data Governance > Data Quality. Pada halaman yang muncul, pilih ruang kerja yang diinginkan dari daftar drop-down dan klik Go to Data Quality.

2. Buka halaman untuk mengonfigurasi aturan pemantauan berdasarkan tabel.

   Di panel navigasi kiri, klik Configure Rules > Configure by Table untuk membuka halaman konfigurasi aturan.

   1. Di daftar Data Source di sebelah kiri, pilih database yang berisi tabel tempat Anda ingin mengonfigurasi aturan.

   2. Filter tabel berdasarkan jenis database, database, atau nama tabel. Klik nama tabel target atau klik Rule Management di kolom Actions. Hal ini akan membawa Anda ke halaman detail kualitas tabel untuk tabel tersebut.

      Halaman ini menampilkan semua pekerjaan dan aturan pemantauan kualitas yang telah dikonfigurasi untuk tabel saat ini. Anda dapat dengan cepat memfilter aturan berdasarkan apakah aturan tersebut dikaitkan dengan pekerjaan pemantauan kualitas. Anda juga dapat menentukan metode eksekusi untuk aturan yang belum dikaitkan dengan pekerjaan pemantauan kualitas.

      

2. Buat pekerjaan pemantauan kualitas

1. Buat pekerjaan pemantauan kualitas baru.

   Anda dapat membuat pekerjaan pemantauan kualitas dengan dua cara:

   Halaman manajemen aturan

   Di halaman Table Quality Details untuk tabel tersebut, klik tab Rule Management. Di samping Monitor Perspective, klik ikon untuk membuat pekerjaan pemantauan kualitas baru.

   

   Halaman pemantauan kualitas

   Di halaman Table Quality Details untuk tabel tersebut, alihkan ke tab Monitor. Klik Create Monitor.

   

2. Konfigurasi parameter untuk pekerjaan pemantauan kualitas.

   Item konfigurasi	Parameter	Deskripsi
   Basic Configurations	Monitor Name	Masukkan nama kustom untuk aturan pemantauan.
   	Quality Monitoring Owner	Anda dapat menentukan pemilik monitor sesuai kebutuhan. Saat mengonfigurasi langganan peringatan, Anda dapat menentukan pemilik monitor sebagai penerima peringatan dengan menggunakan Email, Email and SMS, atau Telephone.
   	Monitored Object	Objek untuk pemeriksaan kualitas data. Secara default, ini adalah tabel saat ini.
   	Data Range	Gunakan ekspresi filter partisi untuk menentukan partisi yang akan diperiksa oleh aturan kualitas. Untuk tabel non-partisi, Anda tidak perlu mengonfigurasi parameter ini. Semua data dalam tabel diperiksa secara default. Tabel partisi: Format ekspresi adalah partition_name=partition_value. Nilai partisi dapat berupa bidang statis atau ekspresi filter partisi bawaan dari Lampiran 2. Catatan Konfigurasi ini tidak berlaku saat Anda menggunakan templat kustom atau SQL kustom untuk mengonfigurasi aturan. Untuk aturan yang dikonfigurasi dengan templat kustom atau SQL kustom, partisi yang akan diperiksa ditentukan oleh SQL kustom tersebut.
   Monitoring Rule	Monitoring Rule	Kaitkan aturan kualitas dengan pekerjaan pemantauan kualitas untuk menentukan aturan mana yang akan memeriksa apakah data dalam rentang waktu saat ini memenuhi ekspektasi. Catatan Anda dapat membuat beberapa pekerjaan pemantauan kualitas untuk partisi berbeda dan mengaitkannya dengan aturan kualitas berbeda. Hal ini memungkinkan Anda menerapkan aturan validasi berbeda untuk partisi berbeda. Jika Anda belum membuat aturan kualitas, Anda dapat melewati langkah ini untuk saat ini. Buat terlebih dahulu pekerjaan pemantauan kualitas, lalu tambahkan aturan ke dalamnya nanti. Untuk informasi lebih lanjut tentang cara membuat aturan kualitas, lihat 3. Konfigurasi aturan Data Quality.
   Running Settings	Trigger Method	Metode pemicu untuk monitor. Triggered by Node Scheduling in Production Environment: Setelah node penjadwalan yang Anda kaitkan dengan monitor selesai dijalankan di Operation Center, aturan yang dikaitkan dengan monitor secara otomatis dipicu. Perhatikan bahwa node simulasi kering tidak memicu aturan pemantauan untuk dijalankan. Triggered Manually: Aturan pemantauan yang dikaitkan dengan monitor dipicu secara manual. Penting Jika tabel yang ingin Anda periksa kualitas datanya bukan tabel MaxCompute dan Triggered By Node Scheduling In Production Environment dipilih untuk parameter Trigger Method, Anda tidak dapat mengaitkan node penjadwalan yang dijalankan pada resource group bersama untuk penjadwalan dengan monitor. Jika tidak, kesalahan mungkin terjadi saat monitor dijalankan.
   	Associated Scheduling Node	Jika Anda mengatur parameter Trigger Method ke Triggered By Node Scheduling In Production Environment, Anda dapat mengonfigurasi parameter ini untuk memilih node penjadwalan yang ingin Anda kaitkan dengan monitor. Setelah node penjadwalan selesai dijalankan, aturan yang dikaitkan dengan monitor secara otomatis dipicu.
   	Running Resources	Sumber daya komputasi yang diperlukan untuk menjalankan pemeriksaan aturan kualitas. Secara default, sumber data tabel yang dipantau di ruang kerja dipilih. Jika Anda memilih sumber data lain, pastikan sumber daya yang sesuai dapat mengakses tabel tersebut.
   Handling Policies	Quality Issue Handling Policies	Konfigurasi kebijakan pemblokiran atau peringatan yang akan digunakan saat terdeteksi masalah kualitas data. Block: Saat terdeteksi masalah kualitas data, sistem mengidentifikasi node penjadwalan produksi yang memicu pemeriksaan kualitas tabel. Sistem kemudian menetapkan status node menjadi gagal, dan node downstream tidak akan dijalankan. Hal ini memblokir pipeline produksi untuk mencegah penyebaran data bermasalah. Default-nya adalah Strong Rule - Critical Anomaly. Alert: Saat terdeteksi masalah kualitas data, pesan peringatan dikirim ke saluran langganan peringatan pekerjaan pemantauan kualitas. Default-nya adalah: Strong Rule - Critical Anomaly, Strong Rule - Warning Anomaly, Strong Rule - Check Failed, Soft Rule - Critical Anomaly, Soft Rule - Warning Anomaly, dan Soft Rule - Check Failed.
   	Alert Method Configuration	Anda dapat mengirim notifikasi peringatan menggunakan Email, Email and SMS, DingTalk Chatbot, DingTalk Chatbot @ALL, Lark Group Chatbot, Enterprise Wecha Robot, Custom WebHook, atau Telephone. Catatan Anda dapat menambahkan chatbot DingTalk, chatbot Lark, atau chatbot WeChat dan mendapatkan URL webhook. Kemudian, salin URL webhook tersebut ke bidang Recipient di kotak dialog langganan peringatan. Metode notifikasi Custom Webhook hanya didukung di DataWorks Edisi Perusahaan. Untuk informasi tentang format pesan notifikasi peringatan yang dikirim menggunakan Custom Webhook, lihat Lampiran: Format pesan notifikasi peringatan yang dikirim menggunakan URL webhook kustom. Saat Anda memilih Email, Email and SMS, atau Telephone sebagai metode notifikasi, Anda dapat menentukan Recipient sebagai Monitor Owner, Shift Schedule, atau Node Owner. Data Quality Monitoring Owner: Informasi peringatan akan dikirim ke Quality Monitoring Owner yang ditetapkan di bagian Basic Configurations monitor kualitas saat ini. Shift Schedule: Saat aturan pemantauan yang dikaitkan dengan monitor dipicu dan peringatan dihasilkan, sistem mengirim notifikasi peringatan ke orang yang bertugas pada hari tersebut dalam jadwal shift. Scheduling Task Owner: Notifikasi peringatan dikirim ke pemilik node penjadwalan yang dikaitkan dengan monitor.

3. Klik Save untuk membuat pekerjaan pemantauan kualitas.

3. Konfigurasi aturan Data Quality

1. Di halaman Table Quality Details, pada tab Rule Management, pilih pekerjaan pemantauan kualitas yang telah Anda buat. Lalu, klik Create Rule untuk membuka halaman konfigurasi aturan.

2. Buat aturan Data Quality.

   Data Quality menyediakan metode berikut untuk mengonfigurasi aturan pemantauan kualitas. Pilih salah satu sesuai kebutuhan.

   Metode 1: Gunakan templat sistem

   Data Quality menyediakan puluhan templat aturan kualitas bawaan. Di panel sebelah kiri, klik + Use untuk membuat aturan pemantauan kualitas secara cepat berdasarkan templat tersebut. Anda dapat menambahkan beberapa aturan sekaligus.

   Anda dapat mengklik + System Template Rule di bagian atas lalu memodifikasi parameter Rule Template untuk memilih templat aturan target.

   Parameter templat aturan sistem

   Parameter	Deskripsi
   Rule Name	Nama aturan pemantauan.
   Template	Menentukan jenis validasi aturan yang perlu dilakukan pada tabel. Data Quality menyediakan banyak templat aturan bawaan tingkat tabel dan tingkat bidang yang siap digunakan. Untuk informasi selengkapnya, lihat Lihat templat aturan bawaan. Catatan Anda hanya dapat mengonfigurasi aturan pemantauan tingkat bidang berikut untuk bidang numerik: nilai rata-rata, jumlah nilai, nilai minimum, dan nilai maksimum.
   Rule Scope	Cakupan penerapan aturan. Untuk aturan pemantauan tingkat tabel, cakupan penerapannya adalah tabel saat ini secara default. Untuk aturan pemantauan tingkat bidang, cakupan penerapannya adalah bidang tertentu.
   Comparison Method	Metode perbandingan yang digunakan aturan untuk memeriksa apakah data tabel sesuai ekspektasi. Manual Settings: Anda dapat mengonfigurasi metode perbandingan untuk membandingkan hasil output data dengan hasil yang diharapkan berdasarkan kebutuhan bisnis Anda. Anda dapat memilih metode perbandingan berbeda untuk templat aturan berbeda. Anda dapat melihat metode perbandingan yang didukung oleh templat aturan di Konsol DataWorks. Untuk hasil numerik, Anda dapat membandingkan hasil numerik dengan nilai tetap, yaitu nilai yang diharapkan. Metode perbandingan berikut didukung: Greater Than, Greater Than Or Equal To, Equal To, Not Equal To, Less Than, dan Less Than Or Equal To. Anda dapat mengonfigurasi rentang data normal (ambang normal) dan rentang data abnormal (ambang merah) berdasarkan kebutuhan bisnis Anda. Untuk hasil fluktuasi, Anda dapat membandingkan hasil fluktuasi dengan rentang fluktuasi. Metode perbandingan berikut didukung: Absolute Value, Raise, dan Drop. Anda dapat mengonfigurasi rentang data normal (ambang normal) berdasarkan kebutuhan bisnis Anda. Anda juga dapat menentukan pengecualian output data (ambang oranye) dan output data tak terduga (ambang merah) berdasarkan tingkat penyimpangan abnormal. Intelligent Dynamic Threshold: Jika Anda memilih opsi ini, Anda tidak perlu mengonfigurasi ambang fluktuasi atau nilai yang diharapkan secara manual. Sistem secara otomatis menentukan ambang yang wajar berdasarkan algoritma cerdas. Jika data abnormal terdeteksi, peringatan segera dipicu atau tugas terkait segera diblokir. Saat parameter Comparison Method diatur ke Intelligent Dynamic Threshold, Anda dapat mengonfigurasi parameter Degree of importance. Catatan Hanya aturan pemantauan yang Anda konfigurasikan berdasarkan pernyataan SQL kustom, rentang kustom, atau ambang dinamis yang mendukung metode perbandingan ambang dinamis cerdas.
   Monitoring Threshold	Jika Anda mengatur parameter Comparison Method ke Manual Settings, Anda dapat mengonfigurasi parameter Normal Threshold dan Red Threshold. Normal Threshold: Jika hasil pemeriksaan kualitas data memenuhi kondisi yang ditentukan, output data sesuai ekspektasi. Red Threshold: Jika hasil pemeriksaan kualitas data memenuhi kondisi yang ditentukan, output data tidak sesuai ekspektasi. Jika aturan yang Anda konfigurasikan adalah aturan Intelligent Dynamic Threshold, Anda harus mengonfigurasi parameter Orange Threshold. Orange Threshold: Jika hasil pemeriksaan kualitas data memenuhi kondisi yang ditentukan, data abnormal tetapi bisnis Anda tidak terpengaruh.
   Retain problem data	Jika aturan pemantauan diaktifkan dan pemeriksaan kualitas data berdasarkan aturan tersebut gagal, sistem secara otomatis membuat tabel untuk menyimpan data bermasalah yang diidentifikasi selama pemeriksaan kualitas data. Penting Parameter Retain problem data tersedia untuk tabel MaxCompute dan Hologres. Parameter Retain problem data hanya tersedia untuk aturan pemantauan tertentu di Data Quality. Jika Anda Disable aturan pemantauan, data bermasalah tidak disimpan.
   Status	Menentukan apakah akan Enable atau Disable aturan di lingkungan produksi. Penting Jika Anda Disable aturan, aturan tersebut tidak dapat dipicu untuk menjalankan uji coba atau dipicu oleh node penjadwalan terkait.
   Degree of importance	Kekuatan aturan dalam bisnis Anda. Aturan kuat adalah aturan penting. Jika Anda mengatur parameter ke Aturan kuat dan ambang kritis terlampaui, node penjadwalan yang Anda kaitkan dengan monitor diblokir secara default. Aturan lemah adalah aturan biasa. Jika Anda mengatur parameter ke Aturan lemah dan ambang kritis terlampaui, node penjadwalan yang Anda kaitkan dengan monitor tidak diblokir secara default.
   Configuration Source	Sumber konfigurasi aturan. Nilai default-nya adalah Data Quality.
   Description	Anda dapat menambahkan deskripsi tambahan untuk aturan tersebut.

   Metode 2: Gunakan templat kustom

   Catatan

   Sebelum menggunakan metode ini untuk membuat aturan, Anda harus membuka Quality Assets > Rule Template Library untuk membuat templat aturan kustom. Untuk informasi selengkapnya, lihat Buat dan kelola templat aturan kustom.

   Saat Anda mereferensikan templat aturan kustom, konfigurasi dasar templat, seperti parameter FLAG parameter dan SQL, akan ditampilkan secara otomatis. Anda dapat mengonfigurasi parameter Rule Name sesuai kebutuhan bisnis Anda, dan parameter Monitoring Threshold berdasarkan jenis aturan. Misalnya, Anda harus menentukan ambang normal dan ambang kritis untuk aturan numerik, serta menentukan ambang peringatan selain ambang normal dan ambang kritis untuk aturan jenis fluktuasi.

   Parameter templat aturan kustom

   Hanya parameter yang unik untuk aturan berdasarkan templat aturan kustom yang dijelaskan dalam tabel berikut. Untuk informasi tentang parameter lainnya, lihat parameter untuk mengonfigurasi aturan berdasarkan templat aturan bawaan.

   Parameter	Deskripsi
   FLAG parameter	Pernyataan SET yang ingin Anda eksekusi sebelum pernyataan SQL dalam aturan dieksekusi.
   SQL	Pernyataan SQL yang menentukan logika pemeriksaan lengkap. Hasil yang dikembalikan harus berupa angka dan terdiri dari satu baris dan satu kolom. Dalam pernyataan SQL kustom, sertakan ekspresi filter partisi dalam tanda kurung []. Contoh: SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd]; Catatan Dalam pernyataan ini, nilai variabel ${tableName} secara dinamis diganti dengan nama tabel tempat Anda mengonfigurasi aturan pemantauan. Untuk informasi tentang cara mengonfigurasi ekspresi filter partisi, lihat bagian Lampiran 2: Ekspresi filter partisi bawaan dalam topik ini. Jika Anda telah membuat monitor untuk tabel tersebut, pengaturan partisi tabel yang Anda tentukan dalam parameter Data Range selama konfigurasi monitor tidak lagi berlaku untuk tabel tersebut setelah Anda mengonfigurasi parameter ini. Aturan menentukan partisi tabel yang akan diperiksa berdasarkan pengaturan WHERE dalam pernyataan SQL.

   Metode 3: Gunakan pernyataan SQL kustom

   Metode ini memungkinkan Anda menyesuaikan logika validasi kualitas data untuk tabel tersebut.

   Parameter SQL kustom

   Hanya parameter yang unik untuk SQL kustom yang ditampilkan di sini. Untuk penjelasan parameter lainnya, lihat deskripsi parameter templat aturan sistem.

   Parameter	Deskripsi
   FLAG parameter	Pernyataan SET yang ingin Anda eksekusi sebelum pernyataan SQL dalam aturan dieksekusi.
   SQL	Pernyataan SQL yang menentukan logika pemeriksaan lengkap. Hasil yang dikembalikan harus berupa angka dan terdiri dari satu baris dan satu kolom. Dalam pernyataan SQL kustom, sertakan ekspresi filter partisi dalam tanda kurung []. Contoh: SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd]; Catatan Anda harus mengganti <table_name> dengan nama tabel tempat Anda mengonfigurasi aturan pemantauan. Pernyataan SQL menentukan tabel yang perlu dipantau. Untuk informasi tentang cara mengonfigurasi ekspresi filter partisi, lihat bagian Lampiran 2: Ekspresi filter partisi bawaan dalam topik ini. Jika Anda telah membuat monitor untuk tabel tersebut, pengaturan partisi tabel yang Anda tentukan dalam parameter Data Range selama konfigurasi monitor tidak lagi berlaku untuk tabel tersebut setelah Anda mengonfigurasi parameter ini. Aturan menentukan partisi tabel yang akan diperiksa berdasarkan pengaturan WHERE dalam pernyataan SQL.

   Metode 4: Gunakan skrip kustom

   Aturan skrip kustom mendukung validasi data pada tingkat jam dan menit. Untuk informasi tentang cara menulis aturan skrip, lihat Gunakan templat aturan sistem. Contohnya:

   - assertion: change 30 minutes ago for max(id) = 15
     name: 30-minute difference in max value of id field is 15

   

3. (Opsional) Anda dapat menambahkan aturan yang telah dikonfigurasi ke pekerjaan pemantauan kualitas. Untuk informasi lebih lanjut tentang pekerjaan pemantauan kualitas, lihat 2. Buat pekerjaan pemantauan kualitas.

   Catatan

   Aturan pemantauan yang dikonfigurasi hanya dapat dipicu jika Anda menambahkan aturan tersebut ke monitor. Untuk mengaitkan aturan dengan monitor, Anda dapat memilih monitor yang sudah ada di sini, atau memilih aturan di bagian Monitoring Rule saat mengonfigurasi monitor.

   

4. Klik Determine.

4. Uji eksekusi aturan

Anda dapat menguji pemicuan aturan dalam pekerjaan pemantauan kualitas dengan cara berikut.

5. Modifikasi langganan peringatan

Anda menyiapkan langganan peringatan di Langkah 2. Buat pekerjaan pemantauan kualitas. Saat aturan dipicu, sistem mengirim notifikasi ke penerima peringatan yang sesuai. Jika Anda ingin memodifikasi langganan peringatan untuk memberi tahu pengguna lain, Anda dapat mengonfigurasinya dengan cara berikut.

Lampiran 1: Rumus laju fluktuasi dan varians

• Rumus laju fluktuasi: Laju fluktuasi = (Nilai sampel - Nilai garis dasar) / Nilai garis dasar

  • Nilai sampel: Nilai spesifik dari sampel yang dikumpulkan pada hari ini. Misalnya, untuk pemeriksaan fluktuasi 1 hari jumlah baris tabel dalam tugas SQL, sampelnya adalah jumlah baris partisi hari ini.

  • Nilai garis dasar: Nilai perbandingan dari sampel historis.

  Catatan

  • Jika aturan tersebut adalah pemeriksaan laju fluktuasi 1 hari jumlah baris tabel untuk tugas SQL, nilai garis dasarnya adalah jumlah baris tabel dari partisi hari sebelumnya.

  • Jika aturan tersebut adalah pemeriksaan laju fluktuasi rata-rata 7 hari jumlah baris tabel untuk tugas SQL, nilai garis dasarnya adalah rata-rata data jumlah baris tabel dari 7 hari sebelumnya.

• Rumus fluktuasi varians: (Sampel saat ini - Rata-rata N hari terakhir) / Standar deviasi

  Catatan

  Varians hanya dapat digunakan untuk tipe numerik seperti BIGINT dan DOUBLE.

Lampiran 2: Ekspresi filter partisi bawaan

Skenario:

• Waktu data (bizdate) adalah 20240524.

• Waktu terjadwal adalah 10:30:00