Konfigurasi tes kualitas data - DataWorks - Alibaba Cloud Documentation Center

Di DataWorks Data Studio, Anda dapat mengonfigurasi aturan pemantauan kualitas data untuk node pengembangan data guna memvalidasi tabel data yang dihasilkannya. Fitur ini mengintegrasikan definisi dan pengujian aturan kualitas secara mendalam ke dalam alur kerja pengembangan SQL, sehingga mengatasi masalah umum seperti konfigurasi aturan yang tertunda, deteksi masalah data yang terlambat, serta biaya pemeliharaan aturan yang tinggi pada pendekatan tradisional.

Ikhtisar fitur

Overview

Saat mengedit node SQL di IDE DataWorks, Anda dapat langsung mengonfigurasi aturan kualitas data untuk output data tables dari node tersebut. Aturan didefinisikan dalam format YAML dan di-bind ke kode SQL. Aturan tersebut dapat diuji selama pengembangan, dikirimkan dan dideploy bersama node, serta dieksekusi secara otomatis selama eksekusi terjadwal.

Test during development: Uji dan validasi aturan kualitas selama fase pengkodean.
Synchronized versioning: Aturan kualitas merupakan bagian dari kode node dan dikelola versinya serta dideploy bersama node.
Validate in production: Aturan yang telah dideploy dieksekusi secara otomatis selama eksekusi terjadwal untuk memastikan output data yang andal.

Relationship with Data Quality

Modul Data Quality di bawah Data Governance juga mendukung konfigurasi aturan pemantauan pada tabel data, serta menyediakan templat aturan yang kaya dan kemampuan meng-bind aturan ke Tugas terjadwal. Hubungan antara fitur tes kualitas Data Studio dengan modul tersebut adalah sebagai berikut:

Positioning differences

In-IDE rules: Aturan ringan yang berevolusi seiring versi kode, cocok untuk skenario validasi yang erat kaitannya dengan logika node tertentu.
Data Quality Center: Menyediakan kemampuan governance kualitas data global dan terpadu lintas-tugas.

Working together

Di fitur Quality Test IDE, Anda dapat langsung mereferensi dan menggunakan kembali templat aturan yang dibuat di Data Quality, sehingga memastikan konsistensi aturan dan meningkatkan efisiensi konfigurasi.
Jika Anda mengonfigurasi aturan untuk tabel data yang sama baik di IDE maupun di Data Quality, kedua set aturan tersebut akan berlaku dan berjalan secara independen.

Rekomendasi: Untuk menghindari konfigurasi duplikat dan notifikasi berlebihan, pilih satu metode utama untuk mengelola aturan suatu tabel data berdasarkan skenario governance aktual Anda.

Catatan penggunaan

Saat ini, hanya node MaxCompute SQL yang mendukung konfigurasi aturan kualitas data secara langsung.

Panduan konfigurasi

Entry point

Buka Data Studio dan buka node MaxCompute SQL yang berisi logika output data (misalnya INSERT OVERWRITE).
Pada bilah alat di atas editor node, klik Quality Test. Tab Quality Test akan otomatis terbuka di bagian bawah IDE.

Write quality rules

Aturan kualitas didefinisikan menggunakan Data Quality Spec berbasis YAML. Baik aturan yang dihasilkan AI maupun yang ditulis manual didukung.

AI-generated rules (recommended)

Fitur ini menggunakan AI untuk secara signifikan mengurangi kompleksitas penulisan aturan.

Di tab Quality Test, klik tombol AI Generation Rules.
Masukkan instruksi di dialog, misalnya: Periksa bahwa kolom id tidak null.
Setelah dianalisis, sistem menghasilkan aturan yang direkomendasikan di editor. Klik Accept untuk langsung menggunakannya atau ubah sesuai kebutuhan.

Manually writing rules (script mode)

Untuk skenario yang memerlukan kontrol presisi atas aturan, Anda dapat mendefinisikannya dengan menulis kode YAML.

- datasets: # Jika node memiliki beberapa tabel output, Anda dapat mengatur beberapa dataset untuk mengonfigurasi aturan kualitas pada tabel berbeda
    - type: Table
    dataSource:
      name: odps_first
    tables:
      - table1 # Saat ini hanya satu tabel yang didukung, wildcard tidak didukung
    filter: partition:dt=${bizdate} # Mendukung penyaringan berdasarkan kondisi where (tanpa perlu menuliskan kata kunci where) atau berdasarkan partisi (awalan tetap "partition:").
  rules:
     - templateId: SYSTEM:field:null_value:fixed # Satu tabel dapat mendukung beberapa aturan; Anda dapat memilih "Rule Template" di sebelah kiri untuk memasukkan snippet aturan dan mengubah variabel dalam templat tersebut.
      fields:
        - id 
      pass:
        - when = 0
      name: Jumlah baris nilai null pada field id adalah 0
      severity: High
      identity: dq_suggestion_monitor_spec_Jumlah baris nilai null pada field id adalah 0
     - templateId: # 
- datasets:
   #...

Aturan pemantauan kualitas data mengikuti DataWorks Data Quality Spec. Untuk detailnya, lihat: Data quality configuration.
Klik templat aturan di sebelah kanan untuk secara otomatis memasukkan snippet aturan lengkap ke editor, lalu sesuaikan sesuai kebutuhan.

Anda dapat mengonfigurasi aturan secara visual di pustaka templat aturan di Data Quality.
Perilaku pemblokiran dan pembatasan aturan kuat dan lemah yang dikonfigurasi di sini terhadap tugas downstream sepenuhnya konsisten dengan yang ada di Data Quality. Untuk detailnya, lihat: Data quality rules.

Editor menyediakan berbagai fitur bantuan untuk meningkatkan efisiensi:

Syntax highlighting: Menggunakan warna untuk membedakan kata kunci YAML, nama aturan, fungsi, nama tabel, dan nama kolom.
Auto-completion: Saat Anda mengetik, sistem memberikan saran berupa kata kunci, templat aturan bawaan, serta nama tabel dan kolom yang tersedia dalam konteks saat ini.
Real-time validation: Menyoroti error sintaks YAML secara real time dan memvalidasi apakah nama tabel dan kolom yang dirujuk benar-benar ada. Objek yang tidak ada akan digarisbawahi dengan garis bergelombang.

Penting

YAML sensitif terhadap indentasi. Ikuti aturan sintaks indentasi dengan cermat.

Testing and validation

Setelah mengonfigurasi aturan, Anda dapat menjalankan pengujian langsung di IDE untuk memverifikasi efektivitasnya tanpa menunggu eksekusi terjadwal.

Testing methods:
- Standalone test: Di panel QualityTest, klik Test Run untuk memicu pengujian semua aturan atau satu aturan tertentu.
- Linked test: Di panel QualityTest, pilih Trigger quality check after node success, lalu klik Run pada bilah alat di bagian atas IDE. Sistem pertama-tama menjalankan kode SQL, lalu menjalankan tes kualitas setelah SQL berhasil dieksekusi.
- Workflow test: Di halaman DAG alur kerja, klik tombol Run pada bilah alat di atas alur kerja, atau jalankan skrip tertentu. Sistem juga menjalankan kode tugas dan tes kualitas secara berurutan.
View results:

Hasil eksekusi ditampilkan langsung di panel QualityTest. Klik log terstruktur di pojok kanan atas untuk melihat hasil eksekusi aturan kualitas yang telah difilter. Untuk aturan dengan exception merah, klik untuk melihat detail dan langsung menuju catatan eksekusi di Data Quality.

Deployment and scheduling

Deployment and version management

Submit and deploy: Saat Anda mengirimkan dan mendeplay node, aturan YAML yang dikonfigurasi di panel Quality Test dideploy ke lingkungan produksi sebagai bagian dari node tersebut.
Version comparison: Di tab Quality Configuration, Anda dapat melihat konfigurasi aturan versi saat ini dan melakukan Diff terhadap versi historis untuk melacak setiap perubahan pada aturan.

Scheduled runs in production

Aturan kualitas yang telah dideploy ke produksi dipicu secara otomatis setiap kali tugas dijalankan sesuai jadwal.

Execution timing: Validasi aturan kualitas dijalankan secara otomatis setelah node SQL terkait berhasil dieksekusi. Status akhir instans node bergantung pada hasil eksekusi SQL dan hasil validasi kualitas.
Blocking mechanism:
- Strong rules (severity: High): Jika aturan kuat gagal divalidasi (exception merah), seluruh instans node gagal, sehingga memblokir tugas downstream.
- Weak rules (severity: Normal or unset): Jika aturan lemah gagal divalidasi, hal tersebut tidak memblokir node, dan instans node tetap berhasil.
Alert notifications: Terlepas dari apakah aturan memblokir node atau tidak, setiap kali hasil validasi abnormal (exception merah, exception oranye, atau kegagalan validasi), sistem mengirimkan notifikasi email kepada node owner.

Catatan
Metode notifikasi tidak dapat diubah saat ini.

DataWorks:Konfigurasi tes kualitas data