DataWorks Data Quality (DQC) adalah platform andal untuk memantau dan melindungi data Anda. Platform ini secara proaktif mendeteksi serta mencegat data kotor (*dirty data*) yang tidak diinginkan dalam pipeline produksi data sebelum menyebar ke hilir, sehingga memastikan keputusan bisnis yang akurat dan secara signifikan mengurangi biaya pemecahan masalah serta rerun sumber daya.
Konsep inti dan alur kerja
Sebelum menggunakan fitur kualitas data, Anda perlu memahami konsep inti dan alur kerjanya. Sistem kualitas data dibangun di sekitar entitas inti berikut:
-
Template: Menentukan logika validasi data. DataWorks menyediakan pustaka kaya berisi templat bawaan (seperti jumlah baris tabel dan jumlah nilai unik dalam suatu kolom). Anda juga dapat membuat templat kustom untuk memenuhi kebutuhan bisnis tertentu.
-
Monitoring Rules: Instans spesifik dari templat aturan. Anda dapat menerapkan templat ke kolom dalam tabel dan mengonfigurasi ambang batas tertentu. Misalnya, kolom
order_countdalam tabeldaily_salestidak boleh bernilai null. -
Monitor: Rencana eksekusi yang mengaitkan satu atau beberapa Monitoring Rules dengan scheduling node. Ketika scheduling node berhasil dijalankan, sistem secara otomatis memicu aturan kualitas terkait.
-
Aturan kuat/lemah dan pemblokiran: Anda dapat mengatur aturan sebagai Strong rules atau Weak rules. Jika pemeriksaan gagal, Anda dapat memilih untuk Blocks node hilir atau hanya mengirimkan Alert.
Alur kerja khas:
Virtual nodes dan dry-run nodes tidak menghasilkan data aktual dan tidak dapat memicu aturan kualitas data.
Fitur
Kualitas data DataWorks mendukung pemeriksaan kualitas untuk layanan penyimpanan big data umum, seperti MaxCompute, E-MapReduce, Hologres, dan AnalyticDB. Anda dapat mengonfigurasi aturan pemantauan dalam berbagai dimensi—seperti kelengkapan, akurasi, dan konsistensi—serta mengaitkannya dengan scheduling node untuk mengaktifkan validasi otomatis, notifikasi, dan pemblokiran.
Modul utama kualitas data beserta halaman terkaitnya di Konsol adalah sebagai berikut:
|
Modul |
Deskripsi |
|
|
Quality dashboard menyediakan ikhtisar tingkat ruang kerja mengenai metrik kunci kualitas data. Ini mencakup tren dari pemeriksaan aturan, daftar tabel utama yang memiliki masalah kualitas beserta pemiliknya, serta cakupan aturan. Dasbor ini membantu pemilik kualitas mengevaluasi kesehatan data secara keseluruhan dan segera menangani masalah. |
||
|
Quality assets |
Menampilkan semua aturan kualitas yang telah dikonfigurasi. |
|
|
Pustaka ini memungkinkan Anda mengelola secara terpusat aturan pemantauan kustom umum dan meningkatkan efisiensi konfigurasi aturan. |
||
|
Rule configuration |
Ini merupakan metode utama untuk mengonfigurasi aturan pemantauan, memungkinkan konfigurasi aturan detail halus untuk satu tabel. |
|
|
Menerapkan templat aturan yang sudah ada secara batch ke beberapa tabel yang memenuhi kondisi tertentu. |
||
|
Quality O&M |
Halaman Monitor menampilkan semua tugas Monitor yang dibuat di ruang kerja saat ini. |
|
|
Halaman ini menampilkan hasil pemeriksaan aturan dari eksekusi Monitor. Setelah tugas Monitor selesai, Anda dapat melihat hasil detailnya di sini. |
||
|
Quality analysis |
Kualitas data memungkinkan Anda membuat templat laporan dan menambahkan berbagai metrik untuk konfigurasi dan eksekusi aturan. Berdasarkan periode statistik, waktu pengiriman, dan informasi langganan yang dikonfigurasi, sistem secara otomatis menghasilkan dan mengirimkan laporan sesuai jadwal. |
|
Penagihan
Menjalankan aturan kualitas data menimbulkan biaya dari dua komponen:
-
Biaya DataWorks: DataWorks menerapkan biaya bayar sesuai penggunaan berdasarkan jumlah eksekusi rule instance. Untuk informasi lebih lanjut, lihat Billing of data quality instances.
-
Biaya mesin komputasi: Pemeriksaan aturan kualitas data menghasilkan pernyataan SQL dan mengirimkannya ke mesin komputasi dasar untuk dieksekusi. Proses ini menimbulkan biaya mesin komputasi (misalnya, biaya komputasi MaxCompute). Biaya ini ditagih oleh penyedia mesin dan tidak muncul pada tagihan DataWorks Anda.
Pertimbangan
-
Dukungan sumber data: Hanya MaxCompute, Hologres, E-MapReduce, DLF, CDH Hive, AnalyticDB for PostgreSQL, AnalyticDB for MySQL, StarRocks, MySQL, Lindorm, dan SQL Server yang didukung. Ketersediaan wilayah bervariasi tergantung jenis sumber data. Lihat wilayah yang didukung oleh mesin spesifik tersebut.
-
Pengumpulan metadata: Sebelum mengonfigurasi aturan untuk sumber data non-MaxCompute seperti E-MapReduce, Hologres, AnalyticDB, dan CDH, Anda harus menyelesaikan metadata collection.
-
Konektivitas jaringan: Saat memeriksa sumber data non-MaxCompute, scheduling node terkait harus menggunakan resource group yang dikonfigurasi dengan network connectivity solution.
Proses konfigurasi dan penggunaan
1. Konfigurasikan aturan
-
Create Rule: Kualitas data memungkinkan Anda membuat aturan kualitas data per tabel. Anda juga dapat menggunakan templat aturan bawaan atau kustom untuk membuat aturan secara cepat untuk Batch tabel. Untuk informasi selengkapnya, lihat Mengonfigurasi aturan per tabel dan Mengonfigurasi aturan berdasarkan templat (Batch).
-
Subscribe to alerts: Setelah membuat aturan, Anda dapat mengonfigurasi langganan notifikasi. Saluran yang didukung mencakup email, SMS, bot grup DingTalk, WeCom, Lark, panggilan telepon, dan webhook kustom.
Hanya DataWorks Edisi Perusahaan atau versi lebih baru yang mendukung custom webhook.
2. Validasi aturan pemicu
Di Monitor, kaitkan aturan dengan scheduling node. Ketika node berhasil dijalankan di Operation Center, sistem secara otomatis memicu aturan kualitas data terkait untuk divalidasi. Berdasarkan jenis aturan (kuat atau lemah) dan hasil validasi, DataWorks menentukan apakah akan menggagalkan instans node dan memblokir node hilir guna mencegah penyebaran dirty data.
3. Lihat hasil validasi
Di halaman Running Records, Anda dapat mencari berdasarkan nama tabel atau node untuk melihat hasil validasi detail dan log setiap eksekusi pemantauan kualitas. Untuk informasi lebih lanjut, lihat View quality monitoring execution details.
FAQ
Apakah notifikasi DataWorks dan MaxCompute ganda?
MaxCompute tidak menyediakan fitur pemantauan kualitas data mandiri. Notifikasi kualitas data yang Anda terima di grup DingTalk MaxCompute dikonfigurasi dan dipicu oleh DataWorks Data Quality (DQC). DataWorks Data Quality menghasilkan SQL untuk aturan pemeriksaan dan mengirimkannya ke mesin komputasi seperti MaxCompute untuk dieksekusi. Setelah pemeriksaan selesai, DataWorks mengirimkan notifikasi berdasarkan langganan notifikasi yang dikonfigurasi.
Oleh karena itu, notifikasi kualitas data dari DataWorks dan grup DingTalk MaxCompute berasal dari sistem yang sama, sehingga tidak ada tumpang tindih fungsional. Anda hanya perlu mengonfigurasi aturan pemantauan dan langganan notifikasi di DataWorks Data Quality.
Untuk tabel bisnis inti, mengonfigurasi pemantauan kualitas memberikan notifikasi tepat waktu atau memblokir node hilir ketika terjadi anomali data, sehingga mencegah gangguan bisnis akibat data kosong atau dirty data.