Data Management (DMS) memungkinkan Anda mendefinisikan aturan kualitas untuk tabel dan kolom, lalu secara otomatis memvalidasi data sesuai jadwal menggunakan audit task dalam alur tugas. Hal ini menjaga data agar tetap konsisten, unik, dan tersedia—sehingga analisis dan pengembangan downstream dapat mengandalkannya.
Prasyarat
Sebelum memulai, pastikan bahwa:
Instans database dikelola dalam mode Security Collaboration. Untuk informasi selengkapnya, lihat Control modes.
Anda memenuhi salah satu persyaratan izin berikut:
Anda adalah administrator DMS, database administrator (DBA), atau pengguna dengan role schema read-only. Untuk informasi selengkapnya, lihat System roles.
Anda adalah pemilik instans atau DBA dari instans database target. Untuk informasi selengkapnya, lihat Modify database instances.
Anda memiliki izin query, change, atau export pada instans database target atau tabel di dalamnya. Untuk informasi selengkapnya, lihat View owned permissions.
Konsep utama
Quality rule: Kondisi yang Anda definisikan untuk suatu tabel atau kolom. DMS mengevaluasi data terhadap kondisi ini dan menghasilkan laporan. Misalnya, Anda dapat mensyaratkan bahwa nilai maksimum suatu kolom tidak boleh melebihi 100, atau jumlah baris harus tetap di bawah 100.000.
Audit task: Tugas terjadwal yang memeriksa data terhadap aturan kualitas tertentu dan menghasilkan laporan. Setelah Anda menyambungkan audit task ke quality rule dan menerbitkan alur tugas dengan siklus penjadwalan, DMS akan menjalankan pemeriksaan tersebut secara otomatis.
Buat quality rule
Login ke DMS console V5.0.
Buka halaman detail tabel target. Gunakan salah satu metode berikut: From the SQL Console: From the search bar:
Pada bilah navigasi atas, klik Home, lalu masukkan nama tabel di kotak pencarian.
Pada hasil pencarian, klik Table, temukan tabel Anda, lalu klik Details.
Klik tab Data quality.
Klik Create Rule dan atur parameter berikut: Misalnya, pengaturan di atas berarti: *periksa apakah nilai maksimum pada kolom
columns_testkurang dari atau sama dengan 100.*Parameter Deskripsi Contoh Rule name Nama untuk quality rule Nilai maksimum kolom adalah 100 Rule type Cakupan aturan. Table Rule memeriksa metrik tingkat tabel (seperti jumlah baris). Column Rule memeriksa metrik tingkat kolom (seperti nilai null atau rentang nilai). Column Rule Rule template Pemeriksaan preset yang akan diterapkan. Lihat Rule templates untuk semua opsi yang tersedia. Maximum Value in a Column Column name Kolom yang akan diperiksa. Muncul hanya jika Rule type diatur ke Column Rule. columns_test Comparison method Cara membandingkan metrik aktual dengan nilai yang diharapkan. Opsi: Greater, Greater than or equal, Equal, Is less than or equal, Less, Not equal. Is less than or equal Expected value Nilai ambang batas untuk aturan 100 Klik OK.
Aturan dibuat dalam status Enabled.
Untuk mengelola aturan yang sudah ada, arahkan kursor ke More pada kolom Actions dan pilih salah satu opsi berikut:
Edit — modifikasi aturan.
Logs — lihat riwayat versi aturan.
Disable — nonaktifkan aturan. Aturan tidak dapat dinonaktifkan jika sedang digunakan oleh audit task. Hapus audit task terlebih dahulu, lalu nonaktifkan aturan.
Jadwalkan pemeriksaan otomatis
Setelah membuat quality rule, siapkan alur tugas untuk menjalankan pemeriksaan otomatis sesuai jadwal.
Pada kolom Actions quality rule, arahkan kursor ke More dan pilih New Task Flow.
Pada halaman Task Orchestration, tambahkan node Audit Task dan konfigurasikan agar merujuk pada quality rule Anda.
Tetapkan siklus penjadwalan dan terbitkan alur tugas.
DMS mulai memeriksa data secara otomatis berdasarkan siklus penjadwalan dan menghasilkan laporan setelah setiap eksekusi. Untuk detail tentang konfigurasi alur tugas, lihat Overview.
Templat aturan
Gunakan tabel ini untuk memilih templat yang tepat sesuai tujuan kualitas data Anda.
| Rule type | Rule template | Apa yang diperiksa | Contoh penggunaan |
|---|---|---|---|
| Table Rule | Number of Rows in a Table. The Number is a Fixed Value | Apakah jumlah total baris memenuhi persyaratan Anda | Jumlah baris harus kurang dari 100.000 |
| Column Rule | Maximum Value in a Column | Apakah nilai maksimum kolom berada dalam batas yang ditentukan | Primary key tidak boleh melebihi 2.147.483.647 (2³¹ − 1) |
| Column Rule | Minimum Value in a Column | Apakah nilai minimum kolom berada dalam batas yang ditentukan | Nilai minimum tidak boleh kurang dari 3 |
| Column Rule | Number of Strings That Match the Expression Containing Wildcards. The Number is a Fixed Value | Apakah jumlah nilai yang sesuai dengan pola wildcard memenuhi persyaratan Anda | Nilai yang dimulai dengan a harus kurang dari 10 |
| Column Rule | Number of Strings that Match the Regular Expression. The Number is a Fixed Value | Apakah jumlah nilai yang sesuai dengan ekspresi reguler memenuhi persyaratan Anda | Nilai yang sesuai regex harus lebih dari 100 |
| Column Rule | Number of Null Values in a Column. The Number is a Fixed Value | Apakah jumlah nilai null memenuhi persyaratan Anda | Nilai null harus kurang dari atau sama dengan 0 |
| Column Rule | Number of Unique Values in a Column. The Number is a Fixed Value | Apakah jumlah nilai unik memenuhi persyaratan Anda | Harus terdapat minimal 100 nilai unik |
| Column Rule | Number of Duplicate Values in a Column. The Number is a Fixed Value | Apakah jumlah nilai duplikat memenuhi persyaratan Anda | Nilai duplikat harus kurang dari 100 |
Cara memilih templat:
Untuk mencegah data buruk masuk ke pipeline analisis, mulailah dengan pemeriksaan null value dan duplicate value.
Untuk menerapkan batasan nilai (misalnya, batas ID atau skor), gunakan pemeriksaan Maximum Value atau Minimum Value.
Untuk memvalidasi format data (misalnya, nomor telepon atau kode), gunakan pemeriksaan wildcard atau regular expression.
Untuk memantau ukuran tabel atau mendeteksi kehilangan data yang tidak terduga, gunakan pemeriksaan row count.