Bagaimana cara membuat aturan kualitas? - Data Management

Data Management (DMS) memungkinkan Anda membuat aturan kualitas untuk tabel atau kolom. DMS secara otomatis memeriksa kualitas data berdasarkan aturan yang dibuat dan tugas audit dalam alur tugas, memastikan konsistensi, keunikan, dan ketersediaan data serta meningkatkan analisis sekunder dan pengembangan.

Prasyarat

Instansi database yang ingin Anda kelola harus dikelola dalam mode Kolaborasi Keamanan. Untuk informasi lebih lanjut, lihat Mode Kontrol.
Salah satu dari kondisi berikut terpenuhi:
- Anda adalah administrator DMS, administrator basis data (DBA) di DMS, atau pengguna dengan peran baca-saja skema. Untuk informasi lebih lanjut, lihat Peran Sistem.
- Anda adalah pemilik atau DBA dari instansi database yang ingin Anda kelola. Untuk informasi lebih lanjut, lihat Modifikasi Instansi Database.
- Anda memiliki izin untuk menanyakan, mengubah, atau mengekspor data dari instansi database yang ingin Anda kelola atau tabel dalam instansi tersebut. Untuk informasi lebih lanjut, lihat Lihat Izin yang Dimiliki.

Informasi latar belakang

Peningkatan jumlah data membutuhkan analisis sekunder dan pengembangan. Hal ini membawa tantangan karena data sering bergantung satu sama lain, berasal dari berbagai sumber, dalam jumlah besar, dan dengan struktur yang beragam. Oleh karena itu, validitas dan kualitas data sangat penting bagi bisnis Anda. Sebelum melakukan analisis sekunder pada data, Anda dapat memeriksa apakah kualitas data memenuhi persyaratan Anda, memastikan bahwa analisis data dapat diselesaikan sesuai harapan.

Istilah

Aturan Kualitas: Aturan yang Anda buat untuk memantau tabel atau kolom dalam tabel guna memastikan data memenuhi persyaratan Anda. Contohnya, Anda dapat menentukan bahwa jumlah baris dalam suatu tabel adalah nilai tetap dan nilai maksimum kolom dalam tabel adalah 100.
Tugas Audit: Tugas yang Anda buat untuk memantau data dan memeriksa apakah data memenuhi aturan kualitas tertentu. Setelah menentukan aturan kualitas untuk tabel dan siklus penjadwalan untuk alur tugas, DMS secara otomatis memeriksa kualitas data tabel dan menghasilkan laporan.

Prosedur

Masuk ke Konsol DMS V5.0.
Buka halaman detail tabel menggunakan salah satu metode berikut:
- Buka tab Visualisasi Data dari tab Konsol SQL.
  1. Di bilah navigasi atas konsol DMS, pilih SQL Console > SQL Console.
  2. Di kotak dialog Please select the database first, masukkan kata kunci untuk mencari instansi database yang ingin Anda kelola, pilih instansi database dari hasil pencarian, dan klik Confirm.
  3. Di pojok kanan atas tab Konsol SQL, klik ikon di bagian fitur tambahan.
  4. Temukan tabel yang ingin Anda lihat, arahkan pointer ke More di kolom Actions, dan pilih View Table Details. Panel Detail muncul.
- Cari tabel yang ingin Anda lihat.
  1. Di bilah navigasi atas, klik Home. Kemudian, masukkan nama tabel yang ingin dilihat di kotak pencarian.
  2. Di hasil pencarian, klik opsi Table. Temukan tabel yang ingin Anda lihat dan klik Details di sebelah kanan untuk membuka halaman Tabel.
Klik tab Data quality.

Klik Create Rule. Di panel yang muncul, atur parameter-parameter yang dijelaskan dalam tabel berikut.

Parameter	Deskripsi	Contoh
Rule Name	Nama aturan kualitas.	Nilai maksimum kolom adalah 100
Rule Type	Jenis aturan kualitas. Nilai yang valid: Table Rule: Aturan kualitas dibuat untuk tabel. Sebagai contoh, Anda dapat membuat aturan kualitas berdasarkan tabel untuk memeriksa apakah jumlah baris dalam tabel memenuhi persyaratan Anda. Column Rule: Aturan kualitas dibuat untuk kolom dalam tabel. Sebagai contoh, Anda dapat membuat aturan kualitas berdasarkan kolom dalam tabel untuk memeriksa jumlah nilai null dalam kolom tersebut.	Aturan Kolom
Rule Template	Template aturan yang telah ditetapkan oleh DMS. Untuk informasi lebih lanjut, lihat bagian Template aturan kualitas dari topik ini.	Nilai Maksimum dalam Kolom
Column Name	Nama kolom untuk mana aturan kualitas akan dibuat. Parameter ini hanya muncul ketika Anda mengatur parameter Rule Type ke Column Rule.	columns_test
Comparison Method	Metode perbandingan. Metode ini digunakan untuk membandingkan data aktual dalam tabel dengan nilai parameter Expected Value yang Anda tentukan. Nilai yang valid: Greater, Greater than or equal, Equal, Is less than or equal, Less, dan Not equal.	Kurang dari atau sama dengan
Expected Value	Nilai yang Anda harapkan.	100

Klik OK.
Secara default, setelah aturan kualitas dibuat, aturan tersebut masuk ke status Enabled.
Catatan
Anda dapat melakukan operasi berikut pada aturan kualitas yang telah dibuat:
- Untuk menonaktifkan aturan kualitas, klik Disabled di kolom Tindakan. Setelah aturan dinonaktifkan, Anda tidak dapat membuat tugas audit untuk aturan tersebut.
  Jika aturan digunakan oleh tugas audit, aturan tidak dapat dinonaktifkan. Hapus tugas audit terlebih dahulu, lalu coba lagi.
- Untuk memodifikasi aturan kualitas, arahkan pointer ke More di kolom Tindakan dan pilih Edit.
- Untuk melihat versi sebelumnya dari aturan kualitas, arahkan pointer ke More di kolom Tindakan dan pilih Logs.
Arahkan pointer ke More di kolom Actions dan pilih New Task Flow.
Di halaman Orkestrasi Tugas, konfigurasikan node Audit Task dan publikasikan alur tugas.
Catatan
Untuk informasi lebih lanjut, lihat Ikhtisar.
Setelah menentukan siklus penjadwalan dan mempublikasikan alur tugas, DMS secara otomatis memeriksa data berdasarkan siklus penjadwalan dan aturan kualitas.

Template aturan kualitas

Rule Type	Rule Template
Table Rule	Jumlah Baris dalam Tabel. Jumlahnya Adalah Nilai Tetap: Template ini memeriksa apakah jumlah baris dalam tabel memenuhi persyaratan bisnis Anda. Sebagai contoh, Anda dapat menentukan bahwa jumlah baris dalam tabel harus kurang dari 100.000.
Column Rule	Nilai Maksimum dalam Kolom: Template ini memeriksa apakah nilai maksimum kolom memenuhi persyaratan bisnis Anda. Sebagai contoh, Anda dapat menentukan bahwa nilai maksimum kunci utama dalam tabel tidak boleh melebihi 2147483647, yang merupakan hasil dari 2³¹ dikurangi 1. Nilai Minimum dalam Kolom: Template ini memeriksa apakah nilai minimum kolom memenuhi persyaratan bisnis Anda. Sebagai contoh, Anda dapat menentukan bahwa nilai minimum kolom dalam tabel tidak boleh kurang dari 3. Jumlah String yang Cocok dengan Ekspresi yang Mengandung Wildcard. Jumlahnya Adalah Nilai Tetap: Template ini memeriksa apakah jumlah nilai kolom yang memenuhi persyaratan format yang ditentukan memenuhi persyaratan bisnis Anda. Sebagai contoh, Anda dapat menentukan bahwa jumlah nilai yang dimulai dengan a dalam kolom harus kurang dari 10. Jumlah String yang Cocok dengan Ekspresi Reguler. Jumlahnya Adalah Nilai Tetap: Template ini memeriksa apakah jumlah nilai kolom yang cocok dengan ekspresi reguler yang ditentukan memenuhi persyaratan bisnis Anda. Sebagai contoh, Anda dapat menentukan bahwa jumlah nilai yang cocok dengan ekspresi reguler dalam kolom harus lebih besar dari 100. Jumlah Nilai Null dalam Kolom. Jumlahnya Adalah Nilai Tetap: Template ini memeriksa apakah jumlah nilai null dalam kolom memenuhi persyaratan bisnis Anda. Sebagai contoh, Anda dapat menentukan bahwa jumlah nilai null dalam kolom harus kurang dari atau sama dengan nol. Jumlah Nilai Unik dalam Kolom. Jumlahnya Adalah Nilai Tetap: Template ini memeriksa apakah jumlah nilai unik dalam kolom memenuhi persyaratan bisnis Anda. Sebagai contoh, Anda dapat menentukan bahwa jumlah nilai unik dalam kolom harus lebih besar dari atau sama dengan 100. Ini memastikan bahwa setidaknya ada 100 nilai berbeda dalam kolom. Jumlah Nilai Duplikat dalam Kolom. Jumlahnya Adalah Nilai Tetap: Template ini memeriksa apakah jumlah nilai duplikat dalam kolom memenuhi persyaratan bisnis Anda. Sebagai contoh, Anda dapat menentukan bahwa jumlah nilai duplikat dalam kolom harus kurang dari 100. Ini memastikan bahwa jumlah nilai duplikat dalam kolom tidak melebihi 100.