Setelah Anda memublikasikan model ke lingkungan produksi, DataWorks Intelligent Data Modeling secara otomatis menghasilkan aturan pemantauan kualitas data, sehingga memungkinkan penerapan kualitas data pada tabel terkait di lingkungan produksi menggunakan aturan yang dihasilkan. Topik ini menjelaskan cara menghasilkan aturan kualitas data secara otomatis setelah memublikasikan tabel.
Prasyarat
Anda telah memublikasikan tabel ke lingkungan produksi. Untuk informasi selengkapnya tentang penerbitan tabel, lihat Materialisasi model logis.
Catatan
Setelah berhasil memublikasikan tabel ke lingkungan produksi, DataWorks dapat secara otomatis menghasilkan aturan kualitas data untuk bidang-bidang berikut yang dikonfigurasi dalam pengaturan manajemen bidang tabel:
Bidang yang ditandai sebagai Primary Key atau Not Null.
Bidang yang dikonfigurasi dengan Lookup Table to Associate.
Prosedur
Publikasikan tabel dimensi
Masuk ke Konsol DataWorks. Di wilayah target, klik di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down dan klik Go to Data Modeling.
Klik Dimensional Modeling di bilah navigasi atas untuk membuka halaman Dimensional Modeling. Pilih tabel yang ingin Anda konfigurasikan pelabelan datanya, lalu klik ganda nama tabel untuk membuka halaman detailnya.
Di bagian Field Management, konfigurasikan properti berikut untuk bidang-bidang tabel: Primary Key, Not Null, dan Field Association.
Klik
untuk menyimpan tabel, lalu klik
untuk mengirimkan tabel sebagai versi model baru.Klik
untuk memublikasikan tabel. Di kotak dialog Publish, konfigurasikan pengaturan berikut:Effective Environment: Pilih kedua opsi Production dan Development.
Automatic Rule Generation Based on Field Standard: Pilih Yes.
Biarkan semua item konfigurasi lainnya pada nilai default-nya. Setelah menyelesaikan konfigurasi, klik Publish untuk memublikasikan model tabel.
Lihat aturan kualitas
Pembuatan aturan diskualifikasi penawaran otomatis
Klik
Quality Rules di bilah navigasi atas untuk membuka halaman Data Quality Rule. Di sini, Anda dapat melihat aturan kualitas yang dihasilkan secara otomatis oleh pelabelan otomatis. Di halaman Data Labeling, klik Generate Data Quality Rule untuk membuat aturan kualitas terkait secara otomatis dalam satu klik. Setelah mengklik Generate Quality Rules untuk tabel dimensi testtb, sistem secara otomatis membuat dua aturan lunak yang diaktifkan: Field Rule - Unique - (id) (dimensi kualitas: uniqueness; templat aturan: nilai tetap untuk jumlah nilai duplikat; ambang batas pemantauan: peringatan merah jika ≠ 0,0, peringatan hijau jika = 0,0) dan Field Rule - Not Null - (id) (dimensi kualitas: completeness; templat aturan: nilai tetap untuk jumlah nilai null; ambang batas pemantauan: peringatan merah jika ≠ 0,0, peringatan hijau jika = 0,0). Mesin eksekusi adalah MAXCOMPUTE, lingkungan runtime adalah PRODUCT, dan skema adalah default.
Konfigurasi pembuatan aturan secara manual
Klik tombol Configure Monitoring untuk membuka . Klik Create Rule untuk membuat aturan baru. Untuk informasi selengkapnya, lihat Konfigurasi aturan: berdasarkan tabel (tabel tunggal).
Panel Create from Rule Template muncul di sebelah kanan, menawarkan tiga metode pembuatan: + System Template Rule, + Custom Template Rule, dan + Custom SQL. Sistem menyediakan 63 templat, dikelompokkan berdasarkan jenis menjadi jumlah baris tabel, laju kecocokan kondisi, ukuran tabel, jumlah baris bernilai null, jumlah baris bernilai duplikat, jumlah nilai unik, nilai minimum, nilai maksimum, nilai rata-rata, nilai agregat, nilai enumerasi, nilai diskrit, dan Custom SQL.
Hasilkan pemantauan kualitas
Setelah mengonfigurasi aturan kualitas, buka halaman daftar aturan. Klik nama aturan di kolom ID/rule name untuk membuka tab . Kemudian, beralihlah ke tab Monitor dan lakukan konfigurasi Create Monitor. Konfigurasi lengkapnya adalah sebagai berikut:
Modul | Item Konfigurasi | Rincian Konfigurasi |
Basic Configurations | Monitor Name | Masukkan nama kustom untuk pekerjaan pemantauan kualitas. |
Data Range | Rentang waktu dihasilkan secara default berdasarkan jenis tabel objek yang dipantau. Jika objek yang dipantau adalah tabel partisi, Data Range secara default menggunakan cakupan berbasis partisi. Anda dapat memilih partisi tertentu, misalnya: | |
Running Settings | Trigger Method | Pilih salah satu opsi berikut:
|
Associated Scheduling Node (Production Scheduling Trigger) | Setelah mengklik Add Node, pilih ruang kerja dan node tempat Anda ingin membuat pekerjaan pemantauan kualitas. Catatan Di Pusat Operasi DataWorks, asosiasikan pekerjaan pemantauan kualitas dengan tugas jadwal berulang tertentu. Setelah node berjalan, aturan kualitas dalam pekerjaan pemantauan ini akan dipicu secara otomatis. | |
Compute Resource Selection | Pilih sumber daya komputasi yang diperlukan untuk menjalankan pemeriksaan aturan kualitas. Secara default, sistem memilih sumber data yang terkait dengan tabel yang dipantau di ruang kerja saat ini. Jika Anda memilih sumber data yang berbeda, pastikan sumber daya yang dipilih dapat mengakses tabel tersebut. | |
Handling Policies | Issue Strategy | Biarkan pengaturan default. |
Monitoring Rule | Klik Batch Select. Di panel yang muncul, pilih aturan kualitas yang akan disertakan dalam pekerjaan pemantauan dengan memfilter berdasarkan ID/rule name, Template, dan Association Range. | |
Anda dapat melihat most recent run record dari pekerjaan pemantauan kualitas yang telah dikonfigurasi serta mengubah metode langganan dan penerima untuk Subscribe to Alerts di .
Jika Anda mengaktifkan dan menjalankan aturan kualitas data setelah menghasilkannya, perlu diperhatikan bahwa menjalankan aturan kualitas data akan dikenai biaya. Untuk rincian penagihan, lihat Penagihan untuk instans Kualitas Data.
Ubah atau hapus aturan pelabelan
Ubah atau hapus aturan pelabelan dari sisi pemodelan data.
Perbarui aturan pelabelan dengan mengubah properti bidang di antarmuka pemodelan—misalnya, mengganti nama bidang, mengubah bidang dari Not Null menjadi tidak wajib, atau memperbarui aturan lookup table yang terkait.
Tambahkan atau hapus bidang untuk mengubah atau menghapus aturan pelabelan.
Hapus model tabel untuk mengubah atau menghapus aturan fallback.
Setelah mengubah atau menghapus bidang dalam model tabel, klik
untuk menerbitkan ulang tabel.