All Products
Search

This Product

    DataWorks:Pemantauan kualitas

    Document Center

    DataWorks:Pemantauan kualitas

    Last Updated:Jun 22, 2026

    Node pemantauan kualitas di DataWorks memungkinkan Anda mengonfigurasi aturan untuk memantau kualitas data tabel dalam sumber data Anda dan mendeteksi data kotor. Anda juga dapat menyesuaikan kebijakan penjadwalan untuk menjalankan tugas validasi data secara berkala. Topik ini menjelaskan cara menggunakan node pemantauan kualitas untuk memantau kualitas data.

    Latar Belakang

    Fitur Kualitas Data di DataWorks membantu Anda mendeteksi perubahan pada data sumber dan mengidentifikasi data kotor yang dihasilkan selama proses ETL (Extract, Transform, and Load). Fitur ini secara otomatis mencegat tugas bermasalah untuk mencegah penyebaran data kotor ke sistem downstream, sehingga menghindari gangguan operasional dan dampak terhadap keputusan bisnis akibat data yang tidak terduga. Selain itu, fitur ini secara signifikan mengurangi waktu troubleshooting dan menghemat sumber daya dengan mencegah eksekusi ulang tugas. Untuk informasi lebih lanjut, lihat Kualitas Data.

    Batasan

    • Jenis tabel yang didukung: MaxCompute, E-MapReduce, Hologres, CDH Hive, AnalyticDB for PostgreSQL, AnalyticDB for MySQL, dan StarRocks.

    • Cakupan tabel yang didukung:

      • Anda hanya dapat memantau tabel dalam sumber data yang terikat ke ruang kerja tempat node pemantauan kualitas berada.

      • Setiap node hanya dapat memantau satu tabel, tetapi Anda dapat mengonfigurasi beberapa aturan pemantauan untuknya. Cakupan pemantauan bervariasi tergantung jenis tabel:

        • Untuk tabel non-partisi, seluruh tabel dipantau secara default.

        • Untuk tabel partisi, Anda harus menentukan partisi yang akan dipantau dengan menggunakan ekspresi filter partisi.

        Catatan

        Untuk memantau beberapa tabel, buat beberapa node.

    • Batasan operasional:

      • Aturan pemantauan kualitas yang dibuat di Data Studio hanya dapat dijalankan, dimodifikasi, dan diterapkan di dalam Data Studio. Meskipun aturan tersebut terlihat di modul Kualitas Data, Anda tidak dapat menjadwalkannya atau mengelolanya dari sana.

      • Jika Anda memodifikasi aturan pemantauan dalam node pemantauan kualitas lalu menerapkan node tersebut, aturan pemantauan yang sebelumnya dihasilkan akan digantikan.

    Prasyarat

    • Engine komputasi telah diikat ke ruang kerja Anda, dan tabel yang ingin Anda pantau telah dibuat di dalamnya.

      Sebelum menjalankan tugas pemantauan kualitas data, Anda harus membuat tabel yang akan diperiksa oleh node pemantauan. Untuk informasi lebih lanjut, lihat Mengikat engine komputasi dan Mengembangkan node.

    • Kelompok sumber daya telah dibuat.

      Node pemantauan kualitas hanya dapat dijalankan pada kelompok sumber daya arsitektur tanpa server. Untuk informasi lebih lanjut, lihat Mengelola kelompok sumber daya.

    • (Opsional, untuk Pengguna RAM) Pengguna RAM untuk pengembangan tugas telah ditambahkan ke ruang kerja yang sesuai dan diberikan peran Development atau Workspace Administrator. Peran Workspace Administrator memiliki izin yang luas dan harus diberikan dengan hati-hati. Untuk informasi lebih lanjut tentang menambahkan dan memberikan otorisasi kepada anggota, lihat Menambahkan anggota ke ruang kerja.

    Langkah 1: Membuat node pemantauan kualitas

    1. Buka halaman Workspaces di Konsol DataWorks. Di bilah navigasi atas, pilih wilayah yang diinginkan. Temukan ruang kerja yang diinginkan dan pilih Shortcuts > Data Studio di kolom Actions.

    2. Di panel navigasi kiri, klik image untuk membuka Data Development. Di samping Project Directory, klik image dan pilih New Node > Data Quality > Quality Monitor. Ikuti petunjuk di layar untuk memasukkan path dan nama node, lalu buat node tersebut.

    Langkah 2: Mengonfigurasi aturan pemantauan kualitas

    1. Pilih tabel yang akan dipantau

    Di halaman editor node pemantauan kualitas, klik Add Table. Di kotak dialog Add Table, pilih tabel yang akan dipantau. Anda dapat menggunakan filter More untuk menemukan tabel lebih cepat.

    Catatan

    Jika tabel Anda tidak terdaftar, buka My Data di Data Map.

    2. Konfigurasikan cakupan data pemantauan

    • Tabel non-partisi: Seluruh tabel dipantau secara default. Anda dapat melewati langkah ini.

    • Tabel partisi: Anda harus memilih data partisi yang akan dipantau. Anda dapat menggunakan parameter penjadwalan. Klik Preview untuk memverifikasi bahwa ekspresi filter partisi telah diselesaikan dengan benar.

    3. Konfigurasikan aturan pemantauan kualitas data

    Anda dapat membuat aturan baru atau mengimpor aturan yang sudah ada. Aturan yang dikonfigurasi diaktifkan secara default.

    Catatan

    • Saat membuat aturan di node pemantauan kualitas, Anda dapat menggunakan fitur DataWorks Copilot rule recommendation untuk menghasilkan aturan kualitas secara cerdas berdasarkan informasi tabel Anda. Anda kemudian dapat menerima atau menolak saran tersebut sesuai kebutuhan.

    • DataWorks Copilot sedang dalam pratinjau publik di beberapa wilayah. Jika tidak tersedia di wilayah tempat ruang kerja Anda berada, Anda dapat membuat atau mengimpor aturan secara manual seperti yang dijelaskan dalam topik ini.

    • Buat aturan baru

      Klik Create Rule untuk membuat aturan pemantauan kualitas berdasarkan templat atau SQL kustom. Bagian berikut menjelaskan metode-metode tersebut.

      Templat bawaan

      Anda dapat mengikuti langkah-langkah berikut untuk membuat aturan pemantauan kualitas dengan cepat dari templat aturan.

      Catatan

      Anda juga dapat menemukan templat aturan yang diperlukan di daftar templat bawaan di sebelah kiri dan klik + Use untuk membuatnya.

      Klik tab + Built-in Template Rule di sisi kanan kotak dialog. Di panel Built-in Templates di sebelah kiri, perluas kategori templat seperti Table Row Count, temukan templat target, lalu klik + Use. Di formulir di sebelah kanan, konfigurasikan parameter aturan dan klik OK.

      Parameter templat aturan sistem

      Parameter

      Description

      Rule Name

      Masukkan nama kustom untuk aturan.

      Template

      Menentukan jenis pemeriksaan aturan yang akan dilakukan pada tabel.

      Kualitas data menyediakan berbagai templat aturan tingkat tabel dan tingkat bidang bawaan. Untuk informasi lebih lanjut, lihat Melihat templat aturan bawaan.

      Catatan

      Nilai rata-rata, jumlah, minimum, dan maksimum hanya berlaku untuk bidang numerik.

      Rule Scope

      Cakupan penerapan aturan. Untuk aturan tingkat tabel, cakupannya adalah tabel saat ini secara default. Untuk aturan tingkat bidang, Anda harus memilih bidang tertentu.

      Comparison Method

      Menentukan cara aturan memvalidasi data tabel.

      • Manual Settings: Memungkinkan Anda menyetel metode perbandingan dan ambang batas secara manual.

        Metode perbandingan yang tersedia bervariasi tergantung templat aturan. Opsi yang ditampilkan di UI bersifat definitif.

        • Mendukung perbandingan hasil Numeric Type, biasanya terhadap nilai tetap (nilai yang diharapkan). Metode perbandingannya meliputi Greater Than, Greater Than or Equal To, Equal To, Unequal To, Less Than, dan Less Than or Equal To. Anda dapat menyesuaikan rentang data normal (ambang normal) dan rentang data abnormal (ambang kritis).

        • Mendukung perbandingan hasil Fluctuation, yang biasanya merupakan perbandingan rentang. Metode perbandingannya meliputi Absolute Value, Raise, dan Drop. Anda dapat menyesuaikan rentang data normal (ambang normal). Anda juga dapat menentukan rentang peringatan untuk data dengan anomali (ambang peringatan) dan rentang kritis untuk data yang tidak memenuhi ekspektasi (ambang kritis) berdasarkan tingkat penyimpangannya.

      • Intelligent Dynamic Threshold: Sistem menggunakan algoritma cerdas untuk menentukan ambang batas yang wajar secara otomatis, sehingga Anda tidak perlu mengonfigurasinya secara manual. Jika sistem mendeteksi data abnormal, sistem segera memicu peringatan atau memblokir tugas terkait. Ambang dinamis juga mendukung aturan kuat dan lemah.

        Catatan

        Hanya aturan kualitas custom SQL, custom range, and dynamic threshold yang mendukung metode perbandingan ambang dinamis cerdas.

      Monitoring Threshold

      • Jika Anda menyetel Comparison Method ke Manual Settings, Anda dapat menentukan Normal threshold dan Error Threshold.

        • Normal threshold: Kondisi yang harus dipenuhi hasil pemeriksaan agar data dianggap normal.

        • Error Threshold: Kondisi yang, jika terpenuhi oleh hasil pemeriksaan, menunjukkan adanya data yang secara kritis tidak normal dan memicu peringatan kritis.

      • Jika aturan melakukan pemeriksaan Fluctuation, Anda juga harus menentukan Warning Threshold.

        • Warning Threshold: Kondisi yang, jika terpenuhi oleh hasil pemeriksaan, menunjukkan anomali non-kritis yang tidak memengaruhi Operasi bisnis.

      Retain problem data

      Jika fitur ini diaktifkan dan pemeriksaan aturan gagal, sistem secara otomatis membuat tabel untuk menyimpan data bermasalah yang dihasilkan.

      Penting

      • Anda dapat mengonfigurasi fitur retain problem data untuk tabel MaxCompute dan Hologres.

      • Hanya beberapa aturan kualitas data yang mendukung fitur retain problem data.

      • Fitur ini dipengaruhi oleh status aturan. Jika aturan berstatus Deactivate, sistem tidak menyimpan data bermasalah.

      Status

      Status aturan, yang dapat berupa Enable atau Deactivate. Ini mengontrol apakah aturan dijalankan di lingkungan produksi.

      Penting

      Jika Anda menyetel status ke Deactivate, aturan tidak dapat dipicu untuk uji coba atau oleh tugas penjadwalan terkait.

      Degree of importance

      Tingkat keparahan aturan.

      • Strong rule: Aturan penting. Secara default, anomali kritis akan memblokir tugas penjadwalan terkait.

      • Weak rule: Aturan biasa. Secara default, anomali kritis tidak memblokir tugas penjadwalan terkait.

      Configuration Source

      Sumber konfigurasi aturan. Dalam kasus ini, nilainya adalah Data Quality.

      Description

      Deskripsi opsional untuk aturan.

      Templat kustom

      Sebelum menggunakan metode ini, Anda harus terlebih dahulu membuat templat aturan kustom di Data Quality > Quality Assets > Rule Template Library. Anda kemudian dapat membuat aturan pemantauan kualitas dari templat tersebut. Untuk informasi lebih lanjut, lihat Membuat dan mengelola templat aturan kustom.

      Langkah-langkah berikut menunjukkan cara membuat aturan kualitas data dari templat kustom.

      Catatan

      Anda juga dapat menemukan templat aturan yang diperlukan di daftar templat kustom di sebelah kiri dan klik + Use untuk membuatnya.

      Di kotak dialog Create Rule, klik tab + Custom Template Rule. Konfigurasikan Rule Name, Rule Template, Quality Dimension, FLAG Parameter, SQL, Comparison Method, dan Monitoring Threshold (termasuk ambang normal dan merah), lalu klik OK.

      Parameter templat aturan kustom

      Bagian ini hanya menjelaskan parameter yang unik untuk templat aturan kustom. Untuk informasi tentang parameter lainnya, lihat Parameter templat aturan sistem.

      Parameter

      Deskripsi

      FLAG parameter

      Menentukan perintah SET yang akan dieksekusi sebelum SQL pemeriksaan kualitas data dijalankan.

      SQL

      Logika validasi SQL. Kueri harus mengembalikan satu nilai numerik.

      Dalam SQL kustom, gunakan tanda kurung siku untuk mencocokkan ekspresi filter partisi tabel. Contoh:

      SELECT count(*) FROM ${tableName} WHERE ds=$[yyyymmdd];
      Catatan

      • Variabel ${tableName} secara dinamis diganti dengan nama tabel yang dipantau.

      • Untuk informasi lebih lanjut tentang cara mengonfigurasi ekspresi filter partisi, lihat Lampiran 2: Ekspresi filter partisi bawaan.

      • Jika Anda membuat quality monitor untuk tabel dan mengonfigurasi aturan dengan metode ini, Data Scope yang ditentukan untuk monitor akan diabaikan. Klausul WHERE dalam SQL ini menentukan partisi mana yang diperiksa.

      Custom SQL

      Metode ini memungkinkan Anda menentukan logika validasi kualitas data kustom untuk tabel.

      Klik tab + Custom SQL di bagian atas. Di formulir di sebelah kanan, konfigurasikan Rule Name, Rule Template (pilih Custom SQL), Quality Dimension, FLAG Parameter, SQL, Comparison Method (pilih Manual Settings atau Intelligent Dynamic Threshold), dan Monitoring Threshold, lalu klik OK.

      Parameter SQL Kustom

      Bagian ini hanya menjelaskan parameter yang unik untuk Custom SQL. Untuk informasi tentang parameter lainnya, lihat Parameter templat aturan sistem.

      Parameter

      Deskripsi

      FLAG parameter

      Menentukan perintah SET yang akan dieksekusi sebelum SQL pemeriksaan kualitas data dijalankan.

      SQL

      Logika validasi SQL. Kueri harus mengembalikan satu nilai numerik.

      Dalam SQL kustom, gunakan tanda kurung siku untuk mencocokkan ekspresi filter partisi tabel. Contoh:

      SELECT count(*) FROM <table_name> WHERE ds=$[yyyymmdd];
      Catatan

      • Dalam konfigurasi Anda, Anda harus mengganti <table_name> dengan nama aktual tabel. Pernyataan SQL ini menentukan tabel mana yang dipantau.

      • Untuk informasi lebih lanjut tentang cara mengonfigurasi ekspresi filter partisi, lihat Lampiran 2: Ekspresi filter partisi bawaan.

      • Jika Anda membuat quality monitor untuk tabel dan mengonfigurasi aturan dengan metode ini, Data Scope yang ditentukan untuk monitor akan diabaikan. Klausul WHERE dalam SQL ini menentukan partisi mana yang diperiksa.

    • Impor aturan yang sudah ada

      Jika aturan pemantauan untuk tabel target sudah ada di modul Data Quality, Anda dapat mengimpornya untuk mengkloning aturan tersebut dengan cepat. Jika tidak ada aturan yang ada, buka Data Quality untuk membuatnya terlebih dahulu. Untuk informasi lebih lanjut, lihat Mengonfigurasi aturan: Berdasarkan tabel (tabel tunggal).

      Catatan

      Metode ini mendukung impor beberapa aturan sekaligus dan memungkinkan konfigurasi aturan pemantauan pada tingkat bidang tabel.

      Klik Import Rule. Anda dapat mencari dan memilih aturan yang akan diimpor berdasarkan ID atau nama aturan, templat aturan, atau cakupan terkait (seluruh tabel atau bidang tertentu).

      Setelah memilih aturan, klik OK untuk menyelesaikan impor.

    Catatan

    Setelah node pemantauan kualitas diterapkan, aturan yang dikandungnya dapat dilihat di modul Data Quality, tetapi operasi pengelolaan seperti memodifikasi atau menghapusnya tidak diizinkan di sana.

    4. Konfigurasikan sumber daya waktu proses

    Pilih sumber daya waktu proses untuk pemeriksaan aturan kualitas. Pilihan ini menentukan sumber data tempat tugas pemantauan kualitas dijalankan. Secara default, ini adalah sumber data tempat tabel yang dipantau berada.

    Catatan

    Jika Anda memilih sumber data lain, pastikan sumber data tersebut memiliki izin akses ke tabel.

    Langkah 3: Mengonfigurasi kebijakan penanganan

    Di bagian Handling Policy di halaman editor node, Anda dapat mengonfigurasi kebijakan penanganan dan langganan notifikasi untuk pengecualian yang terdeteksi oleh aturan pemantauan kualitas.

    Kategori pengecualian

    Kategori pengecualian

    Deskripsi

    Strong rule: Check failed

    • Strong/Weak: Menunjukkan tingkat keparahan aturan.

    • Error: Hasil pemeriksaan memicu ambang kritis. Ini biasanya menunjukkan masalah serius yang kemungkinan besar memengaruhi operasi downstream.

    • Warning: Hasil pemeriksaan memicu ambang peringatan. Ini biasanya menunjukkan masalah minor yang mungkin tidak memengaruhi operasi downstream.

    • Check Failed: Pemeriksaan kualitas gagal dijalankan. Misalnya, hal ini dapat terjadi jika partisi yang dipantau tidak dihasilkan atau kueri SQL untuk pemeriksaan gagal.

    Strong rule: Critical exception

    Strong rule: Warning exception

    Weak rule: Check failed

    Weak rule: Critical exception

    Weak rule: Warning exception

    Kebijakan penanganan pengecualian

    Anda dapat mengonfigurasi kebijakan penanganan untuk pengecualian yang dihasilkan oleh pemeriksaan aturan:

    • Jangan abaikan: Jika kategori pengecualian tertentu terdeteksi (misalnya, aturan kuat memicu pengecualian kritis), Anda dapat mengonfigurasi sistem untuk menghentikan node saat ini dan mengatur statusnya menjadi Gagal.

      Catatan

      • Setelah node saat ini gagal, node downstream tidak akan dieksekusi. Hal ini memblokir pipeline produksi dan mencegah penyebaran data bermasalah.

      • Anda dapat menambahkan beberapa kategori pengecualian untuk diperiksa.

      • Kebijakan ini biasanya digunakan ketika pengecualian memiliki dampak besar dan perlu memblokir tugas downstream.

    • Abaikan: Abaikan pengecualian dan lanjutkan mengeksekusi node downstream.

    Metode notifikasi pengecualian

    Anda dapat mengonfigurasi cara menerima notifikasi untuk pengecualian (misalnya, melalui email). Saat terjadi pengecualian, platform mengirimkan notifikasi melalui metode yang ditentukan sehingga Anda dapat segera menanganinya.

    Catatan

    Platform mendukung berbagai metode notifikasi, yang mungkin berbeda di UI. Perhatikan hal berikut:

    • Notifikasi Email, Email dan SMS, serta Telepon hanya dapat dikirim ke pengguna di bawah akun saat ini. Pastikan alamat email dan nomor telepon penerima telah dikonfigurasi dengan benar. Untuk informasi lebih lanjut, lihat Melihat dan mengatur kontak peringatan.

    • Untuk metode lain, Anda harus memasukkan URL webhook untuk menerima notifikasi. Untuk petunjuk cara mendapatkan URL ini, lihat Mendapatkan URL webhook.

    Langkah 4: Mengonfigurasi penjadwalan

    Untuk menjalankan tugas node secara berkala, klik Scheduling Settings di sisi kanan halaman editor node dan konfigurasikan properti penjadwalan sesuai kebutuhan bisnis Anda. Untuk informasi lebih lanjut, lihat Mengonfigurasi penjadwalan untuk node.

    Langkah 5: Debug tugas

    Lakukan operasi debugging berikut sesuai kebutuhan untuk memeriksa apakah tugas berjalan sesuai harapan.

    1. (Opsional) Pilih kelompok sumber daya waktu proses dan tetapkan nilai untuk parameter kustom.

      • Di sisi kanan node pemantauan kualitas, klik Run Configuration dan konfigurasikan Resource Group for Scheduling yang akan digunakan untuk debug.

      • Jika tugas Anda menggunakan parameter penjadwalan, Anda dapat menetapkan nilai ke variabel di bagian Script Parameters untuk debugging. Untuk informasi lebih lanjut tentang logika penetapan parameter, lihat Debug tugas.

    2. Simpan dan jalankan tugas.

      Klik ikon image di bilah alat atas untuk menyimpan tugas. Klik ikon image untuk menjalankan tugas.

      Setelah tugas selesai, Anda dapat melihat hasil eksekusi di bagian bawah halaman editor node. Jika eksekusi gagal, lakukan troubleshooting berdasarkan pesan error.

    Langkah 6: Terapkan tugas

    Setelah tugas node dikonfigurasi, Anda harus menerapkannya. Setelah diterapkan, node dijalankan secara berkala sesuai konfigurasi penjadwalannya.

    Catatan

    Saat Anda menerapkan node pemantauan kualitas, aturan kualitas yang dikonfigurasi di dalamnya juga diterapkan.

    1. Di bilah alat atas, klik ikon image untuk save node.

    2. Di bilah alat atas, klik ikon image untuk deploy node.

    Untuk informasi lebih lanjut tentang cara menerapkan node, lihat Menerapkan node dan alur kerja.

    Langkah selanjutnya

    • O&M Tugas: Setelah tugas diterapkan, tugas tersebut dijalankan secara berkala berdasarkan konfigurasi penjadwalannya. Anda dapat mengklik O&M di pojok kanan atas halaman editor node untuk membuka Operation Center dan melihat detail penjadwalan dan eksekusi tugas, seperti status eksekusi node dan detail aturan yang dipicu. Untuk informasi lebih lanjut, lihat Mengelola tugas terjadwal.

    • Kualitas Data: Setelah aturan pemantauan kualitas diterapkan, Anda dapat membuka modul Kualitas Data untuk melihat detail aturan. Namun, Anda tidak dapat melakukan operasi pengelolaan seperti memodifikasi atau menghapus aturan di sana. Untuk informasi lebih lanjut, lihat Kualitas Data.