All Products
Search

This Product

    DataWorks:Konfigurasi aturan berdasarkan templat

    Document Center

    DataWorks:Konfigurasi aturan berdasarkan templat

    Last Updated:Aug 25, 2026

    Data Quality menyediakan berbagai templat pemantauan bawaan tingkat tabel dan tingkat field. Topik ini menjelaskan cara mengonfigurasi aturan pemantauan menggunakan templat tersebut.

    Batasan

    Templat dapat digunakan untuk mengonfigurasi aturan pemantauan pada sumber data berikut: MaxCompute, EMR, Hologres, CDH Hive, AnalyticDB for PostgreSQL, AnalyticDB for MySQL, StarRocks, MySQL, Lindorm, SQL Server, dan DLF.

    Untuk templat aturan nilai diskrit, Anda hanya dapat menentukan satu field untuk pengelompokan. Jika Anda menentukan beberapa field, hanya field pertama yang akan diterapkan. Untuk melakukan pemeriksaan terkelompok pada beberapa field, buat aturan terpisah untuk masing-masing field.

    Prosedur

    Ikuti langkah-langkah berikut untuk mengonfigurasi aturan kualitas menggunakan templat:

    1. Pilih templat aturan dan konfigurasikan metode pemeriksaan.

      Terdapat dua jenis templat aturan bawaan: tingkat tabel dan tingkat field. Setelah memilih templat, Anda menentukan metode pemeriksaan untuk aturan kualitas yang menargetkan tabel. Aturan kualitas ini menentukan cara memeriksa data tabel untuk memverifikasi bahwa data tersebut memenuhi ekspektasi.

    2. Tambahkan tabel atau field untuk diperiksa secara batch

      Pilih tabel atau field yang akan diperiksa secara batch, lalu terapkan templat aturan tersebut ke dalamnya.

    3. Buat atau asosiasikan monitor kualitas

      Asosiasikan aturan kualitas dengan monitor kualitas untuk menentukan pemeriksaan kualitas pada objek tertentu: Data Scope dari sebuah tabel (misalnya partisi tertentu dari tabel partisi).

    Prosedur

    Langkah 1: Buka halaman Konfigurasi Berdasarkan Templat

    1. Login ke Konsol DataWorks. Di wilayah target, klik Data Governance > Data Quality di panel navigasi sebelah kiri. Pilih ruang kerja dari daftar drop-down, lalu klik Go to Data Quality.

    2. Di panel navigasi sebelah kiri, pilih Rule Setting > Configure by Template untuk membuka halaman Configure by Template.

      Data Quality menyediakan templat aturan bawaan tingkat Table-level dan Field Level. Klik View Monitoring Rules pada suatu templat untuk mengonfigurasi aturan pemantauan untuk tabel atau field secara batch.

      Halaman Configure by Template menyediakan tiga filter di bagian atas: Keyword Search, Associated Scope, dan Quality Dimension. Templat tingkat tabel bawaan mencakup berbagai templat pemantauan ketepatan waktu, seperti jumlah baris tabel bernilai tetap, selisih jumlah baris tabel dalam 1 hari, laju fluktuasi jumlah baris tabel dalam 1 hari, laju fluktuasi jumlah baris tabel dalam 7 hari, dan laju fluktuasi jumlah baris tabel dalam 30 hari. Deskripsi templat menjelaskan metode perhitungan garis dasar dan logika perbandingan untuk setiap templat.

    Langkah 2: Konfigurasi properti aturan pemantauan

    1. Pilih templat yang akan diterapkan ke beberapa tabel atau partisi secara batch. Di kolom Actions, klik View Monitoring Rules. Halaman Batch Add Monitoring Rules untuk templat tersebut akan terbuka.

    2. Konfigurasikan Basic Properties dari aturan pemantauan.

      Parameter

      Description

      Connection Type

      Jenis sumber data untuk tabel yang diterapkan aturan ini.

      Catatan

      Templat dapat digunakan untuk mengonfigurasi aturan pemantauan untuk sumber data berikut: MaxCompute, EMR, Hologres, CDH Hive, AnalyticDB for PostgreSQL, AnalyticDB for MySQL, StarRocks, MySQL, Lindorm, SQL Server, dan DLF.

      Rule Source

      Nilai ini tetap sebagai Built-in Template dan tidak dapat diubah. Nilai ini mencerminkan templat aturan yang Anda pilih. Untuk informasi lebih lanjut tentang templat aturan bawaan, lihat View built-in rule templates.

      Template

      Rule Name

      Sistem secara otomatis menghasilkan nama aturan. Anda dapat menyesuaikan akhirannya.

    3. Konfigurasikan properti lanjutan dari aturan pemantauan.

      Parameter

      Description

      Degree of importance

      Tingkat keparahan aturan.

      • Strong rule: Aturan penting. Secara default, anomali kritis akan memblokir tugas penjadwalan terkait.

      • Weak rule: Aturan biasa. Secara default, anomali kritis tidak memblokir tugas penjadwalan terkait.

      Comparison Method

      Menentukan cara aturan memvalidasi bahwa data tabel memenuhi ekspektasi Anda.

      • Manual Settings: Menyesuaikan cara output data dibandingkan dengan aturan.

        Metode perbandingan yang tersedia bervariasi tergantung templat aturan. Metode yang ditampilkan di UI yang berlaku.

        • Mendukung perbandingan hasil tipe Numeric Type, yang biasanya dibandingkan dengan nilai tetap (nilai yang diharapkan). Metode perbandingan meliputi Greater Than, Greater Than or Equal To, Equal To, Unequal To, Less Than, dan Less Than or Equal To. Anda dapat menyesuaikan rentang data normal (ambang batas normal) dan rentang data abnormal (ambang batas merah).

        • Mendukung perbandingan hasil Fluctuation, yang biasanya merupakan perbandingan rentang. Metode perbandingan meliputi Absolute Value, Raise, dan Drop. Anda dapat menyesuaikan rentang data normal (ambang batas normal). Anda juga dapat menentukan anomali (ambang batas oranye) dan hasil tak terduga (ambang batas merah) berdasarkan tingkat penyimpangan.

      • Intelligent Dynamic Threshold: Anda tidak perlu mengonfigurasi ambang batas fluktuasi atau nilai yang diharapkan secara manual. Sistem menggunakan algoritma cerdas untuk secara otomatis menentukan ambang batas yang wajar. Jika terdeteksi anomali data, peringatan segera dipicu atau tugas diblokir. Ambang batas dinamis juga mendukung aturan kuat dan lemah.

        Catatan

        Metode perbandingan ambang batas dinamis cerdas hanya didukung untuk aturan kualitas Custom SQL, Custom Scope, and Dynamic Threshold.

      Monitoring Threshold

      • Jika Comparison Method diatur ke Manual Settings, Anda dapat mengatur Normal threshold dan Error Threshold.

        • Normal threshold: Jika hasil pemeriksaan memenuhi nilai yang Anda tentukan, pemeriksaan data berhasil.

        • Error Threshold: Jika hasil pemeriksaan memenuhi nilai yang Anda tentukan, pemeriksaan data gagal.

      • Jika aturan melakukan pemeriksaan Fluctuation, Anda harus menentukan Warning Threshold.

        • Warning Threshold: Jika hasil pemeriksaan memenuhi nilai yang Anda tentukan, data bersifat anomali tetapi tidak memengaruhi operasi bisnis.

      Status

      Status aturan, yang dapat berupa Enable atau Deactivate. Pengaturan ini mengontrol apakah aturan dijalankan di lingkungan produksi.

      Penting

      Jika Anda mengatur status ke Deactivate, aturan tidak dapat dipicu untuk uji coba atau oleh tugas penjadwalan terkait.

    4. Klik Next untuk menuju halaman Generate Monitoring Rule.

    Langkah 3: Tambahkan tabel atau field

    Bergantung pada table-level rule template atau field-level rule template yang Anda pilih, tambahkan secara batch tabel atau field tempat Anda ingin menerapkan aturan tersebut.

    Tabel

    1. Klik Add Table. Di kotak dialog Batch Create yang muncul, pilih tabel yang ingin Anda konfigurasikan aturannya.

      Catatan

      Daftar menampilkan semua tabel yang sesuai dengan Connection Type yang dikonfigurasi di bagian Basic Properties pada langkah sebelumnya. Anda juga dapat memasukkan Table Name untuk memfilter hasil.

    2. Setelah memilih tabel yang ingin Anda konfigurasikan aturan pemantauannya, klik Confirm untuk menambahkannya ke daftar Tables to Be Configured.

    Bidang

    1. Klik Add Fields. Di kotak dialog Select a field, pilih tabel yang berisi field yang ingin Anda pantau.

      Catatan

      Area Tables to Be Selected menampilkan semua tabel untuk Connection Type yang Anda konfigurasi di bagian Basic Properties pada langkah sebelumnya.

    2. Setelah memilih tabel, area Select a field akan menampilkan semua field-nya. Anda dapat memfilter field berdasarkan Field Name dan Field Description.

      Sebagai contoh, di panel Select Table sebelah kiri, pilih ods_user_info_d (kasus Analisis Perilaku Pengguna – tabel Profil Pengguna). Daftar field untuk tabel ini akan ditampilkan di sebelah kanan. Pilih field yang diinginkan, seperti uid, dt, gender, age_range, dan zodiac, lalu klik Add.

    3. Setelah memilih field yang ingin Anda konfigurasikan aturan pemantauannya, klik Create untuk menambahkannya ke daftar Fields to Be Configured.

    Langkah 4: Buat atau asosiasikan monitor kualitas

    Monitor kualitas menentukan aturan mana yang memeriksa objek data tertentu. Objek tersebut adalah rentang data dalam tabel yang akan diperiksa, seperti partisi tertentu dari tabel partisi.

    Anda dapat mengonfigurasi monitor secara individual atau secara batch.

    Konfigurasi batch

    1. Pilih satu atau beberapa tabel atau field tempat Anda ingin menambahkan aturan, lalu klik Configure Monitor.

    2. Anda dapat melakukan operasi Automatically Associate secara batch, Disassociate secara batch, dan Batch Add.

      • Automatically Associate: Secara otomatis mengasosiasikan tabel atau field yang dipilih dengan monitor kualitas yang sudah ada.

      • Disassociate: Memutus asosiasi monitor kualitas dari tabel atau field yang dipilih.

      • Batch Add: Mengonfigurasi rentang data dan pengaturan eksekusi untuk pemantauan kualitas pada tabel yang dipilih.

        Parameter

        Deskripsi

        Data Scope

        Partitioned Table

        Menentukan partisi tabel yang akan diperiksa menggunakan ekspresi partisi.

        • Tabel non-partisi: Seluruh tabel diperiksa secara default. Anda dapat menentukan rentang menggunakan klausa WHERE.

        • Tabel partisi: Format ekspresi adalah partition_name=partition_value. Nilai partisi dapat berupa nilai tetap atau variabel.

        Running Settings

        Trigger Method

        Metode yang digunakan untuk memicu monitor.

        • Triggered by Node Scheduling in Production Environment: Aturan kualitas di bawah monitor kualitas ini secara otomatis dipicu setelah tugas terjadwal tertentu di Operation Center dijalankan. Tugas dry-run tidak memicu pemeriksaan aturan kualitas.

        • Triggered Manually: Secara manual memicu aturan pemantauan kualitas yang terkait dengan monitor kualitas saat ini.

        Penting

        Jika tabel yang Anda periksa bukan tabel MaxCompute dan Anda mengatur Trigger Method ke Triggered by Node Scheduling in Production Environment, tugas terjadwal yang dipilih tidak boleh menggunakan kelompok sumber daya penjadwalan publik. Jika tidak, terjadi error saat monitor kualitas dijalankan.

        Associated Auto Triggered Node

        Jika Anda mengatur Trigger Method ke Triggered by Node Scheduling in Production Environment, Anda dapat menggunakan parameter ini untuk menentukan node penjadwalan terkait. Aturan pemantauan kualitas secara otomatis dipicu setelah node penjadwalan yang ditentukan dijalankan.

        Resources

        Sumber daya komputasi yang diperlukan untuk menjalankan pemeriksaan aturan kualitas. Secara default, sumber data tabel yang dipantau di ruang kerja dipilih. Jika Anda memilih sumber data lain, pastikan sumber dayanya dapat mengakses tabel tersebut.

    Konfigurasi tabel tunggal

    1. Di kolom Monitor di sebelah kanan nama tabel atau field target, Anda dapat mengasosiasikan tabel atau field tersebut dengan monitor kualitas. Anda dapat memilih monitor kualitas yang sudah ada atau memilih untuk Create Monitor.

    2. Jika tidak tersedia monitor kualitas, klik Create Monitor. Tabel berikut menjelaskan parameter-parameter tersebut.

      Parameter

      Parameter

      Deskripsi

      Basic Configurations

      Monitor Name

      Nama kustom untuk monitor kualitas.

      Quality Monitoring Owner

      Tentukan pemilik untuk monitor kualitas sesuai kebutuhan. Saat mengonfigurasi langganan peringatan, Anda dapat menentukan pemilik monitor kualitas sebagai penerima peringatan menggunakan Email, Email and SMS, atau Telephone.

      Monitored Object

      Objek yang akan diperiksa oleh Data Quality. Secara default, ini adalah tabel saat ini.

      Data Scope

      Menentukan partisi tabel yang akan diperiksa menggunakan ekspresi partisi.

      • Tabel non-partisi: Anda tidak perlu mengonfigurasi parameter ini. Full Table diperiksa secara default.

      • Tabel partisi: Format ekspresi adalah partition_name=partition_value. Nilai partisi dapat berupa nilai tetap atau variabel.

      Catatan

      Pengaturan ini tidak berlaku untuk aturan yang dikonfigurasi menggunakan templat kustom atau SQL kustom. Partisi yang diperiksa oleh aturan tersebut ditentukan oleh SQL kustom.

      Select Monitoring Rule

      Select Monitoring Rule

      Asosiasikan aturan kualitas dengan monitor kualitas untuk menentukan aturan mana yang digunakan untuk memeriksa apakah data dalam rentang data tabel saat ini memenuhi ekspektasi.

      Catatan

      • Anda dapat membuat beberapa monitor kualitas untuk partisi berbeda dan mengasosiasikannya dengan aturan kualitas berbeda untuk menerapkan pemeriksaan spesifik partisi.

      • Jika Anda belum membuat aturan kualitas apa pun, Anda dapat melewati langkah ini dan membuat monitor kualitas terlebih dahulu. Anda dapat menambahkan aturan ke monitor kualitas nanti saat membuatnya. Untuk informasi lebih lanjut tentang cara membuat aturan kualitas, lihat Create and manage monitoring rules for a single table.

      Running Settings

      Trigger Method

      Metode yang digunakan untuk memicu monitor.

      • Triggered by Node Scheduling in Production Environment: Aturan kualitas di bawah monitor kualitas ini secara otomatis dipicu setelah tugas terjadwal tertentu di Operation Center dijalankan. Tugas dry-run tidak memicu pemeriksaan aturan kualitas.

      • Triggered Manually: Secara manual memicu aturan pemantauan kualitas yang terkait dengan monitor kualitas saat ini.

      Penting

      Jika tabel yang Anda periksa bukan tabel MaxCompute dan Anda mengatur Trigger Method ke Triggered by Node Scheduling in Production Environment, tugas terjadwal yang dipilih tidak boleh menggunakan kelompok sumber daya penjadwalan publik. Jika tidak, terjadi error saat monitor kualitas dijalankan.

      Associated Auto Triggered Node

      Jika Anda mengatur Trigger Method ke Triggered by Node Scheduling in Production Environment, Anda dapat menggunakan parameter ini untuk menentukan node penjadwalan terkait. Aturan pemantauan kualitas secara otomatis dipicu setelah node penjadwalan yang ditentukan dijalankan.

      Resources

      Sumber daya komputasi yang diperlukan untuk menjalankan pemeriksaan aturan kualitas. Secara default, sumber data tabel yang dipantau di ruang kerja dipilih. Jika Anda memilih sumber data lain, pastikan sumber dayanya dapat mengakses tabel tersebut.

      Handling Policies

      Quality Issue Handling Policies

      Konfigurasikan kebijakan pemblokiran atau peringatan untuk masalah kualitas data yang terdeteksi.

      • Alert: Saat terdeteksi masalah kualitas data, notifikasi peringatan dikirim melalui saluran langganan peringatan monitor kualitas ini.

        Secara default, peringatan dikirim untuk event berikut: strong rule·Red Anomaly, strong rule·Orange Anomaly, strong rule·Check Failed, weak rule·Red Anomaly, weak rule·Orange Anomaly, dan weak rule·Check Failed.

      • Blocks: Saat terdeteksi masalah kualitas data, node penjadwalan produksi pemicu gagal. Tindakan ini memblokir node downstream dan mencegah penyebaran data bermasalah.

        Event default adalah strong rule·Red Anomaly.

        Penting

        Saat kebijakan diatur ke Blocks, peringatan juga dipicu jika aturan kualitas data terkena.

      Alert Method Configuration

      Anda dapat mengirim notifikasi peringatan menggunakan metode seperti Email, Email and SMS, DingTalk Chatbot, DingTalk Chatbot @ALL, Lark Group Chatbot, Enterprise WeChat Chatbot, Custom Webhook, dan Telephone.

      Catatan

      • Untuk menambahkan chatbot DingTalk, Lark, atau WeCom, peroleh URL webhook-nya dan tempelkan URL tersebut ke pengaturan langganan peringatan.

      • Hanya DataWorks Edisi Perusahaan yang mendukung metode Custom Webhook. Untuk informasi tentang format pesan notifikasi peringatan Custom Webhook yang dikirim oleh DataWorks, lihat Appendix: Webhook message format.

      • Saat Anda memilih Email, Email and SMS, atau Telephone sebagai metode langganan, Anda dapat menentukan Authorized object sebagai Data Quality Monitoring Owner, Shift Schedule, atau Scheduling Task Owner.

        • Data Quality Monitoring Owner: Notifikasi peringatan dikirim ke Quality Monitoring Owner yang ditentukan di bagian Basic Configurations monitor kualitas saat ini.

        • Shift Schedule: Saat pemeriksaan aturan kualitas dipicu oleh node terkait, sistem mengirim notifikasi peringatan ke personel jaga hari tersebut sesuai jadwal jaga.

        • Scheduling Task Owner: Notifikasi peringatan dikirim ke Head node penjadwalan yang terkait dengan monitor kualitas.

    3. Kembali ke langkah konfigurasi Batch Add Monitoring Rules, klik Refresh, lalu pilih monitor kualitas yang telah Anda buat dari daftar drop-down Monitor.

    Langkah 5: Uji eksekusi aturan

    1. Klik Generate Monitoring Rule untuk menuju halaman Verify Monitoring Rule. Di halaman Verify Monitoring Rule, Anda dapat melakukan operasi berikut:

      • Test Run: Memverifikasi bahwa konfigurasi aturan valid.

        Setelah membuat aturan, Anda dapat memilih satu atau beberapa aturan dan melakukan Test Run. Di kotak dialog Test Run, pilih Scheduled Time (waktu simulasi saat pemeriksaan dipicu) dan Resource Group. Sistem menghitung nilai partisi spesifik tabel yang akan diperiksa berdasarkan timestamp ini dan Data Scope yang ditentukan. Setelah konfigurasi selesai, klik Test Run untuk memeriksa apakah data di partisi tabel yang ditentukan memenuhi aturan kualitas data yang dikonfigurasi.

        Setelah uji coba, Anda dapat mengklik Running Records di kolom Actions untuk melihat detail uji coba dan mengambil tindakan yang sesuai.

      • Manage Subscriptions: Menentukan penerima peringatan.

        Anda dapat mengirim notifikasi peringatan menggunakan metode seperti Email, Email and SMS, DingTalk Chatbot, DingTalk Chatbot @ALL, Lark Group Chatbot, Enterprise WeChat Chatbot, Custom Webhook, dan Telephone.

        Catatan

        • Untuk menambahkan chatbot DingTalk, Lark, atau WeCom, peroleh URL webhook-nya dan tempelkan URL tersebut ke pengaturan langganan peringatan.

        • Hanya DataWorks Edisi Perusahaan yang mendukung metode Custom Webhook. Untuk informasi tentang format pesan notifikasi peringatan Custom Webhook yang dikirim oleh DataWorks, lihat Appendix: Webhook message format.

        • Saat Anda memilih Email, Email and SMS, atau Telephone sebagai metode langganan, Anda dapat menentukan Authorized object sebagai Data Quality Monitoring Owner, Shift Schedule, atau Scheduling Task Owner.

          • Data Quality Monitoring Owner: Notifikasi peringatan dikirim ke Quality Monitoring Owner yang ditentukan di bagian Basic Configurations monitor kualitas saat ini.

          • Shift Schedule: Saat pemeriksaan aturan kualitas dipicu oleh node terkait, sistem mengirim notifikasi peringatan ke personel jaga hari tersebut sesuai jadwal jaga.

          • Scheduling Task Owner: Notifikasi peringatan dikirim ke Head node penjadwalan yang terkait dengan monitor kualitas.

      • Manage Linked Nodes: Menentukan metode pemicu untuk aturan.

        Anda dapat mengklik Use Recommended Running Mode atau Manually Specify Running Mode untuk mengasosiasikan satu atau beberapa aturan kualitas data dengan node penjadwalan yang menghasilkan data tabel. Di Operation Center, node-node ini mencakup instans terjadwal berkala, instans pengisian ulang data yang dipicu manual, dan instans uji. Saat tugas node dijalankan, pemeriksaan aturan terkait dipicu. Anda dapat mengatur kekuatan aturan untuk mengontrol apakah node gagal dan keluar, yang mencegah penyebaran data kotor.

        • Recommended Running Mode: Sistem secara otomatis mengasosiasikan aturan yang dipilih dengan node penjadwalan yang direkomendasikan berdasarkan alur data node yang menghasilkan tabel.

        • Manual Running Mode: Anda dapat secara manual mengasosiasikan aturan yang dipilih dengan node penjadwalan tertentu.

        Penting

        Aturan harus diasosiasikan dengan node penjadwalan yang sesuai agar dapat dipicu secara otomatis.

        Di kotak dialog Associate Scheduling: pilih Workspace dan Task node target, klik Add, lalu klik OK untuk membuat asosiasi.

      • Delete: Anda dapat memilih dan menghapus satu atau beberapa aturan.

      • View Rule Details: Di kolom Actions, klik View Rule Details untuk melihat detail aturan. Anda juga dapat memodifikasi, mengaktifkan, menonaktifkan, atau menghapus aturan, mengatur kekuatannya, dan melihat log.

    2. Setelah uji coba berhasil dan jadwal diasosiasikan, klik Complete Check.

    Langkah selanjutnya

    Setelah pemantauan kualitas dijalankan, klik Monitor dan Running Records di bawah Quality O&M di panel navigasi kiri untuk melihat hasil pemeriksaan kualitas untuk tabel tertentu dan riwayat pemeriksaan aturan kualitas.

    Format pesan Webhook

    Topik ini menjelaskan format pesan dan parameter notifikasi peringatan yang dikirim DataWorks menggunakan Custom Webhook.

    Contoh pesan

    {
  "detailUrl": "https://dqc-cn-zhangjiakou.data.aliyun.com/?defaultProjectId=3058#/jobDetail?envType=ODPS&projectName=yongxunQA_zhangbei_standard&tableName=sx_up_001&entityId=10878&taskId=16876941111958fa4ce0e0b5746379cd9bc67999d05f8&bizDate=1687536000000&executeTime=1687694111000",
  "datasourceName": "emr_test_01",
  "engineTypeName": "EMR",
  "projectName": "Online Regression Project",
  "dqcEntityQuality": {
    "entityName": "tb_auto_test",
    "actualExpression": "ds=20230625",
    "strongRuleAlarmNum": 1,
    "weakRuleAlarmNum": 0
  },
  "ruleChecks": [
    {
      "blockType": 0,
      "warningThreshold": 0.1,
      "property": "id",
      "tableName": "tb_auto_test",
      "comment": "Test rule",
      "checkResultStatus": 2,
      "templateName": "Compare the Number of Unique Field Values Against Expectation",
      "checkerName": "fulx",
      "ruleId": 123421,
      "fixedCheck": false,
      "op": "",
      "upperValue": 22200,
      "actualExpression": "ds=20230625",
      "externalId": "123112232",
      "timeCost": "10",
      "trend": "up",
      "externalType": "CWF2",
      "bizDate": 1600704000000,
      "checkResult": 2,
      "matchExpression": "ds=$[yyyymmdd]",
      "checkerType": 0,
      "projectName": "auto_test",
      "beginTime": 1600704000000,
      "dateType": "YMD",
      "criticalThreshold": "0.6",
      "isPrediction": false,
      "ruleName": "Rule Name",
      "checkerId": 7,
      "discreteCheck": true,
      "endTime": 1600704000000,
      "MethodName": "max",
      "lowerValue": 2344,
      "entityId": 12142421,
      "whereCondition": "type!='type2'",
      "expectValue": 90,
      "templateId": 5,
      "taskId": "16008552981681a0d6",
      "id": 234241453,
      "open": true,
      "referenceValue": [
        {
          "discreteProperty": "type1",
          "value": 20,
          "bizDate": "1600704000000",
          "singleCheckResult": 2,
          "threshold": 0.2
        }
      ],
      "sampleValue": [
        {
          "discreteProperty": "type2",
          "bizDate": "1600704000000",
          "value": 23
        }
      ]
    }
  ]
}

    Parameter

    Name

    Type

    Nilai contoh

    Description

    projectName

    String

    autotest

    Nama proyek DataWorks.

    actualExpression

    String

    ds=20200925

    Partisi aktual dari tabel sumber data yang diperiksa.

    ruleChecks

    Array of RuleChecks

    Array hasil pemeriksaan aturan.

    blockType

    Integer

    1

    Kekuatan aturan. Nilai yang valid:

    • 1: strong rule.

    • 0: weak rule.

      Anda dapat menetapkan aturan penting sebagai strong rule berdasarkan kebutuhan bisnis Anda. Jika strong rule memicu peringatan merah, tugas penjadwalan terkait akan diblokir.

    warningThreshold

    Float

    0.1

    Ambang peringatan yang dapat disesuaikan, yang menentukan penyimpangan yang dapat diterima dari nilai yang diharapkan.

    property

    String

    type

    Kolom di tabel sumber data yang diperiksa oleh aturan.

    tableName

    String

    dual

    Nama tabel yang diperiksa.

    comment

    String

    Deskripsi aturan.

    Komentar yang ditentukan pengguna untuk aturan.

    checkResultStatus

    Integer

    2

    Status hasil pemeriksaan.

    templateName

    String

    Compare the Number of Unique Field Values Against Expectation

    Nama templat pemantauan yang digunakan untuk pemeriksaan.

    checkerName

    String

    fulx

    Nama checker.

    ruleId

    Long

    123421

    ID aturan.

    fixedCheck

    Boolean

    false

    Menentukan apakah pemeriksaan membandingkan terhadap nilai tetap. Nilai yang valid:

    • true: Pemeriksaan menggunakan nilai tetap.

    • false: Pemeriksaan tidak menggunakan nilai tetap.

    op

    String

    >

    Operator perbandingan.

    upperValue

    Float

    22200

    Batas atas yang diprediksi, yang dihasilkan secara otomatis setelah ambang batas ditetapkan.

    actualExpression

    String

    ds=20200925

    Partisi aktual dari tabel sumber data yang diperiksa.

    externalId

    String

    123112232

    ID node tugas penjadwalan terkait.

    timeCost

    String

    10

    Waktu eksekusi untuk tugas pemeriksaan.

    trend

    String

    up

    Tren hasil pemeriksaan dibandingkan dengan eksekusi sebelumnya.

    externalType

    String

    CWF2

    Tipe sistem penjadwalan. Saat ini, hanya CWF yang didukung.

    bizDate

    Long

    1600704000000

    Waktu data dari data yang diperiksa. Untuk data offline, ini biasanya merupakan waktu data untuk hari sebelum pemeriksaan dieksekusi.

    checkResult

    Integer

    2

    Hasil pemeriksaan.

    matchExpression

    String

    ds=$[yyyymmdd]

    Ekspresi filter partisi.

    checkerType

    Integer

    0

    Tipe checker.

    projectName

    String

    autotest

    Nama proyek di mesin komputasi yang berisi tabel yang diperiksa.

    beginTime

    Long

    1600704000000

    Waktu mulai eksekusi pemeriksaan, dalam milidetik.

    dateType

    String

    YMD

    Tipe siklus penjadwalan. Nilai umum adalah YMD, yang merepresentasikan tahun, bulan, dan hari.

    criticalThreshold

    Float

    0.6

    Ambang kesalahan yang dapat disesuaikan, yang menentukan penyimpangan maksimum yang dapat diterima dari nilai yang diharapkan. Jika pemeriksaan strong rule melebihi ambang kesalahan, tugas penjadwalan terkait akan diblokir.

    isPrediction

    Boolean

    false

    Menentukan apakah hasilnya merupakan prediksi. Nilai yang valid:

    • true: Hasilnya merupakan prediksi.

    • false: Hasilnya bukan prediksi.

    ruleName

    String

    Rule Name

    Nama aturan.

    checkerId

    Integer

    7

    ID checker.

    discreteCheck

    Boolean

    true

    Menentukan apakah pemeriksaan bersifat diskrit. Nilai yang valid:

    • true: Pemeriksaan bersifat diskrit.

    • false: Pemeriksaan tidak bersifat diskrit.

    endTime

    Long

    1600704000000

    Waktu akhir eksekusi pemeriksaan, dalam milidetik.

    methodName

    String

    max

    Metode yang digunakan untuk mengumpulkan data sampel. Nilai yang valid meliputi avg, count, sum, min, max, count_distinct, user_defined, table_count, table_size, table_dt_load_count, table_dt_refuseload_count, null_value, null_value/table_count, (table_count-count_distinct)/table_count, dan table_count-count_distinct.

    lowerValue

    Float

    2344

    Batas bawah yang diprediksi, yang dihasilkan secara otomatis setelah ambang batas ditetapkan.

    entityId

    Long

    14534343

    ID entitas (seperti tabel) yang dipantau.

    whereCondition

    String

    type!='type2'

    Klausa WHERE yang digunakan untuk memfilter data untuk pemeriksaan.

    expectValue

    Float

    90

    Nilai yang diharapkan.

    templateId

    Integer

    5

    ID templat pemantauan yang digunakan.

    taskId

    String

    16008552981681a0d6****

    ID unik untuk instans tugas pemeriksaan.

    id

    Long

    2231123

    ID kunci primer dari catatan pemeriksaan.

    referenceValue

    Array of ReferenceValue

    Array nilai sampel historis untuk perbandingan.

    discreteProperty

    String

    type1

    Nilai field yang digunakan untuk pengelompokan jika klausa GROUP BY diterapkan. Misalnya, jika data dikelompokkan berdasarkan field gender, nilainya bisa berupa male, female, atau null.

    value

    Float

    20

    Nilai sampel.

    bizDate

    String

    1600704000000

    Waktu data untuk nilai sampel historis ini.

    singleCheckResult

    Integer

    2

    Status hasil pemeriksaan individual ini.

    threshold

    Float

    0.2

    Ambang batas yang diterapkan pada nilai diskrit spesifik ini.

    sampleValue

    Array of SampleValue

    Array nilai sampel saat ini dari pemeriksaan.

    discreteProperty

    String

    type2

    Nilai field yang digunakan untuk pengelompokan jika klausa GROUP BY diterapkan. Misalnya, jika data dikelompokkan berdasarkan field gender, nilainya bisa berupa male, female, atau null.

    bizDate

    String

    1600704000000

    Waktu data untuk nilai sampel saat ini.

    value

    Float

    23

    Nilai sampel.

    open

    Boolean

    true

    Menentukan apakah aturan diaktifkan.