DataWorks:Konfigurasi aturan berdasarkan templat

Sumber data yang didukung

Templat mendukung aturan pemantauan untuk sumber data berikut: MaxCompute, E-MapReduce (EMR), Hologres, CDH Hive, AnalyticDB for PostgreSQL, AnalyticDB for MySQL, StarRocks, MySQL, Lindorm, SQL Server, dan Data Lake Formation (DLF).

Sebelum memulai: Pilih jalur Anda

Gunakan tabel berikut untuk menentukan pendekatan konfigurasi sebelum memulai.

Ambang Batas Dinamis Cerdas hanya tersedia untuk aturan berbasis pernyataan SQL kustom, rentang kustom, atau ambang batas dinamis.

Cara kerja

Mengonfigurasi aturan pemantauan dari templat melibatkan tiga tahap:

1. Select a template and configure rule parameters — Pilih templat bawaan Tingkat Tabel atau Tingkat Bidang dan atur metode perbandingan serta ambang batas yang menentukan seperti apa "data baik" itu.

2. Tambahkan tabel atau bidang secara batch — Pilih semua tabel atau bidang yang ingin dicakup oleh aturan tersebut.

3. Asosiasikan aturan dengan monitor kualitas — Monitor kualitas menentukan cakupan data (misalnya, partisi tertentu dari tabel terpartisi) dan menghubungkan aturan ke node penjadwalan yang memicu pemeriksaan secara otomatis.

Langkah 1: Buka halaman Konfigurasi berdasarkan Templat

1. Login ke Konsol DataWorks. Di bilah navigasi atas, pilih wilayah target. Di panel navigasi kiri, pilih Data Governance > Data Quality. Pilih ruang kerja target dari daftar drop-down dan klik Go to Data Quality.

2. Di panel navigasi kiri, pilih Configure Rules > Configure by Template. Data Quality menampilkan templat aturan bawaan Table Level dan Field Level. Klik Configure Monitoring Rules untuk templat yang ingin Anda gunakan.

   

Langkah 2: Konfigurasi properti aturan

Pada halaman Batch Add Monitoring Rules, konfigurasikan pengaturan berikut.

Langkah 3: Tambahkan tabel atau bidang

Berdasarkan jenis templat yang Anda pilih, tambahkan tabel atau bidang yang ingin diperiksa.

Langkah 4: Asosiasikan monitor kualitas

Monitor kualitas menentukan cakupan data (Rentang Data, seperti partisi tertentu) dan pengaturan pemicu untuk pemeriksaan kualitas. Asosiasikan setiap tabel atau bidang dengan monitor kualitas.

Langkah 5: Uji dan finalisasi

Klik Generate Monitoring Rule untuk membuka halaman Verify Monitoring Rule. Dari halaman ini:

• Test Run: Pilih satu atau beberapa aturan dan klik Test Run. Di kotak dialog, pilih Data Timestamp (waktu pemicu simulasi). Sistem menghitung nilai partisi berdasarkan waktu yang ditentukan dan Data Range, lalu memeriksa apakah data memenuhi aturan yang dikonfigurasi. Setelah uji coba selesai, klik Running Records di kolom Actions untuk melihat hasilnya.

  

• Subscriptions: Konfigurasikan penerima peringatan dan saluran notifikasi. Lihat opsi metode peringatan di Langkah 4.

• Associated Scheduling: Hubungkan aturan ke node penjadwalan. Gunakan Use Recommended Running Mode agar sistem secara otomatis mengasosiasikan aturan dengan node yang direkomendasikan berdasarkan alur data, atau gunakan Manually Specify Running Mode untuk mengasosiasikan aturan dengan node tertentu secara manual.

  Penting

  Aturan harus diasosiasikan dengan node penjadwalan agar dapat dipicu secara otomatis.

  

• View Rule Details: Klik View Rule Details di kolom Actions untuk membuka halaman detail aturan, tempat Anda dapat memodifikasi, memulai, menghentikan, atau menghapus aturan serta melihat log.

• Delete: Hapus satu atau beberapa aturan yang dipilih.

Setelah uji coba berhasil dan penjadwalan diasosiasikan, klik Complete Check.

Langkah selanjutnya

Setelah monitor dijalankan, pilih Quality O&M di panel navigasi kiri dan klik Monitor > Running Records untuk melihat status pemeriksaan kualitas dan riwayat pemeriksaan aturan lengkap untuk tabel yang dipantau.

Lampiran: Format pesan webhook

Bagian ini menjelaskan format pesan dan parameter untuk notifikasi peringatan yang dikirim menggunakan Custom Webhook.

{
  "detailUrl": "https://dqc-cn-zhangjiakou.data.aliyun.com/?defaultProjectId=3058#/jobDetail?envType=ODPS&projectName=yongxunQA_zhangbei_standard&tableName=sx_up_001&entityId=10878&taskId=16876941111958fa4ce0e0b5746379cd9bc67999d05f8&bizDate=1687536000000&executeTime=1687694111000",
  "datasourceName": "emr_test_01",
  "engineTypeName": "EMR",
  "projectName": "Project name",
  "dqcEntityQuality": {
    "entityName": "tb_auto_test",
    "actualExpression": "ds=20230625",
    "strongRuleAlarmNum": 1,
    "weakRuleAlarmNum": 0
  },
  "ruleChecks": [
    {
      "blockType": 0,
      "warningThreshold": 0.1,
      "property": "id",
      "tableName": "tb_auto_test",
      "comment": "Test a monitoring rule",
      "checkResultStatus": 2,
      "templateName": "Compare the Number of Unique Field Values Against Expectation",
      "checkerName": "fulx",
      "ruleId": 123421,
      "fixedCheck": false,
      "op": "",
      "upperValue": 22200,
      "actualExpression": "ds=20230625",
      "externalId": "123112232",
      "timeCost": "10",
      "trend": "up",
      "externalType": "CWF2",
      "bizDate": 1600704000000,
      "checkResult": 2,
      "matchExpression": "ds=$[yyyymmdd]",
      "checkerType": 0,
      "projectName": "auto_test",
      "beginTime": 1600704000000,
      "dateType": "YMD",
      "criticalThreshold": "0.6",
      "isPrediction": false,
      "ruleName": "Rule name",
      "checkerId": 7,
      "discreteCheck": true,
      "endTime": 1600704000000,
      "MethodName": "max",
      "lowerValue": 2344,
      "entityId": 12142421,
      "whereCondition": "type!='type2'",
      "expectValue": 90,
      "templateId": 5,
      "taskId": "16008552981681a0d6",
      "id": 234241453,
      "open": true,
      "referenceValue": [
        {
          "discreteProperty": "type1",
          "value": 20,
          "bizDate": "1600704000000",
          "singleCheckResult": 2,
          "threshold": 0.2
        }
      ],
      "sampleValue": [
        {
          "discreteProperty": "type2",
          "bizDate": "1600704000000",
          "value": 23
        }
      ]
    }
  ]
}