DataQualityEvaluationTask

更新時間:
Copy as MD

名稱

類型

描述

樣本值

object

品質監控任務

Id

integer

資料品質校正任務 ID

10001

Name

string

資料品質校正任務名稱,數字、英文字母、漢字、半形全形標點符號組合,最長 255 個字元

品質校正任務

Description

string

資料品質校正任務描述,最長 65535 個字元

This is a daily run data quality evaluation plan.

TenantId

integer

DataWorks 租戶 ID

10

ProjectId

integer

Dataworks 專案空間 ID

100

Target

object

資料品質校正任務的監控對象

Type

string

監控物件類型

  • Table

Table

DatabaseType

string

表類型的資料集,表所屬的資料庫類型

  • maxcompute

  • emr

  • cdh

  • hologres

  • analyticdb_for_postgresql

  • analyticdb_for_mysql

  • starrocks

maxcompute

TableGuid

string

表在資料地圖中的唯一 ID

odps.unit_test.tb_unit_test

PartitionSpec

string

分區表的分區設定

ds=$[yyyymmdd-1]

Trigger

object

資料品質校正任務的觸發配置

Type

string

何種事件可以觸發品質校正任務執行

  • ByScheduledTaskInstance:調度執行個體運行成功

ByScheduledTaskInstance

TaskIds

array

type=ByScheduledTaskInstance 時生效 ,具體指明哪些調度節點的執行個體執行成功後可以觸發

integer

調度任務節點 ID

10001

DataSourceId

integer

資料品質校正任務執行時應使用的資料來源

201

RuntimeConf

string

使用資料來源時的一些設定,目前只支援指定 EMR 的 yarn 隊列、採集 EMR 表時 SQL 引擎指定為 SPARK_SQL|KYUUBI|PRESTO_SQL|HIVE_SQL

{ "queue": "default", "sqlEngine": "SPARK_SQL" }

Hooks

array

資料品質校正任務執行個體生命週期中的回調設定,目前只支援一個阻塞調度任務的 Hook

object

Type

string

後續處理動作類型

  • BlockTaskInstance:阻塞 DataWorks 任務執行個體執行

BlockTaskInstance

Condition

string

Hook 觸發條件

${severity} == "High" AND ${status} == "Critical"

Notifications

array

資料品質校正任務通知訂閱配置

object

Condition

string

警示觸發條件

${blockType} == "Strong"

Notifications

array

具體的訊息通知設定

object

警示方式

NotificationChannels

array

警示方式

object

Channels

array

警示方式

Mail

string

  • Mail - 郵件

  • Sms - 簡訊

  • Phone - 電話

  • Feishu - 飛書

  • Weixin - 微信

  • Dingding - DingTalk

  • Webhook - 自訂 Webhook

Mail

NotificationReceivers

array

警示接收人設定

object

ReceiverType

string

警示接收人類型

AliUid

ReceiverValues

array

警示接收人具體值

string

警示接收人具體值

user1

Extension

string

擴充資訊,格式為 json,例如DingTalk機器人支援 at 所有人

{"atAll":"true"}