DataQualityRule資料結構-巨量資料開發治理平台 DataWorks-阿里雲

名稱	類型	描述	樣本值
	object	資料品質規則
Id	integer	規則 ID	1
Name	string	規則名稱，數字、英文字母、漢字、半形全形標點符號組合，最長 255 個字元	表不可為空
TenantId	integer	Dataworks 租戶 ID	1
ProjectId	integer	Dataworks 專案空間 ID	100
Enabled	boolean	規則是否啟用	true
Severity	string	規則對於業務的等級（對應頁面上的強弱規則），可選的枚舉值： Normal High	High
Description	string	規則描述資訊，最長 500 個字元	this is a odps _sql task
TemplateCode	string	建立規則時所引用的規則模板	SYSTEM:user_defined_sql
Target	object	規則所監控的對象
Type	string	監控物件類型 Table	Table
DatabaseType	string	表類型的資料集，表所屬的資料庫類型 maxcompute emr cdh hologres analyticdb_for_postgresql analyticdb_for_mysql starrocks	maxcompute
TableGuid	string	表在資料地圖中的唯一 ID	odps.unit_test.tb_unit_test
PartitionSpec	string	分區表的分區設定	ds=$[yyyymmdd-1]
SamplingConfig	object	樣本採集所需的設定
Metric	string	採樣的指標名稱 Count：錶行數 Min：欄位最小值 Max：欄位最大值 Avg：欄位均值 DistinctCount：欄位唯一值個數 DistinctPercent：欄位唯一值個數與資料行數佔比 DuplicatedCount：欄位重複值個數 DuplicatedPercent：欄位重複值個數與資料行數佔比 TableSize：表大小 NullValueCount：欄位為空白的行數 NullValuePercent：欄位為空白的比例 GroupCount：按欄位值彙總後每個值與對應的資料行數 CountNotIn：枚舉值不匹配行數 CountDistinctNotIn：枚舉值不匹配唯一值個數 UserDefinedSql：通過自訂 SQL 做樣本採集	Min
MetricParameters	string	樣本採集時，所需的參數	{ "Columns": [ "id", "name" ] }
SettingConfig	string	具體執行採樣語句前，插入執行的一些運行時參數設定語句，最長 1000 個字元。目前只支援 MaxCompute	SET odps.sql.udf.timeout=600s;
SamplingFilter	string	採樣時，對不關注的資料進行二次過濾的條件，最多 16777215 個字元	id IS NULL
CheckingConfig	object	樣本校正設定
Type	string	閾值計算方式 Fixed Fluctation FluctationDiscreate Auto Average Variance	Fixed
ReferencedSamplesFilter	string	有些類型的閾值需要查詢出一些參考樣本，然後對參考樣本的值進行匯總得出進行比較的閾值，這裡使用一個運算式來表示參考樣本的查詢方式	{ "bizdate": [ "-1", "-7", "-1m" ] }
Thresholds	object	閾值設定
Expected	object	期望的閾值設定
Value	string	閾值數值	100.0
Operator	string	比較符 /> />= < <= != =	>
Expression	string	閾值運算式	波動率類型規則使用，通過運算式來表示波動閾值。如：波動上升大於0.01： $checkValue > 0.01 波動下降大於0.01：$checkValue < -0.01 波動率絕對值：abs($checkValue) > 0.01
Warned	object	普通警告的閾值設定
Value	string	閾值數值	100.0
Operator	string	比較符 /> />= < <= != =	>
Expression	string	閾值運算式	波動率類型規則使用，通過運算式來表示波動閾值。如：波動上升大於0.01： $checkValue > 0.01 波動下降大於0.01：$checkValue < -0.01 波動率絕對值：abs($checkValue) > 0.01
Critical	object	嚴重警告的閾值設定
Value	string	閾值數值	100.0
Operator	string	比較符 /> />= < <= != =	>
Expression	string	校正運算式	波動率類型規則使用，通過運算式來表示波動閾值。如：波動上升大於0.01： $checkValue > 0.01 波動下降大於0.01：$checkValue < -0.01 波動率絕對值：abs($checkValue) > 0.01
ErrorHandlers	array	品質規則校正問題處理器
	object
Type	string	處理器類型： SaveErrorData	SaveErrorData
ErrorDataFilter	string	如果是自訂 SQL 規則，需要使用者指定 SQL 來過濾問題資料	SELECT * FROM tb_api_log WHERE id IS NULL

object

資料品質規則

Id

integer

規則 ID

1

Name

string

規則名稱，數字、英文字母、漢字、半形全形標點符號組合，最長 255 個字元

表不可為空

TenantId

integer

Dataworks 租戶 ID

1

ProjectId

integer

Dataworks 專案空間 ID

100

Enabled

boolean

規則是否啟用

true

Severity

string

規則對於業務的等級（對應頁面上的強弱規則），可選的枚舉值：

Normal
High

High

Description

string

規則描述資訊，最長 500 個字元

this is a odps _sql task

TemplateCode

string

建立規則時所引用的規則模板

SYSTEM:user_defined_sql

Target

object

規則所監控的對象

Type

string

監控物件類型

Table

Table

DatabaseType

string

表類型的資料集，表所屬的資料庫類型

maxcompute
emr
cdh
hologres
analyticdb_for_postgresql
analyticdb_for_mysql
starrocks

maxcompute

TableGuid

string

表在資料地圖中的唯一 ID

odps.unit_test.tb_unit_test

PartitionSpec

string

分區表的分區設定

ds=$[yyyymmdd-1]

SamplingConfig

object

樣本採集所需的設定

Metric

string

採樣的指標名稱

Count：錶行數
Min：欄位最小值
Max：欄位最大值
Avg：欄位均值
DistinctCount：欄位唯一值個數
DistinctPercent：欄位唯一值個數與資料行數佔比
DuplicatedCount：欄位重複值個數
DuplicatedPercent：欄位重複值個數與資料行數佔比
TableSize：表大小
NullValueCount：欄位為空白的行數
NullValuePercent：欄位為空白的比例
GroupCount：按欄位值彙總後每個值與對應的資料行數
CountNotIn：枚舉值不匹配行數
CountDistinctNotIn：枚舉值不匹配唯一值個數
UserDefinedSql：通過自訂 SQL 做樣本採集

Min

MetricParameters

string

樣本採集時，所需的參數

{ "Columns": [ "id", "name" ] }

SettingConfig

string

具體執行採樣語句前，插入執行的一些運行時參數設定語句，最長 1000 個字元。目前只支援 MaxCompute

SET odps.sql.udf.timeout=600s;

SamplingFilter

string

採樣時，對不關注的資料進行二次過濾的條件，最多 16777215 個字元

id IS NULL

CheckingConfig

object

樣本校正設定

Type

string

閾值計算方式

Fixed
Fluctation
FluctationDiscreate
Auto
Average
Variance

Fixed

ReferencedSamplesFilter

string

有些類型的閾值需要查詢出一些參考樣本，然後對參考樣本的值進行匯總得出進行比較的閾值，這裡使用一個運算式來表示參考樣本的查詢方式

{ "bizdate": [ "-1", "-7", "-1m" ] }

Thresholds

object

閾值設定

Expected

object

期望的閾值設定

Value

string

閾值數值

100.0

Operator

string

比較符

/>
/>=
<
<=
!=
=

>

Expression

string

閾值運算式

波動率類型規則使用，通過運算式來表示波動閾值。如：波動上升大於0.01： $checkValue > 0.01 波動下降大於0.01：$checkValue < -0.01 波動率絕對值：abs($checkValue) > 0.01

Warned

object

普通警告的閾值設定

Value

string

閾值數值

100.0

Operator

string

比較符

/>
/>=
<
<=
!=
=

>

Expression

string

閾值運算式

波動率類型規則使用，通過運算式來表示波動閾值。如：波動上升大於0.01： $checkValue > 0.01 波動下降大於0.01：$checkValue < -0.01 波動率絕對值：abs($checkValue) > 0.01

Critical

object

嚴重警告的閾值設定

Value

string

閾值數值

100.0

Operator

string

比較符

/>
/>=
<
<=
!=
=

>

Expression

string

校正運算式

波動率類型規則使用，通過運算式來表示波動閾值。如：波動上升大於0.01： $checkValue > 0.01 波動下降大於0.01：$checkValue < -0.01 波動率絕對值：abs($checkValue) > 0.01

ErrorHandlers

array

品質規則校正問題處理器

object

Type

string

處理器類型：

SaveErrorData

SaveErrorData

ErrorDataFilter

string

如果是自訂 SQL 規則，需要使用者指定 SQL 來過濾問題資料

SELECT * FROM tb_api_log WHERE id IS NULL