DataQualityResult資料結構及欄位說明-巨量資料開發治理平台 DataWorks-阿里雲

名稱	類型	描述	樣本值
	object	資料品質結果
Id	integer	校正結果 ID	10001
Status	string	校正結果狀態	Passed
TaskInstanceId	integer	品質校正任務執行個體 ID	20001
Rule	object	校正開始時，規則配置快照
Id	integer	規則 ID，全域唯一標識	100001
Name	string	規則名稱，數字、英文字母、漢字、半形全形標點符號組合，最長 255 個字元	表不可為空
TenantId	integer	DataWorks 租戶 ID	1
ProjectId	integer	DataWorks 專案空間 ID	100
Enabled	boolean	規則是否啟用	true
Severity	string	規則對於業務的等級（對應頁面上的強弱規則）	High
Description	string	規則描述資訊，最長 500 個字元	this is a odps _sql task
Target	object	規則所監控的對象
Type	string	監控物件類型 Table	Table
DatabaseType	string	表類型的資料集，表所屬的資料庫類型 maxcompute emr cdh hologres analyticdb_for_postgresql analyticdb_for_mysql starrocks	maxcompute
TableGuid	string	表在資料地圖中的唯一 ID	odps.unit_test.tb_unit_test
PartitionSpec	string	分區表的分區設定	ds=$[yyyymmdd-1]
TemplateCode	string	建立規則時所引用的規則模板	SYSTEM:user_defined_sql
SamplingConfig	object	樣本採集所需的設定
Metric	string	採樣的指標名稱 Count：錶行數 Min：欄位最小值 Max：欄位最大值 Avg：欄位均值 DistinctCount：欄位唯一值個數 DistinctPercent：欄位唯一值個數與資料行數佔比 DuplicatedCount：欄位重複值個數 DuplicatedPercent：欄位重複值個數與資料行數佔比 TableSize：表大小 NullValueCount：欄位為空白的行數 NullValuePercent：欄位為空白的比例 GroupCount：按欄位值彙總後每個值與對應的資料行數 CountNotIn：枚舉值不匹配行數 CountDistinctNotIn：枚舉值不匹配唯一值個數 UserDefinedSql：通過自訂 SQL 做樣本採集	Min
MetricParameters	string	樣本採集時，所需的參數	{ "Columns": [ "id", "name" ] }
SettingConfig	string	具體執行採樣語句前，插入執行的一些運行時參數設定語句，最長 1000 個字元。目前只支援 MaxCompute	SET odps.sql.udf.timeout=600s;
SamplingFilter	string	採樣時，對不關注的資料進行二次過濾的條件，最多 16777215 個字元	id IS NULL
CheckingConfig	object	樣本校正設定
Type	string	閾值計算方式 Fixed Fluctation FluctationDiscreate Auto Average Variance	Fixed
ReferencedSamplesFilter	string	有些類型的閾值需要查詢出一些參考樣本，然後對參考樣本的值進行匯總得出進行比較的閾值，這裡使用一個運算式來表示參考樣本的查詢方式	{ "bizdate": [ "-1", "-7", "-1m" ] }
Thresholds	object	閾值設定
Expected	object	期望的閾值設定
Value	string	閾值數值	100.0
Operator	string	比較符 > >= < <= != =	>
Warned	object	普通警告的閾值設定
Value	string	閾值數值	100.0
Operator	string	比較符 > >= < <= != =	>
Critical	object	嚴重警告的閾值設定
Value	string	閾值數值	100.0
Operator	string	比較符 > >= < <= != =	>
ErrorHandlers	array	品質規則校正問題處理器
	object	品質規則校正問題處理器
Type	string	處理器類型	SaveErrorData
ErrorDataFilter	string	如果是自訂 SQL 規則，需要使用者指定 SQL 來過濾問題資料	SELECT * FROM tb_api_log WHERE id IS NULL
Sample	string	本次校正所使用的樣本值	[ { "gender": "male", "_count": 100 }, { "gender": "female", "_count": 100 } ]
Details	array	本次校正的詳情
	object	校正詳情
ReferencedValue	string	使用引用的樣本，用來參與 CheckedValue 計算的基準值	0.0
CheckedValue	string	最終用來與閾值比較的值	100.0
Status	string	最終的比較結果狀態	Passed

object

資料品質結果

Id

integer

校正結果 ID

10001

Status

string

校正結果狀態

Passed

TaskInstanceId

integer

品質校正任務執行個體 ID

20001

Rule

object

校正開始時，規則配置快照

Id

integer

規則 ID，全域唯一標識

100001

Name

string

規則名稱，數字、英文字母、漢字、半形全形標點符號組合，最長 255 個字元

表不可為空

TenantId

integer

DataWorks 租戶 ID

1

ProjectId

integer

DataWorks 專案空間 ID

100

Enabled

boolean

規則是否啟用

true

Severity

string

規則對於業務的等級（對應頁面上的強弱規則）

High

Description

string

規則描述資訊，最長 500 個字元

this is a odps _sql task

Target

object

規則所監控的對象

Type

string

監控物件類型

Table

Table

DatabaseType

string

表類型的資料集，表所屬的資料庫類型

maxcompute
emr
cdh
hologres
analyticdb_for_postgresql
analyticdb_for_mysql
starrocks

maxcompute

TableGuid

string

表在資料地圖中的唯一 ID

odps.unit_test.tb_unit_test

PartitionSpec

string

分區表的分區設定

ds=$[yyyymmdd-1]

TemplateCode

string

建立規則時所引用的規則模板

SYSTEM:user_defined_sql

SamplingConfig

object

樣本採集所需的設定

Metric

string

採樣的指標名稱

Count：錶行數
Min：欄位最小值
Max：欄位最大值
Avg：欄位均值
DistinctCount：欄位唯一值個數
DistinctPercent：欄位唯一值個數與資料行數佔比
DuplicatedCount：欄位重複值個數
DuplicatedPercent：欄位重複值個數與資料行數佔比
TableSize：表大小
NullValueCount：欄位為空白的行數
NullValuePercent：欄位為空白的比例
GroupCount：按欄位值彙總後每個值與對應的資料行數
CountNotIn：枚舉值不匹配行數
CountDistinctNotIn：枚舉值不匹配唯一值個數
UserDefinedSql：通過自訂 SQL 做樣本採集

Min

MetricParameters

string

樣本採集時，所需的參數

{ "Columns": [ "id", "name" ] }

SettingConfig

string

具體執行採樣語句前，插入執行的一些運行時參數設定語句，最長 1000 個字元。目前只支援 MaxCompute

SET odps.sql.udf.timeout=600s;

SamplingFilter

string

採樣時，對不關注的資料進行二次過濾的條件，最多 16777215 個字元

id IS NULL

CheckingConfig

object

樣本校正設定

Type

string

閾值計算方式

Fixed
Fluctation
FluctationDiscreate
Auto
Average
Variance

Fixed

ReferencedSamplesFilter

string

有些類型的閾值需要查詢出一些參考樣本，然後對參考樣本的值進行匯總得出進行比較的閾值，這裡使用一個運算式來表示參考樣本的查詢方式

{ "bizdate": [ "-1", "-7", "-1m" ] }

Thresholds

object

閾值設定

Expected

object

期望的閾值設定

Value

string

閾值數值

100.0

Operator

string

比較符

>
>=
<
<=
!=
=

>

Warned

object

普通警告的閾值設定

Value

string

閾值數值

100.0

Operator

string

比較符

>
>=
<
<=
!=
=

>

Critical

object

嚴重警告的閾值設定

Value

string

閾值數值

100.0

Operator

string

比較符

>
>=
<
<=
!=
=

>

ErrorHandlers

array

品質規則校正問題處理器

object

品質規則校正問題處理器

Type

string

處理器類型

SaveErrorData

ErrorDataFilter

string

如果是自訂 SQL 規則，需要使用者指定 SQL 來過濾問題資料

SELECT * FROM tb_api_log WHERE id IS NULL

Sample

string

本次校正所使用的樣本值

[ { "gender": "male", "_count": 100 }, { "gender": "female", "_count": 100 } ]

Details

array

本次校正的詳情

object

校正詳情

ReferencedValue

string

使用引用的樣本，用來參與 CheckedValue 計算的基準值

0.0

CheckedValue

string

最終用來與閾值比較的值

100.0

Status

string

最終的比較結果狀態

Passed