GetDataQualityScanRun - 获取数据质量扫描运行详情 - 大数据开发治理平台 DataWorks

通过指定ID查询数据质量扫描任务的运行详情。

接口说明

需要购买 DataWorks 基础版及以上版本才能使用。

调试

您可以在OpenAPI Explorer中直接运行该接口，免去您计算签名的困扰。运行成功后，OpenAPI Explorer可以自动生成SDK代码示例。

调试

授权信息

当前API暂无授权信息透出。

请求语法

POST  HTTP/1.1

请求参数

名称	类型	必填	描述	示例值
Id	integer	否	数据质量监控运行记录 ID。	1006059507

返回参数

名称	类型	描述	示例值
	object	返回结果。
RequestId	string	请求 ID。	0bc14115****159376359
DataQualityScanRun	object	数据质量监控运行记录。
Id	integer	运行记录 ID。	1016440997
CreateTime	integer	数据质量监控开始运行时间。	1706247622000
FinishTime	integer	数据质量监控运行结束时间。	1706247622000
Status	string	当前运行状态。 Pass Running Error Warn Fail	Fail
Scan	object	校验开始时，数据质量监控配置快照。
Id	integer	数据质量监控 ID。	21077
Name	string	数据质量校验任务名称，数字、英文字母、汉字、半角全角标点符号组合，最长 255 个字符。	Hourly partition quality monitoring
Description	string	数据质量校验任务描述，最长 65535 个字符。	This is a hourly run data quality evaluation plan.
ProjectId	integer	项目 ID。	164024
CreateTime	integer	数据质量监控创建时间。	1706247622000
ModifyTime	integer	数据质量监控更新时间。	1706247622000
CreateUser	string	数据质量监控创建人。	7892346529452
ModifyUser	string	数据质量监控最近更新人。	7892346529452
Owner	string	数据质量监控责任人。	7892346529452
Spec	string	数据质量监控 Spec，详情请参见数据质量 Spec 配置说明。	{ "datasets": [ { "type": "Table", "dataSource": { "name": "odps_first", "envType": "Prod" }, "tables": [ "ods_d_user_info" ], "filter": "pt = $[yyyymmdd-1]" } ], "rules": [ { "assertion": "row_count > 0" }, { "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" } ] }
Parameters	array<object>	数据质量监控的参数设置。
	object	数据质量监控的参数设置。
Value	string	参数值。	$[yyyy-mm-dd-1]
Name	string	参数名。	dt
ComputeResource	object	数据质量监控计算资源设置。
Name	string	计算资源名称，对应到计算资源 API 的 ComputeResource 数据结构中的 Name 属性。	emr_cluster_001
Runtime	object	数据质量监控在运行时的更多设置。
Engine	string	使用的引擎类型，只有 EMR 计算引擎支持设置这部分内容。 Hive Spark Kyuubi	Hive
SparkConf	object	使用 Spark 引擎时，更多的参数设置，目前只支持通过 spark.yarn.queue 设置队列。	spark.yarn.queue=dq_queue
HiveConf	object	使用 Hive 引擎时，更多的参数设置，目前只支持通过 mapreduce.job.queuename 设置队列。	mapreduce.job.queuename=dq_queue
EnvType	string	计算引擎所属的工作空间环境。 Prod Dev	Dev
RuntimeResource	object	数据质量监控运行时，使用的资源组。
Id	string	资源组 ID。	60597
Cu	number	资源组预留 CU。	1
Image	string	运行配置的镜像 ID。	i-xxxx
Trigger	object	数据质量监控触发配置。
Type	string	数据质量监控触发方式。 ByManual BySchedule	BySchedule
TaskIds	array	当触发方式为 BySchedule 时，需要配置触发质量监控的调度任务 ID。
	integer	调度任务 ID。	1014217266
Hooks	array<object>	数据质量监控运行结束后的 Hook 配置。
	object	数据质量监控运行结束后的 Hook 配置。
Condition	string	Hook 触发条件，当满足这个条件时，会触发 Hook 运行。目前只支持一种表达式写法：指定多组规则严重类型和规则校验状态，如`results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' \|\| r.status == 'Error' && r.rule.severity == 'High' \|\| r.status == 'Warn' && r.rule.severity == 'High' }`，代表执行的规则中，如果有 severity 为 Normal 的规则校验结果是 Fail、或者 severity 为 High 的规则校验结果是 Error、或者 severity 为 High 的规则校验结果是 Warn，则满足条件。条件表达式中 severity 的枚举与 Spec 中 severity 的枚举一致、status 的枚举与 DataQualityResult 中的 status 一致。	results.any { r -> r.status == 'fail' && r.rule.severity == 'High' }
Type	string	Hook 类型。 BlockTaskInstance	BlockTaskInstance
Parameters	array<object>	实际运行时，使用的参数设置。
	object	参数设置。
Value	string	参数值。	$[yyyy-mm-dd-1]
Name	string	参数名。	dt
Results	array<object>	具体每条规则的校验结果。
	array<object>	规则的校验结果。
Status	string	校验结果状态。 Pass Running Error Warn Fail	Fail
Details	array<object>	本次校验的详情。
	object	本次校验的详情。
Status	string	最终的比较结果状态。 Pass Error Warn Fail	Fail
ReferenceValue	string	使用引用的样本，用来参与 CheckedValue 计算的基准值。	0.0
CheckValue	string	最终用来与阈值比较的值。	100.0
Sample	string	本次校验所使用的样本值。	{ "value": "100.0" }
CreateTime	integer	校验结果生成时间。	1725506795000
Rule	string	校验开始时，规则 Spec 快照。	{ "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" }

示例

正常返回示例

JSON格式

{
  "RequestId": "0bc14115****159376359",
  "DataQualityScanRun": {
    "Id": 1016440997,
    "CreateTime": 1706247622000,
    "FinishTime": 1706247622000,
    "Status": "Fail",
    "Scan": {
      "Id": 21077,
      "Name": "Hourly partition quality monitoring",
      "Description": "This is a hourly run data quality evaluation plan.",
      "ProjectId": 164024,
      "CreateTime": 1706247622000,
      "ModifyTime": 1706247622000,
      "CreateUser": "7892346529452",
      "ModifyUser": "7892346529452",
      "Owner": "7892346529452",
      "Spec": "{\n    \"datasets\": [\n        {\n            \"type\": \"Table\",\n            \"dataSource\": {\n                \"name\": \"odps_first\",\n                \"envType\": \"Prod\"\n            },\n            \"tables\": [\n                \"ods_d_user_info\"\n            ],\n            \"filter\": \"pt = $[yyyymmdd-1]\"\n        }\n    ],\n    \"rules\": [\n        {\n            \"assertion\": \"row_count > 0\"\n        }, {\n            \"templateId\": \"SYSTEM:field:null_value:fixed\",\n            \"pass\": \"when = 0\",\n            \"name\": \"The id cannot be empty.\",\n            \"severity\": \"High\",\n             \"identity\": \"a-customized-data-quality-rule-uuid\"\n        }\n    ]\n}",
      "Parameters": [
        {
          "Value": "$[yyyy-mm-dd-1]",
          "Name": "dt"
        }
      ],
      "ComputeResource": {
        "Name": "emr_cluster_001",
        "Runtime": {
          "Engine": "Hive",
          "SparkConf": {
            "test": "test",
            "test2": 1
          },
          "HiveConf": {
            "test": "test",
            "test2": 1
          }
        },
        "EnvType": "Dev"
      },
      "RuntimeResource": {
        "Id": "60597",
        "Cu": 1,
        "Image": "i-xxxx"
      },
      "Trigger": {
        "Type": "BySchedule",
        "TaskIds": [
          1014217266
        ]
      },
      "Hooks": [
        {
          "Condition": "results.any { r -> r.status == 'fail' && r.rule.severity == 'High' }",
          "Type": "BlockTaskInstance"
        }
      ]
    },
    "Parameters": [
      {
        "Value": "$[yyyy-mm-dd-1]",
        "Name": "dt"
      }
    ],
    "Results": [
      {
        "Status": "Fail",
        "Details": [
          {
            "Status": "Fail",
            "ReferenceValue": "0.0",
            "CheckValue": "100.0"
          }
        ],
        "Sample": "{\n  \"value\": \"100.0\"\n}\n",
        "CreateTime": 1725506795000,
        "Rule": "{\n    \"templateId\": \"SYSTEM:field:null_value:fixed\",\n    \"pass\": \"when = 0\",\n    \"name\": \"The id cannot be empty.\",\n    \"severity\": \"High\",\n    \"identity\": \"a-customized-data-quality-rule-uuid\"\n}"
      }
    ]
  }
}

错误码

访问错误中心查看更多错误码。

变更历史

更多信息，参考变更详情。