全部产品
Search
文档中心

大数据开发治理平台 DataWorks:ListQualityResultsByEntity

更新时间:Feb 28, 2024

调用ListQualityResultsByEntity,根据分区表达式查询历史校验结果。

调试

您可以在OpenAPI Explorer中直接运行该接口,免去您计算签名的困扰。运行成功后,OpenAPI Explorer可以自动生成SDK代码示例。

请求参数

名称

类型

是否必选

示例值

描述

Action String ListQualityResultsByEntity

系统规定参数。取值:ListQualityResultsByEntity

EntityId Long 152322134

分区表达式ID。您可以调用GetQualityEntity获取分区表达式ID。

StartDate String 2020-09-20 00:00:00

业务日期起始时间,格式为yyyy-MM-dd HH:mm:ss。

EndDate String 2020-09-21 00:00:00

业务日期截止时间,格式为yyyy-MM-dd HH:mm:ss。

PageSize Integer 10

每页显示的条数,默认为10条,最大20条。

PageNumber Integer 1

页码数。

ProjectName String autotest

引擎或者数据源的名称。您可以从数据源配置中获取名称。

ProjectId Long 12345

DataWorks项目空间ID。

返回数据

名称

类型

示例值

描述

HttpStatusCode Integer 200

HTTP状态码。

ErrorMessage String You have no permission.

错误信息。

RequestId String CBA58543-00D4-41****

请求ID。

Success Boolean true

请求是否成功。

ErrorCode String 401

错误码。

Data Object

校验结果的顶层结构体。

PageNumber Integer 1

页码数。

PageSize Integer 10

每页显示的条数,默认为10条,最大100条。

TotalCount Long 50

数据的总记录数。

RuleChecks Array of RuleChecks

校验结果的列表。

BlockType Integer 0

校验规则的强弱。强弱表示规则的重要程度。取值如下:

  • 1,表示强规则。
  • 0,表示弱规则。

    您可以根据实际需求设置重要的规则为强规则。如果使用强规则并触发了红色告警,则会阻塞调度任务。

WarningThreshold Float 0.1

橙色阈值。表示与样本预期的偏离程度,您可以根据业务需求自定义该阈值。

Property String type

规则属性的字段,即被校验数据源表的column名称。

TableName String dual

进行校验的表名称。

Comment String 规则的描述信息。

校验规则的描述。

CheckResultStatus Integer 0

校验结果状态参数与产品界面中的状态信息一致,取值有以下几种:

  • 0:正常
  • 1:橙色告警
  • 2:红色告警
TemplateName String 字段唯一值个数期望值校验

使用的校验模板的名称。

CheckerName String fulx

校验器的名称。

RuleId Long 123123232

规则ID。

FixedCheck Boolean false

是否为固定值校验。取值如下:

  • true:是固定值校验。
  • false:非固定值校验。
Op String >

比较符。

UpperValue Float 25555

预测上限。设置阈值后自动生成。

ActualExpression String ds=20200912

被校验的数据源表的实际分区。

ExternalId String 1112323123

调度任务的节点ID。

TimeCost String 202

执行校验任务花费的时间,单位为秒。

Trend String abs

校验结果的趋势。

ExternalType String CWF2

调度系统的类型。目前仅支持CWF。

BizDate Long 1600704000000

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

CheckResult Integer 0

校验结果参数的结果通常与CheckResultStatus一致,取值有以下几种:

  • 0:正常
  • 1:橙色告警
  • 2:红色告警
ResultString String test

校验结果的字符串形式。

MatchExpression String ds=$[yyyymmdd]

分区表达式。

CheckerType Integer 1

校验类型。取值如下:

  • 0,固定值
  • 1,波动校验
  • 2,动态阈值
ProjectName String autotest

需要进行数据质量校验的引擎或者数据源名称。

BeginTime Long 1600704000000

执行校验操作的开始时间。

DateType String YMD

调度周期的类型。通常为YMD,即年任务、月任务、天任务。

CriticalThreshold Float 0.5

红色阈值。表示与样本预期的偏离程度。您可以根据业务需求自定义该阈值。使用强规则并触发红色阈值,会阻塞调度任务。

IsPrediction Boolean true

是否为预测的结果。取值如下:

  • true:是预测的结果。
  • false:不是预测的结果。
RuleName String 规则的名称。

规则的名称。

CheckerId Integer 7

校验器的ID。

DiscreteCheck Boolean true

是否为离散校验。取值如下:

  • true:是离散校验。
  • false:非离散校验。
EndTime Long 1600704000000

查询校验结果的截止时间。

MethodName String count_distinct

采集样本数据的方法。包括avg、count、sum、min、max、count_distinct、user_defined、table_count、table_size、table_dt_load_count、table_dt_refuseload_count、null_value、null_value/table_count、(table_count-count_distinct)/table_count、table_count-count_distinct等。

LowerValue Float 2344

预测结果的下限。根据您设置的阈值自动生成。

EntityId Long 15432322

分区表达式ID。

WhereCondition String id>0

校验任务使用的规则过滤条件。

ExpectValue Float 200

期望值。

TemplateId Integer 5

使用的校验模板的ID。

TaskId String 16008552981681a0d6****

校验任务的ID。

Id Long 121212121

主键ID。

ReferenceValue Array of ReferenceValue

历史样本值。

DiscreteProperty String 0

通过group by分组后的样本字段取值。例如group by性别字段,则DiscreteProperty为男生、女生和null。

Value Float 19

校验值。

BizDate String 2020-12-03

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

SingleCheckResult Integer 0

校验结果。

Threshold Float 0.5

阈值。

SampleValue Array of SampleValue

当前使用的样本。

DiscreteProperty String 0

通过group by分组后的样本字段取值。例如group by性别字段,则DiscreteProperty为男生、女生和null。

BizDate String 2020-12-03

业务日期。如果被校验的业务主体为离线数据,则业务日期通常为执行校验操作的前一天。

Value Float 19

当前样本值。

示例

请求示例

http(s)://[Endpoint]/?Action=ListQualityResultsByEntity
&EntityId=152322134
&StartDate=2020-09-20 00:00:00
&EndDate=2020-09-21 00:00:00
&PageSize=10
&PageNumber=1
&ProjectName=autotest
&ProjectId=12345
&公共请求参数

正常返回示例

XML格式

HTTP/1.1 200 OK
Content-Type:application/xml

<ListQualityResultsByEntityResponse>
    <HttpStatusCode>200</HttpStatusCode>
    <ErrorMessage>You have no permission.</ErrorMessage>
    <RequestId>CBA58543-00D4-41****</RequestId>
    <Success>true</Success>
    <ErrorCode>401</ErrorCode>
    <Data>
        <PageNumber>1</PageNumber>
        <PageSize>10</PageSize>
        <TotalCount>50</TotalCount>
        <RuleChecks>
            <BlockType>0</BlockType>
            <WarningThreshold>0.1</WarningThreshold>
            <Property>type</Property>
            <TableName>dual</TableName>
            <Comment>规则的描述信息。</Comment>
            <CheckResultStatus>0</CheckResultStatus>
            <TemplateName>字段唯一值个数期望值校验</TemplateName>
            <CheckerName>fulx</CheckerName>
            <RuleId>123123232</RuleId>
            <FixedCheck>false</FixedCheck>
            <Op>&gt;</Op>
            <UpperValue>25555</UpperValue>
            <ActualExpression>ds=20200912</ActualExpression>
            <ExternalId>1112323123</ExternalId>
            <TimeCost>202</TimeCost>
            <Trend>abs</Trend>
            <ExternalType>CWF2</ExternalType>
            <BizDate>1600704000000</BizDate>
            <CheckResult>0</CheckResult>
            <ResultString>test</ResultString>
            <MatchExpression>ds=$[yyyymmdd]</MatchExpression>
            <CheckerType>1</CheckerType>
            <ProjectName>autotest</ProjectName>
            <BeginTime>1600704000000</BeginTime>
            <DateType>YMD</DateType>
            <CriticalThreshold>0.5</CriticalThreshold>
            <IsPrediction>true</IsPrediction>
            <RuleName>规则的名称。</RuleName>
            <CheckerId>7</CheckerId>
            <DiscreteCheck>true</DiscreteCheck>
            <EndTime>1600704000000</EndTime>
            <MethodName>count_distinct</MethodName>
            <LowerValue>2344</LowerValue>
            <EntityId>15432322</EntityId>
            <WhereCondition>id&gt;0</WhereCondition>
            <ExpectValue>200</ExpectValue>
            <TemplateId>5</TemplateId>
            <TaskId>16008552981681a0d6****</TaskId>
            <Id>121212121</Id>
            <ReferenceValue>
                <DiscreteProperty>0</DiscreteProperty>
                <Value>19</Value>
                <BizDate>2020-12-03</BizDate>
                <SingleCheckResult>0</SingleCheckResult>
                <Threshold>0.5</Threshold>
            </ReferenceValue>
            <SampleValue>
                <DiscreteProperty>0</DiscreteProperty>
                <BizDate>2020-12-03</BizDate>
                <Value>19</Value>
            </SampleValue>
        </RuleChecks>
    </Data>
</ListQualityResultsByEntityResponse>

JSON格式

HTTP/1.1 200 OK
Content-Type:application/json

{
  "HttpStatusCode" : 200,
  "ErrorMessage" : "You have no permission.",
  "RequestId" : "CBA58543-00D4-41****",
  "Success" : true,
  "ErrorCode" : 401,
  "Data" : {
    "PageNumber" : 1,
    "PageSize" : 10,
    "TotalCount" : 50,
    "RuleChecks" : {
      "BlockType" : 0,
      "WarningThreshold" : 0.1,
      "Property" : "type",
      "TableName" : "dual",
      "Comment" : "规则的描述信息。",
      "CheckResultStatus" : 0,
      "TemplateName" : "字段唯一值个数期望值校验",
      "CheckerName" : "fulx",
      "RuleId" : 123123232,
      "FixedCheck" : false,
      "Op" : "&gt;",
      "UpperValue" : 25555,
      "ActualExpression" : "ds=20200912",
      "ExternalId" : 1112323123,
      "TimeCost" : 202,
      "Trend" : "abs",
      "ExternalType" : "CWF2",
      "BizDate" : 1600704000000,
      "CheckResult" : 0,
      "ResultString" : "test",
      "MatchExpression" : "ds=$[yyyymmdd]",
      "CheckerType" : 1,
      "ProjectName" : "autotest",
      "BeginTime" : 1600704000000,
      "DateType" : "YMD",
      "CriticalThreshold" : 0.5,
      "IsPrediction" : true,
      "RuleName" : "规则的名称。",
      "CheckerId" : 7,
      "DiscreteCheck" : true,
      "EndTime" : 1600704000000,
      "MethodName" : "count_distinct",
      "LowerValue" : 2344,
      "EntityId" : 15432322,
      "WhereCondition" : "id&gt;0",
      "ExpectValue" : 200,
      "TemplateId" : 5,
      "TaskId" : "16008552981681a0d6****",
      "Id" : 121212121,
      "ReferenceValue" : {
        "DiscreteProperty" : 0,
        "Value" : 19,
        "BizDate" : "2020-12-03",
        "SingleCheckResult" : 0,
        "Threshold" : 0.5
      },
      "SampleValue" : {
        "DiscreteProperty" : 0,
        "BizDate" : "2020-12-03",
        "Value" : 19
      }
    }
  }
}

错误码

访问错误中心查看更多错误码。