ListDataQualityResults - DataWorks: Central de Documentação do Alibaba Cloud

Consulta uma lista de resultados de qualidade de dados usando paginação.

Nota

Esta API foi descontinuada. Recomendamos migrar para dataworks-public(2024-05-18) - ListDataQualityScanRuns para funcionalidade aprimorada e suporte contínuo. Embora a API descontinuada permaneça temporariamente acessível, nenhuma atualização ou correção de bugs será fornecida.

Descrição da operação

É necessário adquirir a edição Basic ou superior do DataWorks para usar este recurso.

Experimente agora

Experimente esta API no OpenAPI Explorer, sem necessidade de assinatura manual. Chamadas bem-sucedidas geram automaticamente código SDK correspondente aos seus parâmetros. Faça o download com segurança de credenciais integrada para uso local.

Testar

Autorização RAM

A tabela abaixo descreve a autorização necessária para chamar esta API. Você pode defini-la em uma política do Resource Access Management (RAM). As colunas da tabela estão detalhadas abaixo:

Ação: As ações que podem ser usadas no elemento Action das instruções de política de permissão do RAM para conceder permissões para executar a operação.
API: A API que você pode chamar para executar a ação.
Nível de acesso: O nível de acesso predefinido concedido para cada API. Valores válidos: create, list, get, update e delete.
Tipo de recurso: O tipo de recurso que suporta autorização para executar a ação. Indica se a ação suporta permissão em nível de recurso. O recurso especificado deve ser compatível com a ação. Caso contrário, a política será ineficaz.
- Para APIs com permissões em nível de recurso, os tipos de recursos obrigatórios são marcados com um asterisco (*). Especifique o Nome de Recurso Alibaba Cloud (ARN) correspondente no elemento Resource da política.
- Para APIs sem permissões em nível de recurso, é exibido como Todos os Recursos. Use um asterisco (*) no elemento Resource da política.
Chave de condição: As chaves de condição definidas pelo serviço. A chave permite controle granular, aplicando-se somente a ações ou a ações associadas a recursos específicos. Além das chaves de condição específicas do serviço, o Alibaba Cloud fornece um conjunto de chaves de condição comuns aplicáveis a todos os serviços compatíveis com RAM.
Ação dependente: As ações dependentes necessárias para executar a ação. Para concluir a ação, o usuário RAM ou a função RAM deve ter permissões para executar todas as ações dependentes.

Ação

Nível de acesso

Tipo de recurso

Chave de condição

Ação dependente

dataworks:*

list

*All Resource

*

Nenhuma

Parâmetros da solicitação

Parâmetro	Tipo	Obrigatório	Descrição	Exemplo
ProjectId	integer	Sim	O ID do espaço de trabalho do DataWorks.	100
DataQualityRuleId	integer	Não	O ID da regra de qualidade de dados.	100001
DataQualityEvaluationTaskId	integer	Não	O ID da tarefa de avaliação de qualidade de dados.	200001
DataQualityEvaluationTaskInstanceId	integer	Não	O ID da instância da tarefa de avaliação de qualidade de dados.	10001
CreateTimeFrom	integer	Não	O horário mais antigo em que o resultado da avaliação de qualidade de dados foi gerado.	1710239005403
CreateTimeTo	integer	Não	O horário mais recente em que o resultado da avaliação de qualidade de dados foi gerado.	1710239005403
BizdateFrom	string	Não	A data de negócio de início da instância da regra.	2024-05-01
BizdateTo	string	Não	A data de negócio de término da instância da regra.	2024-05-04
PageSize	integer	Sim	O tamanho da página para a consulta paginada. Valor padrão: 10.	10
PageNumber	integer	Sim	O número da página para a consulta paginada. Valor padrão: 1.	1

Elementos de resposta

Elemento	Tipo	Descrição	Exemplo
	object	Valor de retorno.
RequestId	string	O ID da solicitação da API.	691CA452-D37A-****
PagingInfo	object	O resultado da consulta paginada dos resultados de verificação de qualidade de dados.
PageNumber	integer	O número da página.	1
PageSize	integer	O tamanho da página.	10
TotalCount	integer	O número total de entradas.	219
DataQualityResults	array<object>	A lista de resultados de verificação de qualidade.
	array<object>	O resultado da verificação de qualidade.
Id	integer	校验结果 ID。	16033
Status	string	校验结果状态： Running Error Passed Warned Critical	Passed
CreateTime	integer	校验结果生成时间。	1708284916414
TaskInstanceId	integer	校验任务实例 ID。	200001
Sample	string	本次校验所使用的样本值。	[ { "gender": "male", "_count": 100 }, { "gender": "female", "_count": 100 } ]
Details	array<object>	本次校验的详情。
	object	校验详情。
ReferencedValue	string	使用引用的样本，用来参与 CheckedValue 计算的基准值。	0.0
CheckedValue	string	最终用来与阈值比较的值。	100.0
Status	string	最终的比较结果状态： Error Passed Warned Critical	Passed
Rule	object	校验开始时，规则配置快照。
Id	integer	规则 ID。	100001
Name	string	规则名称，数字、英文字母、汉字、半角全角标点符号组合，最长 255 个字符。	The table cannot be empty.
ProjectId	integer	DataWorks 项目空间 ID。	100
Enabled	boolean	规则是否启用。	true
Severity	string	规则对于业务的等级（对应页面上的强弱规则）： High Normal	Normal
Description	string	规则描述信息，最长 500 个字符。	this is a odps _sql task
TemplateCode	string	创建规则时所引用的规则模板 Code。	SYSTEM:user_defined_sql
Target	object	规则所监控的对象。
Type	string	监控对象类型： Table	Table
DatabaseType	string	表类型的数据集，表所属的数据库类型： maxcompute emr cdh hologres analyticdb_for_postgresql analyticdb_for_mysql starrocks	maxcompute
TableGuid	string	表在数据地图中的唯一 ID。	odps.unit_test.tb_unit_test
SamplingConfig	object	样本采集所需的设置。
Metric	string	采样的指标名称： Count：表行数 Min：字段最小值 Max：字段最大值 Avg：字段均值 DistinctCount：字段唯一值个数 DistinctPercent：字段唯一值个数与数据行数占比 DuplicatedCount：字段重复值个数 DuplicatedPercent：字段重复值个数与数据行数占比 TableSize：表大小 NullValueCount：字段为空的行数 NullValuePercent：字段为空的比例 GroupCount：按字段值聚合后每个值与对应的数据行数 CountNotIn：枚举值不匹配行数 CountDistinctNotIn：枚举值不匹配唯一值个数 UserDefinedSql：通过自定义 SQL 做样本采集	Count
MetricParameters	string	样本采集时，所需的参数。	{ "columns": [ "id", "name" ] }
SettingConfig	string	具体执行采样语句前，插入执行的一些运行时参数设置语句，最长 1000 个字符。目前只支持 MaxCompute。	SET odps.sql.udf.timeout=600s;
SamplingFilter	string	采样时，对不关注的数据进行二次过滤的条件，最多 16777215 个字符。	id IS NULL
CheckingConfig	object	样本校验设置。
Type	string	阈值计算方式： Fixed Fluctation FluctationDiscreate Auto Average Variance	Fixed
ReferencedSamplesFilter	string	有些类型的阈值需要查询出一些参考样本，然后对参考样本的值进行汇总得出进行比较的阈值，这里使用一个表达式来表示参考样本的查询方式。	{ "bizdate": [ "-1", "-7", "-1m" ] }
Thresholds	object	阈值设置。
Expected	object	期望的阈值设置。
Value	string	阈值数值。	100.0
Operator	string	比较符： > >= < <= != =	>
Expression	string	阈值表达式。波动率类型规则必须使用表达式方式表示波动阈值。如：波动上升大于 0.01： $checkValue > 0.01 波动下降大于 0.01：$checkValue < -0.01 波动率绝对值：abs($checkValue) > 0.01 固定值类型规则也可以使用表达式方式配置阈值，如果同时配置，表达式优先级高于 Operator 和 Value。	$checkValue > 0.01
Warned	object	普通警告的阈值设置。
Value	string	阈值数值。	100.0
Operator	string	比较符： > >= < <= != =	>
Expression	string	阈值表达式。波动率类型规则必须使用表达式方式表示波动阈值。如：波动上升大于 0.01： $checkValue > 0.01 波动下降大于 0.01：$checkValue < -0.01 波动率绝对值：abs($checkValue) > 0.01 固定值类型规则也可以使用表达式方式配置阈值，如果同时配置，表达式优先级高于 Operator 和 Value。	$checkValue > 0.01
Critical	object	严重警告的阈值设置。
Value	string	阈值数值。	100.0
Operator	string	比较符： > >= < <= != =	>
Expression	string	阈值表达式。波动率类型规则必须使用表达式方式表示波动阈值。如：波动上升大于 0.01： $checkValue > 0.01 波动下降大于 0.01：$checkValue < -0.01 波动率绝对值：abs($checkValue) > 0.01 固定值类型规则也可以使用表达式方式配置阈值，如果同时配置，表达式优先级高于 Operator 和 Value。	$checkValue > 0.01
ErrorHandlers	array<object>	质量规则校验问题处理器。
	object	质量规则校验问题处理器。
Type	string	处理器类型。 SaveErrorData	SaveErrorData
ErrorDataFilter	string	如果是自定义 SQL 规则，需要用户指定 SQL 来过滤问题数据。	SELECT * FROM tb_api_log WHERE id IS NULL

Exemplos

Resposta de sucesso

JSON formato

{
  "RequestId": "691CA452-D37A-****",
  "PagingInfo": {
    "PageNumber": 1,
    "PageSize": 10,
    "TotalCount": 219,
    "DataQualityResults": [
      {
        "Id": 16033,
        "Status": "Passed",
        "CreateTime": 1708284916414,
        "TaskInstanceId": 200001,
        "Sample": "[\n  {\n    \"gender\": \"male\",\n    \"_count\": 100\n  }, {\n    \"gender\": \"female\",\n    \"_count\": 100\n  }\n]",
        "Details": [
          {
            "ReferencedValue": "0.0",
            "CheckedValue": "100.0",
            "Status": "Passed"
          }
        ],
        "Rule": {
          "Id": 100001,
          "Name": "The table cannot be empty.",
          "ProjectId": 100,
          "Enabled": true,
          "Severity": "Normal",
          "Description": "this is a odps _sql task",
          "TemplateCode": "SYSTEM:user_defined_sql",
          "Target": {
            "Type": "Table",
            "DatabaseType": "maxcompute",
            "TableGuid": "odps.unit_test.tb_unit_test"
          },
          "SamplingConfig": {
            "Metric": "Count",
            "MetricParameters": "{ \"columns\": [ \"id\", \"name\" ] }",
            "SettingConfig": "SET odps.sql.udf.timeout=600s; ",
            "SamplingFilter": "id IS NULL"
          },
          "CheckingConfig": {
            "Type": "Fixed",
            "ReferencedSamplesFilter": "{ \"bizdate\": [ \"-1\", \"-7\", \"-1m\" ] }",
            "Thresholds": {
              "Expected": {
                "Value": "100.0",
                "Operator": ">",
                "Expression": "$checkValue > 0.01"
              },
              "Warned": {
                "Value": "100.0",
                "Operator": ">",
                "Expression": " $checkValue > 0.01"
              },
              "Critical": {
                "Value": "100.0",
                "Operator": ">",
                "Expression": " $checkValue > 0.01"
              }
            }
          },
          "ErrorHandlers": [
            {
              "Type": "SaveErrorData\n",
              "ErrorDataFilter": "SELECT * FROM tb_api_log WHERE id IS NULL"
            }
          ]
        }
      }
    ]
  }
}

Códigos de erro

Consulte Códigos de Erro para uma lista completa.

Notas de versão

Consulte Notas de Versão para uma lista completa.