ListDataQualityRules - DataWorks: Central de Documentação do Alibaba Cloud

Consulta regras de monitoramento de qualidade por paginação.

Nota

Esta API foi descontinuada. Recomendamos migrar para dataworks-public(2024-05-18) - ListDataQualityScans para funcionalidade aprimorada e suporte contínuo. Embora a API descontinuada permaneça temporariamente acessível, nenhuma atualização ou correção de bugs será fornecida.

Descrição da operação

Você deve adquirir o DataWorks Basic Edition ou uma edição superior para usar este recurso.

Experimente agora

Experimente esta API no OpenAPI Explorer, sem necessidade de assinatura manual. Chamadas bem-sucedidas geram automaticamente código SDK correspondente aos seus parâmetros. Faça o download com segurança de credenciais integrada para uso local.

Testar

Autorização RAM

A tabela abaixo descreve a autorização necessária para chamar esta API. Você pode defini-la em uma política do Resource Access Management (RAM). As colunas da tabela estão detalhadas abaixo:

Ação: As ações que podem ser usadas no elemento Action das instruções de política de permissão do RAM para conceder permissões para executar a operação.
API: A API que você pode chamar para executar a ação.
Nível de acesso: O nível de acesso predefinido concedido para cada API. Valores válidos: create, list, get, update e delete.
Tipo de recurso: O tipo de recurso que suporta autorização para executar a ação. Indica se a ação suporta permissão em nível de recurso. O recurso especificado deve ser compatível com a ação. Caso contrário, a política será ineficaz.
- Para APIs com permissões em nível de recurso, os tipos de recursos obrigatórios são marcados com um asterisco (*). Especifique o Nome de Recurso Alibaba Cloud (ARN) correspondente no elemento Resource da política.
- Para APIs sem permissões em nível de recurso, é exibido como Todos os Recursos. Use um asterisco (*) no elemento Resource da política.
Chave de condição: As chaves de condição definidas pelo serviço. A chave permite controle granular, aplicando-se somente a ações ou a ações associadas a recursos específicos. Além das chaves de condição específicas do serviço, o Alibaba Cloud fornece um conjunto de chaves de condição comuns aplicáveis a todos os serviços compatíveis com RAM.
Ação dependente: As ações dependentes necessárias para executar a ação. Para concluir a ação, o usuário RAM ou a função RAM deve ter permissões para executar todas as ações dependentes.

Ação

Nível de acesso

Tipo de recurso

Chave de condição

Ação dependente

dataworks:*

list

*All Resource

*

Nenhuma

Parâmetros da solicitação

Parâmetro	Tipo	Obrigatório	Descrição	Exemplo
ProjectId	integer	Sim	O ID do workspace do DataWorks.	10002
DataQualityEvaluationTaskId	integer	Não	O ID da tarefa de verificação de qualidade associada.	10000
TableGuid	string	Não	O identificador exclusivo da tabela à qual a regra se aplica no Mapa de Dados do DataWorks.	odps.unit_test.tb_unit_test
Name	string	Não	O nome da regra para correspondência aproximada.	unit_test
PageSize	integer	Não	O número de entradas por página. Valor padrão: 10. Valor máximo: 200.	10
PageNumber	integer	Sim	O número da página para paginação. Valor padrão: 1.	1

Elementos de resposta

Elemento	Tipo	Descrição	Exemplo
	object	Os parâmetros de resposta.
RequestId	string	O ID da solicitação.	691CA452-D37A-4ED0-9441
PagingInfo	object	O resultado da consulta paginada da lista de regras.
PageNumber	integer	O número da página.	1
PageSize	integer	O tamanho da página.	10
TotalCount	integer	O número total de entradas.	294
DataQualityRules	array<object>	A lista de regras.
	array<object>
Id	integer	O ID da regra.	22130
Name	string	O nome da regra.	The table cannot be empty.
ProjectId	integer	O ID do espaço de trabalho do DataWorks.	100001
Enabled	boolean	Indica se a regra de qualidade de dados está ativada.	true
Severity	string	O nível de severidade da regra para o negócio (correspondente a regras fortes/fracas na página). Valores enumerados válidos: Normal High.	High
Description	string	A descrição da regra. Comprimento máximo: 500 caracteres.	this is a odps _sql task
Target	object	O objeto monitorado pela regra.
Type	string	O tipo do objeto monitorado. Table.	Table
DatabaseType	string	Para conjuntos de dados do tipo tabela, o tipo de banco de dados ao qual a tabela pertence. maxcompute emr cdh hologres analyticdb_for_postgresql analyticdb_for_mysql starrocks.	maxcompute
TableGuid	string	O ID exclusivo da tabela à qual a regra se aplica no Data Map.	odps.unit_test.tb_unit_test
TemplateCode	string	O identificador exclusivo do modelo de regra referenciado pela regra.	SYSTEM:user_defined_sql
SamplingConfig	object	As configurações necessárias para a coleta de amostras.
Metric	string	O nome da métrica de amostragem. Count: número de linhas da tabela. Min: valor mínimo do campo. Max: valor máximo do campo. Avg: valor médio do campo. DistinctCount: número de valores distintos do campo. DistinctPercent: proporção do número de valores distintos do campo em relação ao número de linhas de dados. DuplicatedCount: número de valores duplicados do campo. DuplicatedPercent: proporção do número de valores duplicados do campo em relação ao número de linhas de dados. TableSize: tamanho da tabela. NullValueCount: número de linhas em que o valor do campo é nulo. NullValuePercent: porcentagem de linhas em que o valor do campo é nulo. GroupCount: cada valor e seu respectivo número de linhas de dados após a agregação pelo valor do campo. CountNotIn: número de linhas cujos valores enumerados não correspondem. CountDistinctNotIn: número de valores distintos cujos valores enumerados não correspondem. UserDefinedSql: coleta de amostras por meio de SQL personalizado.	Max
MetricParameters	string	Os parâmetros necessários durante a coleta de amostras.	{ "Columns": [ "id", "name" ] , "SQL": "select count(1) from table;"}
SettingConfig	string	As instruções de configuração de parâmetros de tempo de execução inseridas e executadas antes que a instrução de amostragem seja realmente executada. Comprimento máximo: 1.000 caracteres. Atualmente, apenas o MaxCompute é suportado.	SET odps.sql.udf.timeout=600s; SET odps.sql.python.version=cp27;
SamplingFilter	string	A condição para a filtragem secundária de dados que não são relevantes durante a amostragem. Comprimento máximo: 16.777.215 caracteres.	id IS NULL
CheckingConfig	object	As configurações de validação de amostras.
Type	string	O método de cálculo de limite. Fixed Fluctation FluctationDiscreate Auto Average Variance.	Fixed
ReferencedSamplesFilter	string	Alguns tipos de limites exigem a consulta de algumas amostras de referência e, em seguida, a agregação dos valores das amostras de referência para obter o limite para comparação. Uma expressão é usada aqui para representar o método de consulta para as amostras de referência.	{ "bizdate": [ "-1", "-7", "-1m" ] }
Thresholds	object	As configurações de limite.
Expected	object	As configurações de limite esperado.
Operator	string	O operador de comparação. > >= < <= != =.	>
Value	string	O valor do limite.	100.0
Expression	string	A expressão do limite. As regras do tipo taxa de flutuação devem usar o método de expressão para indicar o limite de flutuação. Exemplos: Aumento de flutuação maior que 0,01: $checkValue > 0.01 Diminuição de flutuação maior que 0,01: $checkValue < -0.01 Valor absoluto da taxa de flutuação: abs($checkValue) > 0.01 As regras do tipo valor fixo também podem configurar limites usando expressões. Se ambos forem configurados, a expressão terá precedência sobre Operator e Value.	$checkValue > 0.01
Warned	object	As configurações de limite para alertas normais.
Operator	string	O operador de comparação. > >= < <= != =.	>
Value	string	O valor do limite.	100.0
Expression	string	A expressão do limite. As regras do tipo taxa de flutuação devem usar o método de expressão para indicar o limite de flutuação. Exemplos: Aumento de flutuação maior que 0,01: $checkValue > 0.01 Diminuição de flutuação maior que 0,01: $checkValue < -0.01 Valor absoluto da taxa de flutuação: abs($checkValue) > 0.01 As regras do tipo valor fixo também podem configurar limites usando expressões. Se ambos forem configurados, a expressão terá precedência sobre Operator e Value.	$checkValue > 0.01
Critical	object	As configurações de limite para alertas críticos.
Operator	string	O operador de comparação. > >= < <= != =.	>
Value	string	O valor do limite.	100.0
Expression	string	A expressão do limite. As regras do tipo taxa de flutuação devem usar o método de expressão para indicar o limite de flutuação. Exemplos: Aumento de flutuação maior que 0,01: $checkValue > 0.01 Diminuição de flutuação maior que 0,01: $checkValue < -0.01 Valor absoluto da taxa de flutuação: abs($checkValue) > 0.01 As regras do tipo valor fixo também podem configurar limites usando expressões. Se ambos forem configurados, a expressão terá precedência sobre Operator e Value.	$checkValue > 0.01
ErrorHandlers	array<object>	A lista de manipuladores de problemas para validação de regras de qualidade de dados.
	object	O manipulador de problemas para validação de regras de qualidade de dados.
Type	string	O tipo de manipulador: SaveErrorData.	SaveErrorData
ErrorDataFilter	string	Para regras SQL personalizadas, o usuário precisa especificar o SQL para filtrar dados com problemas.	SELECT * FROM tb_api_log WHERE id IS NULL

Exemplos

Resposta de sucesso

JSON formato

{
  "RequestId": "691CA452-D37A-4ED0-9441",
  "PagingInfo": {
    "PageNumber": 1,
    "PageSize": 10,
    "TotalCount": 294,
    "DataQualityRules": [
      {
        "Id": 22130,
        "Name": "The table cannot be empty.",
        "ProjectId": 100001,
        "Enabled": true,
        "Severity": "High",
        "Description": "this is a odps _sql task",
        "Target": {
          "Type": "Table",
          "DatabaseType": "maxcompute",
          "TableGuid": "odps.unit_test.tb_unit_test"
        },
        "TemplateCode": "SYSTEM:user_defined_sql",
        "SamplingConfig": {
          "Metric": "Max",
          "MetricParameters": "{ \"Columns\": [ \"id\", \"name\" ] , \"SQL\": \"select count(1) from table;\"}",
          "SettingConfig": "SET odps.sql.udf.timeout=600s; \nSET odps.sql.python.version=cp27;",
          "SamplingFilter": "id IS NULL"
        },
        "CheckingConfig": {
          "Type": "Fixed",
          "ReferencedSamplesFilter": "{ \"bizdate\": [ \"-1\", \"-7\", \"-1m\" ] }",
          "Thresholds": {
            "Expected": {
              "Operator": ">",
              "Value": "100.0",
              "Expression": "$checkValue > 0.01"
            },
            "Warned": {
              "Operator": ">",
              "Value": "100.0",
              "Expression": "$checkValue > 0.01"
            },
            "Critical": {
              "Operator": ">",
              "Value": "100.0",
              "Expression": "$checkValue > 0.01"
            }
          }
        },
        "ErrorHandlers": [
          {
            "Type": "SaveErrorData\n",
            "ErrorDataFilter": "SELECT * FROM tb_api_log WHERE id IS NULL"
          }
        ]
      }
    ]
  }
}

Códigos de erro

Consulte Códigos de Erro para uma lista completa.

Notas de versão

Consulte Notas de Versão para uma lista completa.