GetDataQualityScan - DataWorks: Central de Documentação do Alibaba Cloud

Obtém os detalhes do monitoramento de qualidade de dados.

Descrição da operação

É necessário o DataWorks Basic Edition ou uma edição superior.

Experimente agora

Experimente esta API no OpenAPI Explorer, sem necessidade de assinatura manual. Chamadas bem-sucedidas geram automaticamente código SDK correspondente aos seus parâmetros. Faça o download com segurança de credenciais integrada para uso local.

Testar

Autorização RAM

A tabela abaixo descreve a autorização necessária para chamar esta API. Você pode defini-la em uma política do Resource Access Management (RAM). As colunas da tabela estão detalhadas abaixo:

Ação: As ações que podem ser usadas no elemento Action das instruções de política de permissão do RAM para conceder permissões para executar a operação.
API: A API que você pode chamar para executar a ação.
Nível de acesso: O nível de acesso predefinido concedido para cada API. Valores válidos: create, list, get, update e delete.
Tipo de recurso: O tipo de recurso que suporta autorização para executar a ação. Indica se a ação suporta permissão em nível de recurso. O recurso especificado deve ser compatível com a ação. Caso contrário, a política será ineficaz.
- Para APIs com permissões em nível de recurso, os tipos de recursos obrigatórios são marcados com um asterisco (*). Especifique o Nome de Recurso Alibaba Cloud (ARN) correspondente no elemento Resource da política.
- Para APIs sem permissões em nível de recurso, é exibido como Todos os Recursos. Use um asterisco (*) no elemento Resource da política.
Chave de condição: As chaves de condição definidas pelo serviço. A chave permite controle granular, aplicando-se somente a ações ou a ações associadas a recursos específicos. Além das chaves de condição específicas do serviço, o Alibaba Cloud fornece um conjunto de chaves de condição comuns aplicáveis a todos os serviços compatíveis com RAM.
Ação dependente: As ações dependentes necessárias para executar a ação. Para concluir a ação, o usuário RAM ou a função RAM deve ter permissões para executar todas as ações dependentes.

Ação

Nível de acesso

Tipo de recurso

Chave de condição

Ação dependente

dataworks:GetDataQualityScan

get

*All Resource

*

Nenhuma

Sintaxe da solicitação

POST  HTTP/1.1

Parâmetros da solicitação

Parâmetro	Tipo	Obrigatório	Descrição	Exemplo
Id	integer	Não	O ID do monitor.	10001

Elementos de resposta

Elemento	Tipo	Descrição	Exemplo
	object	O esquema da resposta.
RequestId	string	O ID da solicitação.	204EAF68-CCE3-5112-8DA0-E7A60F02XXXX
DataQualityScan	object	Os detalhes do monitoramento de qualidade de dados.
Id	integer	O ID do monitoramento de qualidade de dados.	10001
Name	string	O nome do monitor de qualidade de dados.	data_quality_scan_001
Description	string	A descrição do monitor de qualidade de dados.	aily data quality scanning of ods tables.
ProjectId	integer	O ID do workspace no qual o monitor de qualidade de dados reside. Você pode obter o ID do workspace chamando a operação ListProjects.	101
CreateTime	integer	A hora de criação do monitor de qualidade de dados.	1731550150000
ModifyTime	integer	A hora da última modificação do monitor de qualidade de dados.	1731550150000
CreateUser	string	O ID do usuário que criou o monitor de qualidade de dados.	2374924198591250
ModifyUser	string	O ID do usuário que modificou o monitor de qualidade de dados pela última vez.	23482597582479
Owner	string	O ID do usuário proprietário do monitor de qualidade de dados.	231263586109857423
Spec	string	O código de especificação para o conteúdo do monitoramento de qualidade de dados. Para mais informações, consulte Descrição da configuração de especificação de qualidade de dados.	{ "datasets": [ { "type": "Table", "dataSource": { "name": "odps_first", "envType": "Prod" }, "tables": [ "ods_d_user_info" ], "filter": "pt = $[yyyymmdd-1]" } ], "rules": [ { "assertion": "row_count > 0" }, { "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" } ] }
Parameters	array<object>	A definição dos parâmetros de execução para o monitor de qualidade de dados.
	object	As informações do parâmetro.
Value	string	O nome do parâmetro.	10
Name	string	O valor do parâmetro.	e2e_autolabel
ComputeResource	object	O mecanismo de computação usado em tempo de execução. Opcional. Se não for especificado, a fonte de dados definida na especificação será usada.
Name	string	O nome do mecanismo de computação, que é um identificador exclusivo.	polardb_to_holo
Runtime	object	Configurações adicionais para o monitor de qualidade de dados em tempo de execução.
Engine	string	O tipo do mecanismo de computação. Apenas os mecanismos de computação EMR suportam essas configurações. Valores válidos: Hive: Hive SQL Spark: Spark SQL Kyuubi	Hive
HiveConf	object	Parâmetros adicionais do mecanismo Hive. Atualmente, apenas o parâmetro mapreduce.job.queuename é suportado.	mapreduce.job.queuename=dq_queue
SparkConf	object	Parâmetros adicionais do mecanismo Spark. Atualmente, apenas o parâmetro spark.yarn.queue é suportado.	spark.yarn.queue=dq_queue
EnvType	string	O ambiente do workspace ao qual o mecanismo de computação pertence. Valores válidos: Prod: ambiente de produção. Dev: ambiente de desenvolvimento.	Prod
RuntimeResource	object	O grupo de recursos usado durante a execução do monitor de qualidade de dados.
Id	string	O ID do grupo de recursos.	122878
Cu	number	As unidades de computação (CU) reservadas para o grupo de recursos.	10
Image	string	O ID da imagem usado na configuração de tempo de execução.	hp-tlp-e2e-repo-registry-vpc.cn-heyuan-acdr-1.cr.aliyuncs.com/hp-service/worker:9b28b6d-202506091008
Trigger	object	As configurações de gatilho da tarefa de monitoramento de qualidade de dados.
Type	string	O modo de gatilho da tarefa de monitoramento. Valores válidos: ByManual: Gatilho manual. Esta é a configuração padrão. BySchedule: Acionado por uma instância de tarefa agendada.	BySchedule
TaskIds	array	Se o modo de gatilho estiver definido como BySchedule, o ID da tarefa de agendamento deve ser especificado.
	integer	O ID da tarefa de agendamento.	1023777390
Hooks	array<object>	As configurações de hook após o término da execução do monitoramento de qualidade de dados.
	object	As configurações de hook após o término da execução do monitoramento de qualidade de dados.
Condition	string	A condição de gatilho do hook. O hook será executado se a condição for atendida. Atualmente, apenas um tipo de sintaxe de expressão é suportado: Você pode especificar várias combinações de níveis de gravidade de regra e status de validação usando uma expressão como results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' \|\| r.status == 'Error' && r.rule.severity == 'High' \|\| r.status == 'Warn' && r.rule.severity == 'High' }. Esta expressão significa que a condição é atendida se qualquer regra executada tiver um resultado de Fail com gravidade Normal, Error com gravidade High ou Warn com gravidade High. Na expressão de condição, os valores de severity e status são enums predefinidos. Os valores de severity devem corresponder àqueles definidos na especificação, e os valores de status devem corresponder àqueles em DataQualityResult.	results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' \|\| r.status == 'Error' && r.rule.severity == 'High' \|\| r.status == 'Warn' && r.rule.severity == 'High' }
Type	string	O tipo do hook. Valores válidos: BlockTaskInstance: BlockTaskInstance: bloqueia o agendamento da instância da tarefa.	BlockTaskInstance

Exemplos

Resposta de sucesso

JSON formato

{
  "RequestId": "204EAF68-CCE3-5112-8DA0-E7A60F02XXXX",
  "DataQualityScan": {
    "Id": 10001,
    "Name": "data_quality_scan_001",
    "Description": "aily data quality scanning of ods tables.",
    "ProjectId": 101,
    "CreateTime": 1731550150000,
    "ModifyTime": 1731550150000,
    "CreateUser": "2374924198591250",
    "ModifyUser": "23482597582479",
    "Owner": "231263586109857423",
    "Spec": "{\n    \"datasets\": [\n        {\n            \"type\": \"Table\",\n            \"dataSource\": {\n                \"name\": \"odps_first\",\n                \"envType\": \"Prod\"\n            },\n            \"tables\": [\n                \"ods_d_user_info\"\n            ],\n            \"filter\": \"pt = $[yyyymmdd-1]\"\n        }\n    ],\n    \"rules\": [\n        {\n            \"assertion\": \"row_count > 0\"\n        }, {\n            \"templateId\": \"SYSTEM:field:null_value:fixed\",\n            \"pass\": \"when = 0\",\n            \"name\": \"The id cannot be empty.\",\n            \"severity\": \"High\",\n             \"identity\": \"a-customized-data-quality-rule-uuid\"\n        }\n    ]\n}",
    "Parameters": [
      {
        "Value": "10",
        "Name": "e2e_autolabel"
      }
    ],
    "ComputeResource": {
      "Name": "polardb_to_holo",
      "Runtime": {
        "Engine": "Hive",
        "HiveConf": {
          "test": "test",
          "test2": 1
        },
        "SparkConf": {
          "test": "test",
          "test2": 1
        }
      },
      "EnvType": "Prod"
    },
    "RuntimeResource": {
      "Id": "122878",
      "Cu": 10,
      "Image": "hp-tlp-e2e-repo-registry-vpc.cn-heyuan-acdr-1.cr.aliyuncs.com/hp-service/worker:9b28b6d-202506091008"
    },
    "Trigger": {
      "Type": "BySchedule",
      "TaskIds": [
        1023777390
      ]
    },
    "Hooks": [
      {
        "Condition": "results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' }",
        "Type": "BlockTaskInstance"
      }
    ]
  }
}

Códigos de erro

Consulte Códigos de Erro para uma lista completa.

Notas de versão

Consulte Notas de Versão para uma lista completa.