GetDataQualityScanRun - DataWorks: Central de Documentação do Alibaba Cloud

Consulta os detalhes de execução de uma tarefa de verificação de qualidade de dados pelo seu ID.

Descrição da operação

É necessário o DataWorks Basic Edition ou uma edição superior.

Experimente agora

Experimente esta API no OpenAPI Explorer, sem necessidade de assinatura manual. Chamadas bem-sucedidas geram automaticamente código SDK correspondente aos seus parâmetros. Faça o download com segurança de credenciais integrada para uso local.

Testar

Autorização RAM

A tabela abaixo descreve a autorização necessária para chamar esta API. Você pode defini-la em uma política do Resource Access Management (RAM). As colunas da tabela estão detalhadas abaixo:

Ação: As ações que podem ser usadas no elemento Action das instruções de política de permissão do RAM para conceder permissões para executar a operação.
API: A API que você pode chamar para executar a ação.
Nível de acesso: O nível de acesso predefinido concedido para cada API. Valores válidos: create, list, get, update e delete.
Tipo de recurso: O tipo de recurso que suporta autorização para executar a ação. Indica se a ação suporta permissão em nível de recurso. O recurso especificado deve ser compatível com a ação. Caso contrário, a política será ineficaz.
- Para APIs com permissões em nível de recurso, os tipos de recursos obrigatórios são marcados com um asterisco (*). Especifique o Nome de Recurso Alibaba Cloud (ARN) correspondente no elemento Resource da política.
- Para APIs sem permissões em nível de recurso, é exibido como Todos os Recursos. Use um asterisco (*) no elemento Resource da política.
Chave de condição: As chaves de condição definidas pelo serviço. A chave permite controle granular, aplicando-se somente a ações ou a ações associadas a recursos específicos. Além das chaves de condição específicas do serviço, o Alibaba Cloud fornece um conjunto de chaves de condição comuns aplicáveis a todos os serviços compatíveis com RAM.
Ação dependente: As ações dependentes necessárias para executar a ação. Para concluir a ação, o usuário RAM ou a função RAM deve ter permissões para executar todas as ações dependentes.

Ação

Nível de acesso

Tipo de recurso

Chave de condição

Ação dependente

dataworks:GetDataQualityScanRun

get

*All Resource

*

Nenhuma

Sintaxe da solicitação

POST  HTTP/1.1

Parâmetros da solicitação

Parâmetro	Tipo	Obrigatório	Descrição	Exemplo
Id	integer	Não	O ID do registro de execução do monitoramento de qualidade de dados.	1006059507

Elementos de resposta

Elemento	Tipo	Descrição	Exemplo
	object	A resposta.
RequestId	string	O ID da solicitação.	0bc14115****159376359
DataQualityScanRun	object	Registros de execução do monitoramento de qualidade de dados.
Id	integer	O ID do registro de execução.	1016440997
CreateTime	integer	A hora em que o monitor de qualidade de dados inicia a execução.	1706247622000
FinishTime	integer	A hora em que o monitor de qualidade de dados conclui a execução.	1706247622000
Status	string	O status de execução atual. Pass Running Error Warn Fail	Fail
Scan	object	O snapshot da configuração do monitor de qualidade de dados no início da validação.
Id	integer	O ID do monitor de qualidade de dados.	21077
Name	string	O nome da tarefa de validação de qualidade de dados. Pode conter dígitos, letras, caracteres chineses e marcas de pontuação de meia largura e largura total, com um comprimento máximo de 255 caracteres.	Hourly partition quality monitoring
Description	string	A descrição da tarefa de validação de qualidade de dados. Comprimento máximo: 65.535 caracteres.	This is a hourly run data quality evaluation plan.
ProjectId	integer	O ID do projeto.	164024
CreateTime	integer	A hora de criação do monitor de qualidade de dados.	1706247622000
ModifyTime	integer	A hora da última atualização do monitor de qualidade de dados.	1706247622000
CreateUser	string	O criador do monitor de qualidade de dados.	7892346529452
ModifyUser	string	O responsável pela última atualização do monitor de qualidade de dados.	7892346529452
Owner	string	O proprietário do monitor de qualidade de dados.	7892346529452
Spec	string	A especificação do monitor de qualidade de dados. Para mais informações, consulte Descrição da configuração da especificação de qualidade de dados.	{ "datasets": [ { "type": "Table", "dataSource": { "name": "odps_first", "envType": "Prod" }, "tables": [ "ods_d_user_info" ], "filter": "pt = $[yyyymmdd-1]" } ], "rules": [ { "assertion": "row_count > 0" }, { "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" } ] }
Parameters	array<object>	As configurações de parâmetro do monitor de qualidade de dados.
	object	As configurações de parâmetro do monitor de qualidade de dados.
Value	string	O valor do parâmetro.	$[yyyy-mm-dd-1]
Name	string	O nome do parâmetro.	dt
ComputeResource	object	As configurações de recurso de computação do monitor de qualidade de dados.
Name	string	O nome do recurso de computação, que corresponde ao atributo Name na estrutura de dados ComputeResource da API de recurso de computação.	emr_cluster_001
Runtime	object	As configurações adicionais de tempo de execução do monitor de qualidade de dados.
Engine	string	O tipo do mecanismo de computação. Apenas os mecanismos de computação EMR suportam essas configurações. Hive Spark Kyuubi	Hive
SparkConf	object	Parâmetros adicionais para o mecanismo Spark. Atualmente, apenas spark.yarn.queue é suportado para especificar a fila.	spark.yarn.queue=dq_queue
HiveConf	object	Parâmetros adicionais para o mecanismo Hive. Atualmente, apenas mapreduce.job.queuename é suportado para especificar a fila.	mapreduce.job.queuename=dq_queue
EnvType	string	O ambiente do workspace ao qual o mecanismo de computação pertence. Prod Dev	Dev
RuntimeResource	object	O grupo de recursos usado para executar o monitor de qualidade de dados.
Id	string	O ID do grupo de recursos.	60597
Cu	number	CUs reservadas para o grupo de recursos.	1
Image	string	O ID da imagem da configuração de execução.	i-xxxx
Trigger	object	As configurações de gatilho do monitor de qualidade de dados.
Type	string	O método de gatilho do monitor de qualidade de dados. ByManual BySchedule	BySchedule
TaskIds	array	Se o modo de gatilho estiver definido como BySchedule, o ID da tarefa de agendamento deve ser especificado.
	integer	O ID da tarefa de agendamento.	1014217266
Hooks	array<object>	As configurações de hook após a conclusão da execução do monitor de qualidade de dados.
	object	As configurações de hook após a conclusão da execução do monitor de qualidade de dados.
Condition	string	A condição de gatilho do hook. Atualmente, apenas um tipo de sintaxe de expressão é suportado: Especifique combinações de níveis de gravidade e status de validação para várias regras, como `results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' \|\| r.status == 'Error' && r.rule.severity == 'High' \|\| r.status == 'Warn' && r.rule.severity == 'High' }`. Isso significa que o hook é acionado se qualquer regra executada tiver Fail com gravidade Normal, Error com gravidade High ou Warn com gravidade High. Na expressão condicional, o valor de gravidade corresponde àquele no código Spec, e o valor de status corresponde àquele em DataQualityResult.	results.any { r -> r.status == 'fail' && r.rule.severity == 'High' }
Type	string	O tipo do hook. BlockTaskInstance	BlockTaskInstance
Parameters	array<object>	As configurações de parâmetro usadas durante a execução real.
	object	Configurações de parâmetro.
Value	string	O valor do parâmetro.	$[yyyy-mm-dd-1]
Name	string	O nome do parâmetro.	dt
Results	array<object>	Os resultados de validação de cada regra.
	array<object>	O resultado de validação da regra.
Status	string	O status do resultado de validação. Pass Running Error Warn Fail	Fail
Details	array<object>	As informações sobre a verificação de qualidade de dados.
	object	As informações sobre a verificação de qualidade de dados.
Status	string	O status do resultado final da comparação. Pass Error Warn Fail	Fail
ReferenceValue	string	A amostra de referência usada como linha de base para calcular o CheckedValue.	0.0
CheckValue	string	O valor final usado para comparação com o limite.	100.0
Sample	string	O valor de amostra usado na validação.	{ "value": "100.0" }
CreateTime	integer	A hora em que o resultado da validação é gerado.	1725506795000
Rule	string	O snapshot da especificação da regra no início da validação.	{ "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" }

Exemplos

Resposta de sucesso

JSON formato

{
  "RequestId": "0bc14115****159376359",
  "DataQualityScanRun": {
    "Id": 1016440997,
    "CreateTime": 1706247622000,
    "FinishTime": 1706247622000,
    "Status": "Fail",
    "Scan": {
      "Id": 21077,
      "Name": "Hourly partition quality monitoring",
      "Description": "This is a hourly run data quality evaluation plan.",
      "ProjectId": 164024,
      "CreateTime": 1706247622000,
      "ModifyTime": 1706247622000,
      "CreateUser": "7892346529452",
      "ModifyUser": "7892346529452",
      "Owner": "7892346529452",
      "Spec": "{\n    \"datasets\": [\n        {\n            \"type\": \"Table\",\n            \"dataSource\": {\n                \"name\": \"odps_first\",\n                \"envType\": \"Prod\"\n            },\n            \"tables\": [\n                \"ods_d_user_info\"\n            ],\n            \"filter\": \"pt = $[yyyymmdd-1]\"\n        }\n    ],\n    \"rules\": [\n        {\n            \"assertion\": \"row_count > 0\"\n        }, {\n            \"templateId\": \"SYSTEM:field:null_value:fixed\",\n            \"pass\": \"when = 0\",\n            \"name\": \"The id cannot be empty.\",\n            \"severity\": \"High\",\n             \"identity\": \"a-customized-data-quality-rule-uuid\"\n        }\n    ]\n}",
      "Parameters": [
        {
          "Value": "$[yyyy-mm-dd-1]",
          "Name": "dt"
        }
      ],
      "ComputeResource": {
        "Name": "emr_cluster_001",
        "Runtime": {
          "Engine": "Hive",
          "SparkConf": {
            "test": "test",
            "test2": 1
          },
          "HiveConf": {
            "test": "test",
            "test2": 1
          }
        },
        "EnvType": "Dev"
      },
      "RuntimeResource": {
        "Id": "60597",
        "Cu": 1,
        "Image": "i-xxxx"
      },
      "Trigger": {
        "Type": "BySchedule",
        "TaskIds": [
          1014217266
        ]
      },
      "Hooks": [
        {
          "Condition": "results.any { r -> r.status == 'fail' && r.rule.severity == 'High' }",
          "Type": "BlockTaskInstance"
        }
      ]
    },
    "Parameters": [
      {
        "Value": "$[yyyy-mm-dd-1]",
        "Name": "dt"
      }
    ],
    "Results": [
      {
        "Status": "Fail",
        "Details": [
          {
            "Status": "Fail",
            "ReferenceValue": "0.0",
            "CheckValue": "100.0"
          }
        ],
        "Sample": "{\n  \"value\": \"100.0\"\n}\n",
        "CreateTime": 1725506795000,
        "Rule": "{\n    \"templateId\": \"SYSTEM:field:null_value:fixed\",\n    \"pass\": \"when = 0\",\n    \"name\": \"The id cannot be empty.\",\n    \"severity\": \"High\",\n    \"identity\": \"a-customized-data-quality-rule-uuid\"\n}"
      }
    ]
  }
}

Códigos de erro

Consulte Códigos de Erro para uma lista completa.

Notas de versão

Consulte Notas de Versão para uma lista completa.