ListDataQualityScans - DataWorks: Central de Documentação do Alibaba Cloud

Consulta a lista de tarefas de verificação de qualidade de dados em um projeto.

Descrição da operação

É necessário o DataWorks Basic Edition ou uma edição superior.

Experimente agora

Experimente esta API no OpenAPI Explorer, sem necessidade de assinatura manual. Chamadas bem-sucedidas geram automaticamente código SDK correspondente aos seus parâmetros. Faça o download com segurança de credenciais integrada para uso local.

Testar

Autorização RAM

A tabela abaixo descreve a autorização necessária para chamar esta API. Você pode defini-la em uma política do Resource Access Management (RAM). As colunas da tabela estão detalhadas abaixo:

Ação: As ações que podem ser usadas no elemento Action das instruções de política de permissão do RAM para conceder permissões para executar a operação.
API: A API que você pode chamar para executar a ação.
Nível de acesso: O nível de acesso predefinido concedido para cada API. Valores válidos: create, list, get, update e delete.
Tipo de recurso: O tipo de recurso que suporta autorização para executar a ação. Indica se a ação suporta permissão em nível de recurso. O recurso especificado deve ser compatível com a ação. Caso contrário, a política será ineficaz.
- Para APIs com permissões em nível de recurso, os tipos de recursos obrigatórios são marcados com um asterisco (*). Especifique o Nome de Recurso Alibaba Cloud (ARN) correspondente no elemento Resource da política.
- Para APIs sem permissões em nível de recurso, é exibido como Todos os Recursos. Use um asterisco (*) no elemento Resource da política.
Chave de condição: As chaves de condição definidas pelo serviço. A chave permite controle granular, aplicando-se somente a ações ou a ações associadas a recursos específicos. Além das chaves de condição específicas do serviço, o Alibaba Cloud fornece um conjunto de chaves de condição comuns aplicáveis a todos os serviços compatíveis com RAM.
Ação dependente: As ações dependentes necessárias para executar a ação. Para concluir a ação, o usuário RAM ou a função RAM deve ter permissões para executar todas as ações dependentes.

Ação

Nível de acesso

Tipo de recurso

Chave de condição

Ação dependente

dataworks:ListDataQualityScans

list

*All Resource

*

Nenhuma

Sintaxe da solicitação

GET  HTTP/1.1

Parâmetros da solicitação

Parâmetro	Tipo	Obrigatório	Descrição	Exemplo
Name	string	Não	O nome da tarefa de verificação de qualidade de dados para correspondência aproximada.	test
SortBy	string	Não	A lista de campos de ordenação. Suporta campos como hora da última modificação e hora de criação. Formato: "SortField+SortOrder (Desc/Asc)", onde Asc é o padrão. Valores válidos:\n\n- ModifyTime (Desc/Asc)\n\n- CreateTime (Desc/Asc)\n\n- Id (Desc/Asc)	ModifyTime Desc
PageSize	integer	Sim	O número de entradas por página. Valor padrão: 10.	10
PageNumber	integer	Sim	O número da página. Valor padrão: 1.	1
ProjectId	integer	Sim	O ID do projeto.	10000
Table	string	Não	Correspondência aproximada para o nome da tabela monitorada.	video_album

Elementos de resposta

Elemento	Tipo	Descrição	Exemplo
	object	Esquema da resposta.
RequestId	string	O ID da solicitação de API, que é gerado como um UUID.	0bc14115***159376359
PageInfo	object	As informações de paginação.
PageNumber	integer	O número da página.	1
PageSize	integer	O número de registros por página. Valor padrão: 10.	10
TotalCount	integer	O número total de registros.	1
DataQualityScans	array<object>	A lista de monitores de qualidade de dados.
	array<object>	Informações sobre o monitor de qualidade de dados.
ModifyTime	integer	A hora da última atualização do monitor de qualidade de dados.	17236236472
Owner	string	O ID de usuário do proprietário responsável pelo monitor de qualidade de dados.	23782382795249
Description	string	A descrição da tarefa de verificação de qualidade de dados. Comprimento máximo: 65.535 caracteres.	This is a hourly run data quality evaluation plan.
ModifyUser	string	O ID de usuário da última pessoa que atualizou o monitor de qualidade de dados.	23782382795249
Parameters	array<object>	As definições de parâmetros de execução para o monitor de qualidade de dados.
	object	As definições de parâmetros de execução para o monitor de qualidade de dados.
Value	string	O valor do parâmetro.	$[yyyy-mm-dd-1]
Name	string	O nome do parâmetro.	dt
CreateTime	integer	A hora de criação do monitor de qualidade de dados.	1694512304000
ProjectId	integer	O ID do projeto.	59094
CreateUser	string	O criador do monitor de qualidade de dados.	7892346529452
ComputeResource	object	O mecanismo de computação usado durante a execução. Se não for especificado, a conexão da fonte de dados definida na Spec será usada.
Runtime	object	As configurações adicionais de tempo de execução para o monitor de qualidade de dados.
HiveConf	string	Parâmetros adicionais para o mecanismo Hive. Atualmente, apenas mapreduce.job.queuename é suportado para definir a fila.	mapreduce.job.queuename=dq_queue
SparkConf	string	Parâmetros adicionais para o mecanismo Spark. Atualmente, apenas spark.yarn.queue é suportado para definir a fila.	spark.yarn.queue=dq_queue
Engine	string	O tipo de mecanismo. Essas configurações são suportadas apenas para o mecanismo de computação EMR. Valores válidos:\n\n- Hive: Hive SQL\n\n- Spark: Spark SQL\n\n- Kyuubi.	Hive
EnvType	string	O ambiente do espaço de trabalho do mecanismo de computação. Valores válidos:\n\n- Prod\n\n- Dev.	Prod
Name	string	O nome do mecanismo de computação. Identifica exclusivamente o mecanismo.	emr_cluster_001
Name	string	O nome da tarefa de verificação de qualidade de dados. Pode incluir dígitos, letras, caracteres chineses e marcas de pontuação de meia largura e largura total. Comprimento máximo: 255 caracteres.	Hourly partition quality monitoring
RuntimeResource	object	O grupo de recursos usado durante a execução do monitor de qualidade de dados.
Cu	number	O consumo de CU para a execução da tarefa.	0.25
Id	string	O ID do grupo de recursos.	Serverless_resource_group_xxxxx
Image	string	O ID da imagem configurada para a execução da tarefa.	i-xxxxx
Trigger	object	As configurações de gatilho para o monitor de qualidade de dados.
Type	string	O modo de gatilho do monitor de qualidade de dados. Valores válidos:\n\n- ByManual: Acionado manualmente. Configuração padrão.\n\n- BySchedule: Acionado por uma instância de tarefa agendada.	BySchedule
TaskIds	array	Se o modo de gatilho for BySchedule, o ID da tarefa de agendamento que aciona o monitor deve ser configurado.
	integer	O ID da tarefa de agendamento.	1023777390
Hooks	array<object>	A configuração de hook após a parada do monitor de qualidade de dados.
	object	A configuração de hook após a parada do monitor de qualidade de dados.
Condition	string	A condição de acionamento do hook. Quando essa condição é atendida, o hook é acionado. Formato de expressão válido:\n\nEspecifica várias combinações de níveis de gravidade de regra e status de validação de regra, como results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' \|\| r.status == 'Error' && r.rule.severity == 'High' \|\| r.status == 'Warn' && r.rule.severity == 'High' }. Isso significa que o hook é acionado se qualquer regra executada tiver Fail com gravidade Normal, Error com gravidade High ou Warn com gravidade High. Os valores de gravidade devem corresponder àqueles definidos na Spec. Os valores de status devem corresponder àqueles em DataQualityResult.	results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' \|\| r.status == 'Error' && r.rule.severity == 'High' \|\| r.status == 'Warn' && r.rule.severity == 'High' }
Type	string	O tipo do hook. Valores válidos:\n\n- BlockTaskInstance: Bloqueia o agendamento da instância da tarefa.	BlockTaskInstance
Id	integer	O ID do monitor de qualidade de dados.	26433

Exemplos

Resposta de sucesso

JSON formato

{
  "RequestId": "0bc14115***159376359",
  "PageInfo": {
    "PageNumber": 1,
    "PageSize": 10,
    "TotalCount": 1,
    "DataQualityScans": [
      {
        "ModifyTime": 17236236472,
        "Owner": "23782382795249",
        "Description": "This is a hourly run data quality evaluation plan.",
        "ModifyUser": "23782382795249",
        "Parameters": [
          {
            "Value": "$[yyyy-mm-dd-1]",
            "Name": "dt"
          }
        ],
        "CreateTime": 1694512304000,
        "ProjectId": 59094,
        "CreateUser": "7892346529452",
        "ComputeResource": {
          "Runtime": {
            "HiveConf": "mapreduce.job.queuename=dq_queue",
            "SparkConf": "spark.yarn.queue=dq_queue",
            "Engine": "Hive"
          },
          "EnvType": "Prod",
          "Name": "emr_cluster_001"
        },
        "Name": "Hourly partition quality monitoring",
        "RuntimeResource": {
          "Cu": 0.25,
          "Id": "Serverless_resource_group_xxxxx",
          "Image": "i-xxxxx"
        },
        "Trigger": {
          "Type": "BySchedule",
          "TaskIds": [
            1023777390
          ]
        },
        "Hooks": [
          {
            "Condition": "results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' || r.status == 'Error' && r.rule.severity == 'High' || r.status == 'Warn' && r.rule.severity == 'High' }",
            "Type": "BlockTaskInstance"
          }
        ],
        "Id": 26433
      }
    ]
  }
}

Códigos de erro

Consulte Códigos de Erro para uma lista completa.

Notas de versão

Consulte Notas de Versão para uma lista completa.