GetDataQualityScanRun - DataWorks - Centro de documentación de Alibaba Cloud

Consulta los detalles de la ejecución de una tarea de escaneo de calidad de datos mediante su ID.

Descripción de la operación

Se requiere DataWorks Basic Edition o una edición superior.

Pruébelo ahora

Pruebe esta API en OpenAPI Explorer sin necesidad de firma manual. Las llamadas exitosas generan automáticamente código SDK acorde a sus parámetros. Descárguelo con seguridad de credenciales integrada para uso local.

Test

Autorización de RAM

La siguiente tabla describe la autorización necesaria para invocar esta API. Puede definirla en una directiva de Resource Access Management (RAM). A continuación, se detallan las columnas de la tabla:

Action: Estas acciones se utilizan en el elemento Action de las declaraciones de directivas de permisos de RAM para otorgar permisos que permitan realizar la operación.
API: La API que debe invocarse para llevar a cabo la acción.
Nivel de acceso: Nivel de acceso predefinido que se concede para cada API. Valores válidos: create, list, get, update y delete.
Tipo de recurso: Tipo de recurso que admite autorización para ejecutar la acción. Indica si la acción es compatible con permisos a nivel de recurso. El recurso especificado debe ser compatible con la acción; de lo contrario, la directiva no surtirá efecto.
- En las API con permisos a nivel de recurso, los tipos de recursos obligatorios se marcan con un asterisco (*). Especifique el Alibaba Cloud Resource Name (ARN) correspondiente en el elemento Resource de la directiva.
- Para las API sin permisos a nivel de recurso, se muestra All Resources. Utilice un asterisco (*) en el elemento Resource de la directiva.
Clave de condición: Claves de condición definidas por el servicio. Permiten un control granular y se aplican ya sea solo a acciones o a acciones asociadas con recursos específicos. Además de las claves de condición específicas del servicio, Alibaba Cloud proporciona un conjunto de common condition keys aplicables a todos los servicios compatibles con RAM.
Acción dependiente: Acciones dependientes necesarias para ejecutar la acción principal. Para completar la operación, el usuario de RAM o el rol de RAM debe contar con permisos para realizar todas las acciones dependientes.

Action

Nivel de acceso

Tipo de recurso

Clave de condición

Acción dependiente

dataworks:GetDataQualityScanRun

get

*All Resource

*

Ninguna

Sintaxis de la solicitud

POST  HTTP/1.1

Parámetros de la solicitud

Parámetro	Tipo	Obligatorio	Descripción	Ejemplo
Id	integer	No	El ID del registro de ejecución del monitoreo de calidad de datos.	1006059507

Elementos de la respuesta

Elemento	Tipo	Descripción	Ejemplo
	object	La respuesta.
RequestId	string	El ID de la solicitud.	0bc14115****159376359
DataQualityScanRun	object	El registro de ejecución del monitoreo de calidad de datos.
Id	integer	El ID del registro de ejecución.	1016440997
CreateTime	integer	La hora en que se inicia el monitor de calidad de datos.	1706247622000
FinishTime	integer	La hora en que finaliza el monitor de calidad de datos.	1706247622000
Status	string	El estado de ejecución actual. Pass Running Error Warn Fail	Fail
Scan	object	La instantánea de la configuración del monitor de calidad de datos al inicio de la validación.
Id	integer	El ID del monitor de calidad de datos.	21077
Name	string	El nombre de la tarea de validación de calidad de datos. Puede contener dígitos, letras, caracteres chinos y signos de puntuación tanto de medio ancho como de ancho completo. La longitud máxima es de 255 caracteres.	Hourly partition quality monitoring
Description	string	La descripción de la tarea de validación de calidad de datos. Longitud máxima: 65,535 caracteres.	This is a hourly run data quality evaluation plan.
ProjectId	integer	El ID del proyecto.	164024
CreateTime	integer	La hora de creación del monitor de calidad de datos.	1706247622000
ModifyTime	integer	La hora de la última actualización del monitor de calidad de datos.	1706247622000
CreateUser	string	El creador del monitor de calidad de datos.	7892346529452
ModifyUser	string	El usuario que realizó la última actualización del monitor de calidad de datos.	7892346529452
Owner	string	El propietario del monitor de calidad de datos.	7892346529452
Spec	string	El Spec del monitor de calidad de datos. Para obtener más información, consulte Descripción de la configuración de Spec de calidad de datos.	{ "datasets": [ { "type": "Table", "dataSource": { "name": "odps_first", "envType": "Prod" }, "tables": [ "ods_d_user_info" ], "filter": "pt = $[yyyymmdd-1]" } ], "rules": [ { "assertion": "row_count > 0" }, { "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" } ] }
Parameters	array<object>	Las configuraciones de parámetros del monitor de calidad de datos.
	object	Las configuraciones de parámetros del monitor de calidad de datos.
Value	string	El valor del parámetro.	$[yyyy-mm-dd-1]
Name	string	El nombre del parámetro.	dt
ComputeResource	object	Las configuraciones de recursos de cómputo del monitor de calidad de datos.
Name	string	El nombre del recurso de cómputo, que corresponde al atributo Name de la estructura de datos ComputeResource de la API de recursos de cómputo.	emr_cluster_001
Runtime	object	Las configuraciones adicionales de tiempo de ejecución del monitor de calidad de datos.
Engine	string	El tipo de motor de cómputo. Solo los motores de cómputo de EMR admiten estas configuraciones. Hive Spark Kyuubi	Hive
SparkConf	object	Los parámetros adicionales para el motor Spark. Actualmente, solo se admite spark.yarn.queue para especificar la cola.	spark.yarn.queue=dq_queue
HiveConf	object	Los parámetros adicionales para el motor Hive. Actualmente, solo se admite mapreduce.job.queuename para especificar la cola.	mapreduce.job.queuename=dq_queue
EnvType	string	El entorno del espacio de trabajo al que pertenece el motor de cómputo. Prod Dev	Dev
RuntimeResource	object	El grupo de recursos que se utiliza para ejecutar el monitor de calidad de datos.
Id	string	El ID del grupo de recursos.	60597
Cu	number	Las CU reservadas para el grupo de recursos.	1
Image	string	El ID de la imagen de la configuración de ejecución.	i-xxxx
Trigger	object	Las configuraciones del disparador del monitor de calidad de datos.
Type	string	El método de disparo del monitor de calidad de datos. ByManual BySchedule	BySchedule
TaskIds	array	Si el método de disparo se establece en BySchedule, debe especificar el ID de la tarea de programación.
	integer	El ID de la tarea de programación.	1014217266
Hooks	array<object>	Las configuraciones de hook después de que el monitor de calidad de datos se detiene.
	object	Las configuraciones de hook después de que el monitor de calidad de datos se detiene.
Condition	string	La condición de activación del hook. Actualmente, solo se admite un tipo de sintaxis de expresión: Especifique combinaciones de niveles de gravedad y estados de validación para varias reglas, por ejemplo `results.any { r -> r.status == 'Fail' && r.rule.severity == 'Normal' \|\| r.status == 'Error' && r.rule.severity == 'High' \|\| r.status == 'Warn' && r.rule.severity == 'High' }`. Esto significa que el hook se activa si alguna regla ejecutada tiene Fail con gravedad Normal, Error con gravedad High o Warn con gravedad High. En la expresión condicional, el valor de gravedad coincide con el del código Spec y el valor de estado coincide con el de DataQualityResult.	results.any { r -> r.status == 'fail' && r.rule.severity == 'High' }
Type	string	El tipo de hook. BlockTaskInstance	BlockTaskInstance
Parameters	array<object>	Las configuraciones de parámetros que se utilizan durante la ejecución real.
	object	Las configuraciones de parámetros.
Value	string	El valor del parámetro.	$[yyyy-mm-dd-1]
Name	string	El nombre del parámetro.	dt
Results	array<object>	Los resultados de validación de cada regla.
	array<object>	El resultado de validación de la regla.
Status	string	El estado del resultado de validación. Pass Running Error Warn Fail	Fail
Details	array<object>	La información sobre la verificación de calidad de datos.
	object	La información sobre la verificación de calidad de datos.
Status	string	El estado del resultado final de la comparación. Pass Error Warn Fail	Fail
ReferenceValue	string	La muestra de referencia que se utiliza como línea base para calcular CheckedValue.	0.0
CheckValue	string	El valor final que se utiliza para comparar con el umbral.	100.0
Sample	string	El valor de muestra que se utiliza en la validación.	{ "value": "100.0" }
CreateTime	integer	La hora en que se genera el resultado de validación.	1725506795000
Rule	string	La instantánea del Spec de la regla al inicio de la validación.	{ "templateId": "SYSTEM:field:null_value:fixed", "pass": "when = 0", "name": "The id cannot be empty.", "severity": "High", "identity": "a-customized-data-quality-rule-uuid" }

Ejemplos

Respuesta exitosa

JSON Formato

{
  "RequestId": "0bc14115****159376359",
  "DataQualityScanRun": {
    "Id": 1016440997,
    "CreateTime": 1706247622000,
    "FinishTime": 1706247622000,
    "Status": "Fail",
    "Scan": {
      "Id": 21077,
      "Name": "Monitoreo de calidad de particiones por hora",
      "Description": "Este es un plan de evaluación de calidad de datos de ejecución horaria",
      "ProjectId": 164024,
      "CreateTime": 1706247622000,
      "ModifyTime": 1706247622000,
      "CreateUser": "7892346529452",
      "ModifyUser": "7892346529452",
      "Owner": "7892346529452",
      "Spec": "{\n    \"datasets\": [\n        {\n            \"type\": \"Table\",\n            \"dataSource\": {\n                \"name\": \"odps_first\",\n                \"envType\": \"Prod\"\n            },\n            \"tables\": [\n                \"ods_d_user_info\"\n            ],\n            \"filter\": \"pt = $[yyyymmdd-1]\"\n        }\n    ],\n    \"rules\": [\n        {\n            \"assertion\": \"row_count > 0\"\n        }, {\n            \"templateId\": \"SYSTEM:field:null_value:fixed\",\n            \"pass\": \"when = 0\",\n            \"name\": \"El id no puede estar vacío.\",\n            \"severity\": \"High\",\n             \"identity\": \"a-customized-data-quality-rule-uuid\"\n        }\n    ]\n}",
      "Parameters": [
        {
          "Value": "$[yyyy-mm-dd-1]",
          "Name": "dt"
        }
      ],
      "ComputeResource": {
        "Name": "emr_cluster_001",
        "Runtime": {
          "Engine": "Hive",
          "SparkConf": {
            "test": "test",
            "test2": 1
          },
          "HiveConf": {
            "test": "test",
            "test2": 1
          }
        },
        "EnvType": "Dev"
      },
      "RuntimeResource": {
        "Id": "60597",
        "Cu": 1,
        "Image": "i-xxxx"
      },
      "Trigger": {
        "Type": "BySchedule",
        "TaskIds": [
          1014217266
        ]
      },
      "Hooks": [
        {
          "Condition": "results.any { r -> r.status == 'fail' && r.rule.severity == 'High' }",
          "Type": "BlockTaskInstance"
        }
      ]
    },
    "Parameters": [
      {
        "Value": "$[yyyy-mm-dd-1]",
        "Name": "dt"
      }
    ],
    "Results": [
      {
        "Status": "Fail",
        "Details": [
          {
            "Status": "Fail",
            "ReferenceValue": "0.0",
            "CheckValue": "100.0"
          }
        ],
        "Sample": "{\n  \"value\": \"100.0\"\n}",
        "CreateTime": 1725506795000,
        "Rule": "{\n    \"templateId\": \"SYSTEM:field:null_value:fixed\",\n    \"pass\": \"when = 0\",\n    \"name\": \"El id no puede estar vacío.\",\n    \"severity\": \"High\",\n    \"identity\": \"a-customized-data-quality-rule-uuid\"\n}"
      }
    ]
  }
}

Códigos de error

Consulte Códigos de error para ver la lista completa.

Notas de la versión

Consulte Notas de la versión para ver la lista completa.