CreateDataQualityEvaluationTask - DataWorks - Centro de documentación de Alibaba Cloud

Crea una tarea de monitoreo de calidad de datos de DataWorks.

Nota

Esta API se marcó como obsoleta. Se recomienda migrar a dataworks-public(2024-05-18) - CreateDataQualityScan para obtener funciones mejoradas y soporte continuo. Si bien la API obsoleta permanece accesible de forma temporal, no se entregarán nuevas actualizaciones ni correcciones de bugs.

Descripción de la operación

Debe adquirir DataWorks Basic Edition o una versión posterior para utilizar esta función.

Pruébelo ahora

Pruebe esta API en OpenAPI Explorer sin necesidad de firma manual. Las llamadas exitosas generan automáticamente código SDK acorde a sus parámetros. Descárguelo con seguridad de credenciales integrada para uso local.

Test

Autorización de RAM

No se requiere autorización para esta operación. Si experimenta problemas al ejecutarla, póngase en contacto con el soporte técnico.

Parámetros de la solicitud

Parámetro	Tipo	Obligatorio	Descripción	Ejemplo
Target	object	Sí	El objeto monitoreado para la tarea de monitoreo de calidad de datos.
DatabaseType	string	Sí	El tipo de base de datos de la tabla. Valores válidos: maxcompute hologres cdh analyticdb_for_mysql starrocks emr analyticdb_for_postgresql	maxcompute
TableGuid	string	Sí	El ID único de la tabla en DataWorks Data Map.	odps.api_test.ods_openapi_log_d
PartitionSpec	string	No	La configuración de particiones para la tabla particionada.	pt=$[yyyymmdd-1]
Description	string	No	La descripción de la tarea de monitoreo de calidad de datos.	OpenAPI create a data quality monitoring test
Name	string	Sí	El nombre de la tarea de monitoreo de calidad de datos.	OpenAPI create a data quality monitoring test
RuntimeConf	string	No	Las configuraciones de extensión en formato de cadena JSON. Este parámetro solo surte efecto para las tareas de monitoreo de calidad de datos de EMR. queue: la cola de YARN que se utiliza para ejecutar la validación de datos de EMR. Valor predeterminado: la cola configurada para el proyecto. sqlEngine: el motor de SQL que se utiliza para ejecutar la validación de datos de EMR. Valores válidos: HIVE_SQL SPARK_SQL	{ "queue": "default", "sqlEngine": "SPARK_SQL" }
Trigger	object	No	La configuración del disparador para la tarea de comprobación de calidad de datos.
Type	string	No	El tipo de disparador para la tarea de monitoreo de calidad de datos. Valores válidos: ByManual: se activa manualmente. Este es el valor predeterminado. ByScheduledTaskInstance: se activa mediante una tarea programada asociada.	ByScheduledTaskInstance
TaskIds	array	No	La lista de ID de tareas programadas. Este parámetro solo surte efecto cuando Type se establece en ByScheduledTaskInstance.
	integer	No	El ID de la tarea programada.	30001
ProjectId	integer	Sí	El ID del espacio de trabajo de DataWorks. Puede iniciar sesión en la consola de DataWorks e ir a la página de Administración de espacios de trabajo para obtener el ID. Este parámetro se utiliza para determinar el espacio de trabajo de DataWorks que se usa para invocar esta operación de API.	10000
Hooks	array<object>	No	La configuración de los hooks.
	object	No	Hook.
Type	string	No	El tipo de hook. Solo se admite un tipo: BlockTaskInstance: bloquea la tarea programada para que no continúe ejecutándose. Si la tarea de monitoreo de calidad de datos se activa mediante una tarea programada, el sistema determina si debe bloquear la tarea programada en función de Hook.Condition una vez que finaliza la tarea de monitoreo de calidad de datos.	BlockTaskInstance
Condition	string	No	La condición de activación para el hook. Cuando se cumple esta condición, se activa la acción del hook. Se admiten dos expresiones condicionales: Especificar solo un grupo de gravedad de regla y estado de comprobación. Ejemplo: `${severity} == "High" AND ${status} == "Critical"`. Esto significa que, entre las reglas a ejecutar, si el resultado de la comprobación de una regla con gravedad High es Critical, se cumple la condición. Especificar varios grupos de gravedad de regla y estado de comprobación. Ejemplo: `(${severity} == "High" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Error")`. Esto significa que, entre las reglas a ejecutar, si el resultado de la comprobación de una regla con gravedad High es Critical, el resultado de la comprobación de una regla con gravedad Normal es Critical, o el resultado de la comprobación de una regla con gravedad Normal es Error, se cumple la condición. Los valores válidos de gravedad en la expresión condicional son los mismos que en DataQualityRule, y los valores válidos de estado son los mismos que en DataQualityResult.	(${severity} == "High" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Error")
Notifications	object	No	La configuración de suscripción de notificaciones.
Condition	string	No	La condición de activación para las notificaciones. Cuando se cumple esta condición, se activa una notificación de mensaje. Se admiten dos expresiones condicionales: Especificar solo un grupo de gravedad de regla y estado de comprobación. Ejemplo: `${severity} == "High" AND ${status} == "Critical"`. Esto significa que, entre las reglas a ejecutar, si el resultado de la comprobación de una regla con gravedad High es Critical, se cumple la condición. Especificar varios grupos de gravedad de regla y estado de comprobación. Ejemplo: `(${severity} == "High" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Error")`. Esto significa que, entre las reglas a ejecutar, si el resultado de la comprobación de una regla con gravedad High es Critical, el resultado de la comprobación de una regla con gravedad Normal es Critical, o el resultado de la comprobación de una regla con gravedad Normal es Error, se cumple la condición. Los valores válidos de gravedad en la expresión condicional son los mismos que en DataQualityRule, y los valores válidos de estado son los mismos que en DataQualityResult.	(${severity} == "High" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Critical") OR (${severity} == "Normal" AND ${status} == "Error")
Notifications	array<object>	No	La configuración de las notificaciones.
	array<object>	No	La configuración de las notificaciones.
NotificationReceivers	array<object>	No	La configuración de los destinatarios de alertas.
	object	No	La configuración de los destinatarios de alertas.
ReceiverType	string	No	El tipo de destinatario de la alerta. Valores válidos: WebhookUrl: URL de webhook personalizado FeishuUrl: URL de alerta de Lark DingdingUrl: URL de alerta de DingTalk WeixinUrl: URL de alerta de WeCom AliUid: ID de usuario de Alibaba Cloud	DingdingUrl
Extension	string	No	La configuración de parámetros adicionales en formato JSON cuando se envía una alerta. Claves admitidas: atAll: especifica si se debe mencionar a todos (@all) en el grupo al enviar una alerta de DingTalk. Esta clave solo surte efecto cuando ReceiverType se establece en DingdingUrl.	{ "atAll": true }
ReceiverValues	array	No	Los destinatarios de las alertas.
	string	No	El valor del destinatario. Si el tipo de destinatario es el ID de usuario de Alibaba Cloud, el valor es el ID de usuario específico de Alibaba Cloud. Si el tipo de destinatario es DingdingUrl, el valor es la URL de alerta del chatbot específico de DingTalk. Si el tipo de destinatario es WeixinUrl, el valor es la URL de alerta del chatbot específico de WeCom. Si el tipo de destinatario es FeishuUrl, el valor es la URL de alerta del chatbot específico de Lark. Si el tipo de destinatario es WebhookUrl, el valor es la URL de alerta del webhook personalizado específico.	https://api.fc.aliyuncs.com/webhook
NotificationChannels	array<object>	No	Los métodos de notificación.
	object	No	Los métodos de notificación.
Channels	array	No	Los métodos de notificación.
	string	No	Los métodos de alerta. Valores válidos: Mail: correo electrónico Sms: mensaje de texto Phone: llamada telefónica Feishu: Lark Weixin: WeChat Dingding: DingTalk Webhook: webhook personalizado	Mail
DataSourceId	integer	Sí	El ID del origen de datos. Puede llamar a la operación ListDataSources para consultar el ID del origen de datos.	1
DataQualityRules	array<object>	No	La lista de reglas de calidad de datos asociadas con la tarea de monitoreo de calidad de datos. Si se especifica DataQualityRule.Id, la regla correspondiente al ID se asocia con la nueva tarea de monitoreo de calidad. Si no se especifica, se crea una nueva regla mediante otros campos y se asocia con la nueva tarea de monitoreo de calidad.
	array<object>	No
Name	string	No	El nombre de la regla de calidad de datos.	OpenAPI test rules
Enabled	boolean	No	Especifica si la regla de calidad está habilitada.	true
Severity	string	No	El nivel de gravedad de la regla para el negocio, que corresponde a las reglas fuertes y débiles en la página. Valores válidos: Normal High Valores válidos: High : Alta. Normal : Normal.	High
Description	string	No	La descripción de la regla de calidad de datos.	OpenAPI test rules
TemplateCode	string	No	El identificador único de la plantilla de regla a la que hace referencia la regla.	SYSTEM:field:null_value:fixed:0
SamplingConfig	object	No	Los parámetros requeridos para la recopilación de muestras.
Metric	string	No	El nombre de la métrica de muestreo. Valores válidos: Count: El número de filas en la tabla. Min: El valor mínimo del campo. Max: El valor máximo del campo. Avg: El valor promedio del campo. DistinctCount: El número de valores únicos en el campo. DistinctPercent: La proporción del número de valores únicos en el campo respecto al número de filas de datos. DuplicatedCount: El número de valores duplicados en el campo. DuplicatedPercent: La proporción del número de valores duplicados en el campo respecto al número de filas de datos. TableSize: El tamaño de la tabla. NullValueCount: El número de filas donde el campo es nulo. NullValuePercent: La proporción de filas donde el campo es nulo. GroupCount: El número de filas de datos correspondientes a cada valor después de la agregación por valor de campo. CountNotIn: El número de filas que no coinciden con los valores enumerados. CountDistinctNotIn: El número de valores únicos que no coinciden con los valores enumerados. UserDefinedSql: Recopilación de muestras mediante el uso de instrucciones SQL personalizadas.	NullValueCount
MetricParameters	string	No	Los parámetros requeridos para la recopilación de muestras.	{ "Columns": [ "id", "name" ] , "SQL": "select count(1) from table;"}
SettingConfig	string	No	Las instrucciones de configuración de parámetros de tiempo de ejecución insertadas antes de que se ejecuten las instrucciones de muestreo. La longitud máxima es de 1,000 caracteres. Solo se admite MaxCompute.	odps.sql.type.system.odps2=True,odps.sql.hive.compatible=True
SamplingFilter	string	No	Las condiciones para el filtrado secundario de datos irrelevantes durante el muestreo. La longitud máxima es de 16,777,215 caracteres.	status != 'Succeeded'
CheckingConfig	object	No	La configuración de verificación de muestras.
Type	string	No	El método de cálculo del umbral. Valores válidos: Fixed Fluctation FluctationDiscreate Auto Average	Fixed
ReferencedSamplesFilter	string	No	La expresión que representa el método de consulta para las muestras de referencia. Algunos tipos de umbrales requieren consultar muestras de referencia y agregar sus valores para obtener el umbral de comparación.	{"bizdate": ["-1"]}
Thresholds	object	No	La configuración de umbrales de verificación.
Expected	object	No	La configuración de umbrales esperados.
Operator	string	No	El operador de comparación. Valores válidos: > >= < <= != =	=
Value	string	No	El valor del umbral.	0
Expression	string	No	La expresión del umbral. Para las reglas de fluctuación, debe usar una expresión para representar el umbral de fluctuación. Ejemplos: Aumento de fluctuación mayor que 0.01: $checkValue > 0.01 Disminución de fluctuación mayor que 0.01: $checkValue < -0.01 Valor absoluto de la tasa de fluctuación: abs($checkValue) > 0.01 Las reglas de valor fijo también pueden usar expresiones para configurar umbrales. Si se configuran ambas, la expresión tiene prioridad sobre Operator y Value.	$checkValue > 0.01
Warned	object	No	La configuración de umbrales para advertencias comunes.
Operator	string	No	El operador de comparación. Valores válidos: > >= < <= != =	>
Value	string	No	El valor del umbral.	0.001
Expression	string	No	La expresión del umbral. Para las reglas de fluctuación, debe usar una expresión para representar el umbral de fluctuación. Ejemplos: Aumento de fluctuación mayor que 0.01: $checkValue > 0.01 Disminución de fluctuación mayor que 0.01: $checkValue < -0.01 Valor absoluto de la tasa de fluctuación: abs($checkValue) > 0.01 Las reglas de valor fijo también pueden usar expresiones para configurar umbrales. Si se configuran ambas, la expresión tiene prioridad sobre Operator y Value.	$checkValue > 0.01
Critical	object	No	La configuración de umbrales para advertencias críticas.
Operator	string	No	El operador de comparación. Valores válidos: > >= < <= != =	>
Value	string	No	El valor del umbral.	0.01
Expression	string	No	La expresión del umbral. Para las reglas de fluctuación, debe usar una expresión para representar el umbral de fluctuación. Ejemplos: Aumento de fluctuación mayor que 0.01: $checkValue > 0.01 Disminución de fluctuación mayor que 0.01: $checkValue < -0.01 Valor absoluto de la tasa de fluctuación: abs($checkValue) > 0.01 Las reglas de valor fijo también pueden usar expresiones para configurar umbrales. Si se configuran ambas, la expresión tiene prioridad sobre Operator y Value.	$checkValue > 0.01
ErrorHandlers	array<object>	No	La lista de controladores de errores para la verificación de reglas de calidad.
	object	No	El controlador de errores para la verificación de reglas de calidad.
Type	string	No	El tipo de controlador. Valores válidos: SaveErrorData: Conservar los datos problemáticos.	SaveErrorData
ErrorDataFilter	string	No	La instrucción SQL especificada por el usuario para filtrar datos problemáticos si la regla es una regla SQL personalizada.	SELECT * FROM ods_api_log WHERE status = 'Error';
Id	integer	No	El ID de la regla.	2176

Elementos de la respuesta

Elemento	Tipo	Descripción	Ejemplo
	object	Esquema de la respuesta.
RequestId	string	El ID de la solicitud.	2d9ce-38ef-4923-baf6-391a7e656
Id	integer	El ID de la tarea de monitoreo de calidad de datos recién creada.	10001

Ejemplos

Respuesta exitosa

JSON Formato

{
  "RequestId": "2d9ce-38ef-4923-baf6-391a7e656",
  "Id": 10001
}

Códigos de error

Código de estado HTTP	Código de error	Mensaje de error	Descripción
400	IdempotentParameterMismatch	The request uses the same client token as a previous, but non-identical request. Do not reuse a client token with different requests, unless the requests are identical.

Consulte Códigos de error para ver la lista completa.

Notas de la versión

Consulte Notas de la versión para ver la lista completa.