CreateCrawler - DataWorks - Centro de documentación de Alibaba Cloud

Crea un rastreador de metadatos y configura el origen de datos, el alcance de la recolección, el grupo de recursos y el método de programación.

Descripción de la operación

Escenarios

Crea un rastreador de metadatos para un origen de datos especificado y configura el alcance de la recolección, el grupo de recursos, el método de programación y las configuraciones extendidas.

Flujo de trabajo recomendado

Llame a GetCrawlerTypeCapabilities para consultar los tipos de rastreadores y sus capacidades de configuración admitidas en la región actual.
Cree un rastreador mediante un origen de datos que coincida con el valor Type. Antes de crear un rastreador, asegúrese de que el origen de datos y el grupo de recursos seleccionado pasen la prueba de conectividad llamando a la API TestDataSourceConnectivity para evitar la creación de un rastreador no válido.
Después de crear el rastreador, llame a RunCrawler para ejecutarlo manualmente o configure una programación periódica para su ejecución automática.

Requisitos de edición

Se requiere DataWorks Basic Edition o una edición superior.

Precauciones

Una creación exitosa solo indica que se ha generado la configuración del rastreador. La recolección de metadatos no se ejecuta inmediatamente.

Pruébelo ahora

Pruebe esta API en OpenAPI Explorer sin necesidad de firma manual. Las llamadas exitosas generan automáticamente código SDK acorde a sus parámetros. Descárguelo con seguridad de credenciales integrada para uso local.

Test

Autorización de RAM

La siguiente tabla describe la autorización necesaria para invocar esta API. Puede definirla en una directiva de Resource Access Management (RAM). A continuación, se detallan las columnas de la tabla:

Action: Estas acciones se utilizan en el elemento Action de las declaraciones de directivas de permisos de RAM para otorgar permisos que permitan realizar la operación.
API: La API que debe invocarse para llevar a cabo la acción.
Nivel de acceso: Nivel de acceso predefinido que se concede para cada API. Valores válidos: create, list, get, update y delete.
Tipo de recurso: Tipo de recurso que admite autorización para ejecutar la acción. Indica si la acción es compatible con permisos a nivel de recurso. El recurso especificado debe ser compatible con la acción; de lo contrario, la directiva no surtirá efecto.
- En las API con permisos a nivel de recurso, los tipos de recursos obligatorios se marcan con un asterisco (*). Especifique el Alibaba Cloud Resource Name (ARN) correspondiente en el elemento Resource de la directiva.
- Para las API sin permisos a nivel de recurso, se muestra All Resources. Utilice un asterisco (*) en el elemento Resource de la directiva.
Clave de condición: Claves de condición definidas por el servicio. Permiten un control granular y se aplican ya sea solo a acciones o a acciones asociadas con recursos específicos. Además de las claves de condición específicas del servicio, Alibaba Cloud proporciona un conjunto de common condition keys aplicables a todos los servicios compatibles con RAM.
Acción dependiente: Acciones dependientes necesarias para ejecutar la acción principal. Para completar la operación, el usuario de RAM o el rol de RAM debe contar con permisos para realizar todas las acciones dependientes.

Action

Nivel de acceso

Tipo de recurso

Clave de condición

Acción dependiente

dataworks:CreateCrawler

create

*All Resource

*

Ninguna

Sintaxis de la solicitud

POST  HTTP/1.1

Parámetros de la solicitud

Parámetro	Tipo	Obligatorio	Descripción	Ejemplo
Name	string	Sí	El nombre del rastreador de metadatos. El nombre puede tener hasta 128 caracteres de longitud.	example_crawler
DataSourceId	integer	Sí	El ID del origen de datos asociado con el rastreador. El origen de datos debe estar vinculado a un espacio de trabajo de DataWorks y el tipo de origen de datos debe coincidir con el valor Type.	12345
Type	string	Sí	El tipo de rastreador. Llame a GetCrawlerTypeCapabilities para consultar los valores válidos admitidos en la región actual.	starrocks
ResourceGroupId	string	No	El ID del grupo de recursos Serverless 2.0 utilizado para ejecutar la tarea de recolección. Si este parámetro es obligatorio depende del valor RequireResourceGroup devuelto por GetCrawlerTypeCapabilities.	Serverless_res_group_1234567890123456_1234567890
Scope	object	No	La configuración del alcance de recolección. Si no se especifica este parámetro, se utiliza el valor DefaultScopeUnit devuelto por GetCrawlerTypeCapabilities.
Unit	string	Sí	La granularidad del alcance de recolección. Los valores válidos están determinados por el valor SupportedScopeUnits devuelto por GetCrawlerTypeCapabilities.	DATABASE
Items	array	No	La lista de nombres de bases de datos. Este parámetro solo se admite cuando Unit se establece en DATABASE. Se permite un máximo de 1000 entradas. Los nombres no pueden estar vacíos ni duplicados.
	string	No	Un nombre de base de datos individual. El nombre puede tener hasta 256 caracteres de longitud.	example_database
ExcludeRegex	string	No	La expresión regular utilizada para excluir objetos del alcance de recolección. Este parámetro solo se admite cuando el valor SupportExcludeRegex devuelto por GetCrawlerTypeCapabilities es true.	^tmp_.*
ScheduleConfig	object	No	La configuración de programación. Si no se especifica este parámetro, se utiliza la programación manual.
Type	string	Sí	El tipo de programación. MANUAL indica ejecución manual y NORMAL indica programación periódica. Los orígenes de datos en el entorno de desarrollo solo admiten MANUAL. La disponibilidad de NORMAL depende del valor SupportSchedule devuelto por GetCrawlerTypeCapabilities.	NORMAL
CronExpress	string	No	La expresión cron de seis campos para la programación periódica. Este parámetro es obligatorio cuando Type se establece en NORMAL. El campo de segundos debe ser 0 y la frecuencia de programación no puede superar una vez por hora.	0 0 2 ? * *
EnableAiComment	boolean	No	Especifica si se deben habilitar las descripciones de metadatos con IA. Este parámetro solo se admite cuando el valor SupportAiComment devuelto por GetCrawlerTypeCapabilities es true.
Options	object	No	La configuración extendida para el tipo de rastreador. Los nombres de clave, los tipos de valor, los campos obligatorios, los valores predeterminados y los valores válidos están determinados por el valor SupportedOptionKeys devuelto por GetCrawlerTypeCapabilities.
	string	No	El valor de un elemento de configuración extendida individual para el rastreador. Los elementos de configuración admitidos, los tipos de valor y los rangos de valores están determinados por el valor SupportedOptionKeys devuelto por GetCrawlerTypeCapabilities.	v1

DataSourceId debe coincidir con el valor Type. Si ResourceGroupId, Scope, ScheduleConfig, EnableAiComment y Options son compatibles depende de GetCrawlerTypeCapabilities.

Elementos de la respuesta

Elemento	Tipo	Descripción	Ejemplo
	object	Los parámetros de respuesta.
RequestId	string	El ID de la solicitud. Se utiliza para localizar registros y solucionar problemas.	9252F32F-D855-549E-8898-61CF5A733050
Success	boolean	Indica si la solicitud fue exitosa.
Id	integer	El ID del rastreador de metadatos recién creado.	1234

Id es el ID del rastreador de metadatos recién creado. Una respuesta exitosa no indica que la recolección de metadatos se haya completado.

Ejemplos

Respuesta exitosa

JSON Formato

{
  "RequestId": "9252F32F-D855-549E-8898-61CF5A733050",
  "Success": false,
  "Id": 1234
}

Códigos de error

Consulte Códigos de error para ver la lista completa.

Notas de la versión

Consulte Notas de la versión para ver la lista completa.