CreateCrawler - DataWorks: Central de Documentação do Alibaba Cloud

Cria um rastreador de metadados e configura a fonte de dados, o escopo de coleta, o grupo de recursos e o método de agendamento.

Descrição da operação

Cenários

Cria um rastreador de metadados para uma fonte de dados especificada e configura o escopo de coleta, o grupo de recursos, o método de agendamento e as configurações estendidas.

Fluxo de trabalho recomendado

Chame GetCrawlerTypeCapabilities para consultar os tipos de rastreadores e suas capacidades de configuração suportadas na região atual.
Crie um rastreador usando uma fonte de dados que corresponda ao valor Type. Antes de criar um rastreador, certifique-se de que a fonte de dados e o grupo de recursos selecionado passem no teste de conectividade chamando a API TestDataSourceConnectivity para evitar a criação de um rastreador inválido.
Após a criação do rastreador, chame RunCrawler para executá-lo manualmente ou configure o agendamento periódico para execução automática.

Requisitos de edição

É necessária a Edição Básica do DataWorks ou uma edição superior.

Precauções

Uma criação bem-sucedida indica apenas que a configuração do rastreador foi gerada. A coleta de metadados não é executada imediatamente.

Experimente agora

Experimente esta API no OpenAPI Explorer, sem necessidade de assinatura manual. Chamadas bem-sucedidas geram automaticamente código SDK correspondente aos seus parâmetros. Faça o download com segurança de credenciais integrada para uso local.

Testar

Autorização RAM

A tabela abaixo descreve a autorização necessária para chamar esta API. Você pode defini-la em uma política do Resource Access Management (RAM). As colunas da tabela estão detalhadas abaixo:

Ação: As ações que podem ser usadas no elemento Action das instruções de política de permissão do RAM para conceder permissões para executar a operação.
API: A API que você pode chamar para executar a ação.
Nível de acesso: O nível de acesso predefinido concedido para cada API. Valores válidos: create, list, get, update e delete.
Tipo de recurso: O tipo de recurso que suporta autorização para executar a ação. Indica se a ação suporta permissão em nível de recurso. O recurso especificado deve ser compatível com a ação. Caso contrário, a política será ineficaz.
- Para APIs com permissões em nível de recurso, os tipos de recursos obrigatórios são marcados com um asterisco (*). Especifique o Nome de Recurso Alibaba Cloud (ARN) correspondente no elemento Resource da política.
- Para APIs sem permissões em nível de recurso, é exibido como Todos os Recursos. Use um asterisco (*) no elemento Resource da política.
Chave de condição: As chaves de condição definidas pelo serviço. A chave permite controle granular, aplicando-se somente a ações ou a ações associadas a recursos específicos. Além das chaves de condição específicas do serviço, o Alibaba Cloud fornece um conjunto de chaves de condição comuns aplicáveis a todos os serviços compatíveis com RAM.
Ação dependente: As ações dependentes necessárias para executar a ação. Para concluir a ação, o usuário RAM ou a função RAM deve ter permissões para executar todas as ações dependentes.

Ação

Nível de acesso

Tipo de recurso

Chave de condição

Ação dependente

dataworks:CreateCrawler

create

*All Resource

*

Nenhuma

Sintaxe da solicitação

POST  HTTP/1.1

Parâmetros da solicitação

Parâmetro	Tipo	Obrigatório	Descrição	Exemplo
Name	string	Sim	O nome do rastreador de metadados. O nome pode ter até 128 caracteres.	example_crawler
DataSourceId	integer	Sim	O ID da fonte de dados associada ao rastreador. A fonte de dados deve estar vinculada a um workspace do DataWorks e o tipo de fonte de dados deve corresponder ao valor Type.	12345
Type	string	Sim	O tipo de rastreador. Chame GetCrawlerTypeCapabilities para consultar os valores válidos suportados na região atual.	starrocks
ResourceGroupId	string	Não	O ID do grupo de recursos Serverless 2.0 usado para executar a tarefa de coleta. Se este parâmetro é obrigatório depende do valor RequireResourceGroup retornado por GetCrawlerTypeCapabilities.	Serverless_res_group_1234567890123456_1234567890
Scope	object	Não	A configuração do escopo de coleta. Se este parâmetro não for especificado, o valor DefaultScopeUnit retornado por GetCrawlerTypeCapabilities será usado.
Unit	string	Sim	A granularidade do escopo de coleta. Os valores válidos são determinados pelo valor SupportedScopeUnits retornado por GetCrawlerTypeCapabilities.	DATABASE
Items	array	Não	A lista de nomes de bancos de dados. Este parâmetro é suportado apenas quando Unit está definido como DATABASE. São permitidas no máximo 1000 entradas. Os nomes não podem estar vazios ou duplicados.
	string	Não	Um único nome de banco de dados. O nome pode ter até 256 caracteres.	example_database
ExcludeRegex	string	Não	A expressão regular usada para excluir objetos do escopo de coleta. Este parâmetro é suportado apenas quando o valor SupportExcludeRegex retornado por GetCrawlerTypeCapabilities é true.	^tmp_.*
ScheduleConfig	object	Não	A configuração de agendamento. Se este parâmetro não for especificado, o agendamento manual será usado.
Type	string	Sim	O tipo de agendamento. MANUAL indica execução manual e NORMAL indica agendamento periódico. Fontes de dados no ambiente de desenvolvimento suportam apenas MANUAL. A disponibilidade de NORMAL depende do valor SupportSchedule retornado por GetCrawlerTypeCapabilities.	NORMAL
CronExpress	string	Não	A expressão cron de seis campos para agendamento periódico. Este parâmetro é obrigatório quando Type está definido como NORMAL. O campo de segundos deve ser 0 e a frequência de agendamento não pode exceder uma vez por hora.	0 0 2 ? * *
EnableAiComment	boolean	Não	Especifica se as descrições de metadados por IA devem ser ativadas. Este parâmetro é suportado apenas quando o valor SupportAiComment retornado por GetCrawlerTypeCapabilities é true.
Options	object	Não	A configuração estendida para o tipo de rastreador. Os nomes das chaves, tipos de valor, campos obrigatórios, valores padrão e valores válidos são determinados pelo valor SupportedOptionKeys retornado por GetCrawlerTypeCapabilities.
	string	Não	O valor de um único item de configuração estendida para o rastreador. Os itens de configuração suportados, tipos de valor e intervalos de valores são determinados pelo valor SupportedOptionKeys retornado por GetCrawlerTypeCapabilities.	v1

DataSourceId deve corresponder ao valor Type. Se ResourceGroupId, Scope, ScheduleConfig, EnableAiComment e Options são suportados depende de GetCrawlerTypeCapabilities.

Elementos de resposta

Elemento	Tipo	Descrição	Exemplo
	object	Os parâmetros de resposta.
RequestId	string	O ID da solicitação. Usado para localizar logs e solucionar problemas.	9252F32F-D855-549E-8898-61CF5A733050
Success	boolean	Indica se a solicitação foi bem-sucedida.
Id	integer	O ID do rastreador de metadados recém-criado.	1234

Id é o ID do rastreador de metadados recém-criado. Uma resposta bem-sucedida não indica que a coleta de metadados foi concluída.

Exemplos

Resposta de sucesso

JSON formato

{
  "RequestId": "9252F32F-D855-549E-8898-61CF5A733050",
  "Success": false,
  "Id": 1234
}

Códigos de erro

Consulte Códigos de Erro para uma lista completa.

Notas de versão

Consulte Notas de Versão para uma lista completa.