Regras de configuração de análise automática para diferentes tipos de nó - DataWorks: Central de Documentação do Alibaba Cloud

A análise automática lê as instruções SQL no código de um nó para inferir dependências de agendamento e adiciona outputs ou nós ancestrais automaticamente, sem configuração manual. Este tópico descreve o funcionamento da análise automática para cada tipo de nó e lista os cenários sem suporte.

Funcionamento da análise automática

O DataWorks verifica as instruções SQL no código de um nó. Com base nas palavras-chave SQL identificadas, o sistema determina quais dados o nó lê e grava:

Instruções de gravação (CREATE, INSERT e similares): o DataWorks adiciona um output ao nó. O nome do output identifica a tabela de destino da gravação.
Instruções de leitura (SELECT): o DataWorks adiciona um nó ancestral. O nome desse nó ancestral identifica a tabela upstream lida.

Por exemplo, se o Nó A grava em orders_clean e o Nó B lê de orders_clean, o DataWorks define automaticamente o Nó A como ancestral do Nó B, sem necessidade de configuração manual de dependências.

Configuração por tipo de nó

A tabela a seguir mostra quais instruções SQL acionam a análise automática e o formato do nome de output ou nó ancestral gerado pelo DataWorks.

Tipo de nó	Instrução SQL	O que o DataWorks adiciona	Formato do nome de output
Nó ODPS	CREATE, INSERT	Output	`odps_project_name.table_name`
Nó ODPS	SELECT	Nó ancestral	`project_name.table_name`
Nó SQL (não ODPS)	CREATE, INSERT, ALTER, UPDATE	Output	Consulte a tabela abaixo
Nó SQL (não ODPS)	SELECT	Nó ancestral	`project_name.table_name`
Nó de sincronização em lote	Todas	Sem suporte	Configure as dependências de agendamento manualmente

Formatos de nome de output para nós SQL não ODPS:

Engine	Formato
E-MapReduce (EMR)	`workspace_name.db_name.table_name`
AnalyticDB for PostgreSQL	`workspace_name.db_name.schema_name.table_name`
AnalyticDB for MySQL	`workspace_name.db_name.schema_name.table_name`
Hologres	`workspace_name.db_name.schema_name.table_name`

Componentes do formato de nome:

Placeholder	Descrição
`odps_project_name`	Workspace do DataWorks ao qual o nó ODPS pertence
`project_name`	Workspace proprietário do nó que gera a tabela
`workspace_name`	Workspace do DataWorks ao qual o nó pertence
`db_name`	Banco de dados no qual os dados são gravados
`schema_name`	Schema do nó
`table_name`	Nome da tabela gerada

Limitações

A análise automática não se aplica aos cenários a seguir. Nesses casos, adicione manualmente a tabela ao Output do nó.

Tipos de nó sem suporte

Alguns tipos de nó não oferecem suporte à análise automática. Nós de sincronização em lote e nós do AnalyticDB for PostgreSQL, por exemplo, não permitem usar esse recurso para configurar dependências de agendamento. Adicione manualmente as tabelas geradas por esses nós aos outputs correspondentes.

Para verificar se um tipo específico de nó oferece suporte à análise automática, abra o nó no console do DataWorks e inspecione sua configuração.

Tabelas temporárias

O sistema não analisa automaticamente tabelas temporárias criadas por instruções SQL. Se o seu workspace tratar tabelas com o prefixo t_ como temporárias, não será possível adicioná-las automaticamente a Output ou Parent Nodes. Adicione-as manualmente quando necessário.

Tabelas geradas por nós de sincronização

Após um nó de sincronização gerar uma tabela, adicione-a manualmente como output do nó no formato projectname.tablename. Depois de adicionar o output, os nós descendentes que leem dessa tabela poderão usar a análise automática para configurar suas próprias dependências de agendamento.