basic operations for auto triggered nodes,operations,deploy an auto triggered node,undeploy an auto triggered node - DataWorks: Central de Documentação do Alibaba Cloud

O sistema de agendamento executa periodicamente um nó acionado automaticamente com base em sua configuração. Acesse a página Operation Center > Auto Triggered Node para visualizar os nós acionados automaticamente em um workspace específico e executar operações de O&M. Essas operações incluem execução automática ou manual de nós, visualização de detalhes de execução, congelamento de nós e remoção da implantação de nós. Este tópico detalha tais operações.

Observações de uso

Apenas o Operation Center no ambiente de produção oferece suporte ao agendamento automático para gerar instâncias de nós acionados automaticamente; o ambiente de desenvolvimento não possui esse recurso.
Use o processo de commit e deploy para adicionar, modificar ou remover a implantação de códigos de nó, configurações de agendamento, recursos e funções no ambiente de produção.
Todas as alterações em um nó devem ser implantadas para entrar em vigor no ambiente de produção. Uma implantação pode falhar, ser bloqueada ou resultar em uma versão inesperada. Portanto, verifique o nó na página Operation Center > Auto Triggered Node após a implantação. Para mais informações, consulte Manage auto triggered nodes.

Operações de O&M

Este tópico descreve como executar operações de O&M em nós acionados automaticamente.

Operação de O&M	Descrição
Visualize auto triggered nodes	Na página Cycle Task, visualize informações detalhadas sobre os nós e execute operações na visualização em lista ou no DAG.
Run auto triggered nodes	Modos de execução: Os nós implantados no ambiente de produção são executados automaticamente conforme seu agendamento. Visualize os resultados das execuções agendadas automaticamente na página Operation Center > Scheduled Instance. Também é possível executar testes ou fazer backfill de dados para um período histórico ou futuro no ambiente de produção e visualizar os resultados em data backfill instances e test instances. Condições de execução e solução de problemas: Compreenda as condições necessárias para a execução de um nó e como solucionar falhas. Operações de emergência: Caso um nó falhe na execução, execute operações de emergência, como remover dependências de nós ancestrais ainda não executados ou forçar a reexecução de nós descendentes se ocorrer contaminação de dados.
Gerencie auto triggered nodes	Implantar e remover implantação de nós Implantar um nó acionado automaticamente: Implante o nó no sistema de agendamento de produção para que ele apareça na lista Cycle Task. Remover implantação de um nó acionado automaticamente: Se um nó ou um processo de negócios inteiro não for mais necessário, remova a implantação do nó ou remova em lote a implantação de todos os nós no processo. Nota Os nós cuja implantação foi removida são movidos para a lixeira, onde podem ser restaurados. Gerenciamento de nós Pausar uma execução agendada: Se um nó e seus descendentes não precisarem ser executados automaticamente por um período, congele o nó. Monitoramento e alerta de nós: Na lista de nós acionados automaticamente, configure regras de monitoramento para o status de execução dos nós, a qualidade dos dados da tabela de saída e os grupos de recursos usados na execução. Gerenciar prioridade do nó: Use o recurso de linha de base para gerenciar a prioridade do nó. Nós de alta prioridade recebem recursos de agendamento primeiro. Modificar o grupo de recursos do nó: Modifique as propriedades de execução de um nó, incluindo seu grupo de recursos de agendamento e grupo de recursos do Data Integration. Modificar o proprietário do nó: Execute esta operação em lotes.
Visualize O&M records for auto triggered nodes	Visualize os logs de operação, versões de nó e histórico de operações para nós e instâncias.

Visualização de nós acionados automaticamente

A lista de nós acionados automaticamente exibe todos os nós agendados para execução automática no ambiente de produção. Verifique se o código do nó, os parâmetros de agendamento, as dependências e a linhagem de dados estão corretos. Também é possível visualizar informações detalhadas e executar operações na visualização em lista ou no DAG. Para mais informações, consulte Manage auto triggered nodes.

Nota

Apenas nós implantados no ambiente de produção aparecem na lista de nós acionados automaticamente no Operation Center.
Um nó também não será agendado se depender de um de seus próprios nós descendentes, pois isso cria um loop de dependência.

Execução de nós acionados automaticamente

Esta seção descreve os modos de execução de nós do DataWorks e como diagnosticar problemas com base no status de execução.

Modos de execução

Todas as noites, o DataWorks gera automaticamente as instâncias de nós acionados automaticamente do dia seguinte com base nos nós atuais. Também é possível acionar manualmente um nó acionado automaticamente para gerar instâncias de backfill de dados e instâncias de teste.

Tipo de instância	Caso de uso	Método de geração	Método de acionamento
auto triggered node instance	Executar operações ETL periódicas e automatizadas.	O DataWorks gera automaticamente as instâncias do dia seguinte com base em um snapshot noturno do nó acionado automaticamente. Nota O Operation Center no ambiente de desenvolvimento não agenda nem gera instâncias de nós acionados automaticamente.	O DataWorks executa a instância automaticamente.
data backfill instance	Executar operações ETL para fazer backfill de dados de um período passado ou futuro para o nó atual e seus descendentes.	Uma instância de backfill de dados é gerada quando você aciona manualmente um backfill de dados para um nó acionado automaticamente.	A instância de backfill de dados é executada imediatamente após a geração.
Run a test and visualize the test instance	Testar um nó acionado automaticamente para verificar se seu resultado de execução está correto. Nota Uma instância de teste executa a lógica real do código.	Uma instância de teste é gerada quando você aciona manualmente uma execução de teste para um nó acionado automaticamente.	A instância de teste é executada imediatamente após a geração.

Condições de execução do nó

Um nó agendado é executado somente quando todos os seus nós ancestrais forem concluídos com êxito, seu horário agendado chegar, houver recursos de agendamento suficientes disponíveis e o nó não estiver congelado. Para mais informações, consulte Prerequisites for a scheduled node to run. 运行流程图

Solução de problemas de execução de nós

Sintoma: O nó não é executado mesmo após a chegada do horário agendado. As possíveis causas incluem falha na execução dos nós ancestrais, insuficiência de recursos de agendamento ou congelamento do nó.

Solução de problemas: Primeiro, use o recurso upstream analysis no painel DAG para identificar os nós ancestrais que estão bloqueando a execução. Em seguida, use o recurso intelligent diagnosis para diagnosticar por que a instância chave não foi executada ou para identificar outros problemas. Para nós com dependências complexas, esse recurso ajuda a localizar o problema e melhora a eficiência de O&M. Para mais informações, consulte Why has my node not run after its scheduled time?, Waiting for resources e Freeze and unfreeze a node.

Operações de emergência

Se um nó ancestral não foi executado e está bloqueando o nó atual, clique com o botão direito na instância pendente e selecione Emergency Operations > Delete Dependencies para executar o nó atual imediatamente.

Nota
Antes de executar esta operação, verifique o código do nó e a linhagem de dados para confirmar que não haverá impacto negativo em seus dados.
Caso ocorra um problema generalizado de qualidade de dados, clique com o botão direito em uma instância e selecione Emergency Operations > Force Rerun > Force Rerun Descendant Nodes. Para mais informações, consulte Appendix: Force rerun descendant nodes.
Em alguns casos extremos, como falta de energia no servidor ou failover primário/secundário, o DataWorks pode não conseguir encerrar completamente as tarefas relacionadas do MaxCompute. Nessa situação, acesse o projeto correspondente do MaxCompute para terminate the job.

Gerenciamento de nós acionados automaticamente

Implantação de nós acionados automaticamente

Implante um nó no sistema de agendamento de produção antes que ele apareça na lista de nós acionados automaticamente no Operation Center. Para mais informações, consulte Deploy nodes (old-version DataStudio) e Deploy nodes or workflows (new-version DataStudio).

Remoção de implantação de nós acionados automaticamente

Se um nó ou um processo de negócios não for mais necessário, remova sua implantação. Após a remoção da implantação, o nó deixa de aparecer na página Cycle Task. Para mais informações, consulte Undeploy nodes (old-version DataStudio) e Undeploy nodes (new-version DataStudio).

Pausa de execuções agendadas

Importante

Não modifique o nó projectname_root. Este nó é o nó raiz do workspace. As instâncias de nós acionados automaticamente dependem dele. Se você congelar este nó, as instâncias de nós acionados automaticamente não poderão ser executadas.

Operação	Caso de uso	Descrição
Congelar um nó acionado automaticamente	Se um nó e seus descendentes não precisarem ser agendados automaticamente por um período, congele o nó.	Funcionamento: Em um cenário de agendamento automático, um nó é executado somente após todos os seus nós ancestrais serem executados com êxito. Se um nó ancestral estiver congelado, ele bloqueará todos os seus descendentes. Portanto, se um nó e todos os seus descendentes não precisarem ser executados, congele o nó raiz do processo de negócios correspondente. Efeito: Quando um nó acionado automaticamente é congelado, suas instâncias geradas também são congeladas, o que, por sua vez, bloqueia todas as instâncias descendentes dependentes.
Congelar uma instância	Se uma instância específica não precisar ser executada, congele-a.	A operação de congelamento afeta apenas a instância selecionada. Ela não afeta outras instâncias do mesmo dia ou quaisquer instâncias subsequentes geradas pelo nó acionado automaticamente.
Definir um nó acionado automaticamente como execução simulada	Se um nó não precisar ser executado por um período, mas não deva bloquear seus nós descendentes, defina seu tipo de agendamento como Empty Run Scheduling.	Um nó acionado automaticamente definido como execução simulada gera instâncias de execução simulada. Essas instâncias possuem logs de execução vazios, nenhuma duração de execução e não processam dados. Nota Definir o tipo de agendamento como Paused no DataStudio tem o mesmo efeito que congelar um nó acionado automaticamente no Operation Center. No entanto, as alterações feitas no DataStudio entram em vigor apenas no ambiente de desenvolvimento. Para aplicá-las ao ambiente de produção, implante o nó. Para mais informações, consulte Deploy nodes (old-version DataStudio) e Deploy nodes or workflows (new-version DataStudio).

Nota

Para mais informações sobre os efeitos do congelamento e descongelamento de nós acionados automaticamente e suas instâncias, consulte Freeze and unfreeze a node.

Gerenciamento de prioridade do nó

Use o recurso de gerenciamento de linha de base para gerenciar a prioridade de um nó. O agendador aloca recursos para nós de alta prioridade primeiro. Para mais informações, consulte Manage baselines.

Monitoramento e alerta de nós

Configure regras de monitoramento para um nó na lista de nós acionados automaticamente:

Monitore o status das instâncias de nós acionados automaticamente durante execuções agendadas. Para mais informações, consulte Create and manage custom alert rules.
Monitore a qualidade dos dados de tabela gerados por instâncias de nós acionados automaticamente, instâncias de backfill de dados e instâncias de teste. Para mais informações, consulte Data Quality overview.
Monitore o grupo de recursos usado pelo nó definindo alertas para métricas como contagem de instâncias e utilização de recursos. Para mais informações, consulte Create and manage custom alert rules.

Modificação do grupo de recursos de um nó

Modifique os grupos de recursos usados por um nó, incluindo o grupo de recursos de agendamento e o grupo de recursos para Data Integration. Para mais informações, consulte Reference: Switch resource groups.

Nota

Para redefinir outras propriedades de um nó acionado automaticamente, acesse o DataStudio, localize o nó e abra seu painel de configuração. Para mais informações, consulte Configure basic properties. Para modificar vários nós simultaneamente, acesse a página Batch Operations.

Modificação do proprietário do nó

Primeiro, ative o Allow Sub-accounts to Change Node Owner. Após a ativação, o administrador do workspace pode alterar os proprietários das seguintes maneiras:

No DataStudio, altere o proprietário de um único nó ou de vários nós em lote:
- Nó único: Abra o painel Node Scheduling Configuration > General.
- Vários nós: Use a página Batch Operations. Para mais informações, consulte Batch Operations.
As alterações de proprietário no ambiente de desenvolvimento devem ser implantadas no ambiente de produção para entrar em vigor.
No ambiente de produção:
- Nó único: Na coluna Actions do nó, clique em More > Change Owner.
- Vários nós: Selecione os nós cujo proprietário deseja alterar e, em seguida, clique em Change Owner na parte inferior da página.
  
  Nota
  As alterações de proprietário no ambiente de produção são sincronizadas com o ambiente de desenvolvimento.

Visualização de registros de O&M

Ponto de entrada	Descrição
Operation Log para um nó ou instância	Clique em um nó ou instância e acesse a aba Operation Log para visualizar seu histórico de alterações.
Version do nó	Se o processo de implantação não tiver registros detalhados, acesse o DataStudio e compare a versão do nó com a do ambiente de produção para ver as alterações detalhadas. Para mais informações, consulte Deploy nodes (old-version DataStudio) e Deploy nodes or workflows (new-version DataStudio).
Operation History	Visualize os registros de operação para nós, instâncias e linhas de base na página Operation History. Para mais informações, consulte View O&M records in Operation Center.

FAQ

Para perguntas frequentes sobre O&M de nós acionados automaticamente, consulte FAQ about auto triggered nodes.