Após o envio e a implantação de nós acionados automaticamente no sistema de agendamento, eles são executados periodicamente conforme suas configurações. Use a página Cycle Task no Operation Center para visualizar o status dos nós, controlar a execução, responder a falhas e gerencie o ciclo de vida do nó.
Pré-requisitos
Antes de executar as operações descritas neste tópico, certifique-se de que:
O nó acionado automaticamente esteja implantado no sistema de agendamento do ambiente de produção. Apenas nós implantados aparecem na página Cycle Task.
Você possui as permissões necessárias no workspace de destino.
Observações de uso
Nós acionados automaticamente geram instâncias apenas no ambiente de produção. O ambiente de desenvolvimento não gera instâncias agendadas periodicamente.
Ao modificar o código do nó, as configurações de agendamento, os recursos ou as funções no ambiente de produção, envie e implante as alterações para que entrem em vigor.
Caso uma implantação falhe, seja bloqueada ou gere uma versão inadequada, acesse a página Cycle Task no Operation Center para solucionar o problema. Consulte Gerenciar tarefas acionadas automaticamente.
Visão geral
|
Operação |
Descrição |
|
Visualize detalhes do nó e execute operações na lista de nós ou no grafo acíclico direcionado (DAG) na página Cycle Task. |
|
|
Compreenda os três modos de execução, as condições necessárias para executar um nó e como realizar operações de emergência quando um nó estiver bloqueado ou ocorrerem problemas de qualidade de dados nos nós descendentes. |
|
|
Implante e desimplante nós, controle a execução (congelar, execução simulada), configure monitoramento e alertas, altere grupos de recursos e atualize proprietários de nós. |
|
|
Consulte logs de operação, histórico de versões e registros de operação de um nó ou de suas instâncias. |
Visualizar nós acionados automaticamente
A lista de nós na página Cycle Task exibe todos os nós acionados automaticamente implantados no sistema de agendamento do ambiente de produção. Use essa lista para verifique o código do nó, as configurações de agendamento, as dependências de agendamento e a linhagem de dados.
Os seguintes nós não são agendados automaticamente:
Nós sem dependência de outros nós
Nós que atuam como ancestrais de outros nós e também dependem de seus próprios descendentes
Para mais informações, consulte Gerenciar tarefas acionadas automaticamente.
Executar nós acionados automaticamente
Modos de execução
O DataWorks gera instâncias de nós acionados automaticamente todas as noites para o dia seguinte, com base em um snapshot do nó em um momento específico. Para acionar instâncias adicionais manualmente, clique em Backfill Data ou Test na coluna Actions.
|
Tipo de instância |
Quando usar |
Como é gerada |
Como executa |
|
Operações periódicas de extração, transformação e carga (ETL) |
O DataWorks gera instâncias todas as noites para o dia seguinte. |
Acionada automaticamente pelo DataWorks. |
|
|
Preencher dados históricos ou futuros para o nó atual e seus descendentes |
Clique em Backfill Data na coluna Actions. |
As instâncias são geradas e acionadas após o envio da solicitação de backfill. |
|
|
Verificar se um nó executa conforme esperado |
Clique em Test na coluna Actions. O código do nó é executado durante o teste. |
As instâncias são geradas e acionadas após o envio da solicitação de teste. |
Condições para execução de um nó acionado automaticamente
Um nó acionado automaticamente só executa quando todas as condições abaixo são atendidas:
Todos os nós ancestrais foram executados com sucesso.
O horário de execução agendada foi atingido.
Há recursos de agendamento suficientes disponíveis.
O nó não está congelado.
Para mais informações, consulte Pré-requisitos para a execução bem-sucedida de um nó acionado automaticamente.
Solucionar problemas de um nó que não executa após o horário agendado
Sintoma: O horário de execução agendada chega, mas o nó não executa.
Causas comuns:
Um nó ancestral ainda está em execução quando o horário agendado é atingido.
Os recursos de agendamento são insuficientes.
O nó está congelado.
Solução: No DAG do nó, use o recurso de análise upstream para identificar quais nós ancestrais estão bloqueando a execução. Em seguida, use o diagnóstico inteligente para diagnosticar as causas de falha desses nós ancestrais.
Para referência, consulte:
Operações de emergência
Remover uma dependência: Se um nó ancestral não estiver executando e bloquear o nó atual, localize a instância na página Cycle Instance, abra seu DAG, clique em com o botão direito na instância e escolha Emergency Operations > Delete Dependencies. Na caixa de diálogo, insira o nome do nó ancestral bloqueador para remover a dependência.
Antes de remover uma dependência, verifique se essa ação não afeta a saída de dados do nó atual, com base em seu código e linhagem de dados.
Force rerun: Se ocorrerem problemas de qualidade de dados em vários nós descendentes, localize a instância na página Cycle Instance, abra seu DAG, clique em com o botão direito na instância e escolha Emergency Operations > Force Rerun ou Emergency Operations > Force Rerun Descendant Nodes. Para mais informações, consulte Apêndice: Reexecutar forçadamente as instâncias descendentes de uma instância acionada automaticamente.
Encerrar tarefas do MaxCompute: Em casos extremos, como queda de energia do servidor ou failover primário/secundário, o DataWorks pode não encerrar totalmente os processos de tarefas do MaxCompute. Acesse o projeto correspondente do MaxCompute para encerrar tarefas manualmente.
Gerenciar nós acionados automaticamente
Implantar nós acionados automaticamente
Para que um nó apareça na página Cycle Task no Operation Center, implante-o no sistema de agendamento do ambiente de produção. Para mais informações, consulte Implantar nós (versão antiga do DataStudio) ou Implantação de nó ou workflow (nova versão do Data Studio).
Impedir a execução de um nó: congelar, execução simulada ou desimplantar
Use a tabela a seguir para decidir qual opção se adequa à sua situação.
Não congele o nó projectname_root. Este é o nó raiz do seu workspace, e todas as instâncias de nós acionados automaticamente dependem dele. Congelá-lo impede a execução de todas as instâncias no workspace.
|
Opção |
Efeito no nó atual |
Efeito nos nós descendentes |
Reversível? |
Quando usar |
|
Congelar nó |
Todas as instâncias geradas para este nó são congeladas e não executam. |
Instâncias descendentes não podem executar. |
Sim — descongele o nó. |
O nó e seus descendentes não precisam executar por um período. |
|
Congelar instância |
A instância atual não executa. |
Não afetado. |
Sim — descongele a instância. |
Uma única instância não precisa executar. Outras instâncias no mesmo dia e posteriores não são afetadas. |
|
Definir Recurrence como Dry Run |
O nó gera instâncias de execução simulada. O sistema não as executa, não gera logs de execução nem exibe a duração da execução. |
Nós descendentes não são bloqueados e continuam executando normalmente. |
Sim — altere a Recurrence de volta. |
O nó não precisa produzir dados, mas você não deseja bloquear o processamento downstream. |
|
Desimplantar |
O nó é removido do sistema de agendamento e movido para a lixeira. |
— |
Sim — restaure da lixeira e reimplante. |
O nó não é mais necessário. |
Observações adicionais sobre congelamento:
Para impedir que um nó e todos os seus descendentes executem por um período, congele o nó raiz no workflow relevante.
Definir Recurrence como Skip Execution na página do DataStudio tem o mesmo efeito que congelar no Operation Center. Alterações no DataStudio entram em vigor apenas no ambiente de desenvolvimento — implante no ambiente de produção para propagar a alteração.
Para detalhes sobre os impactos do congelamento e descongelamento, consulte Congelamento e descongelamento de nós.
Para informações sobre como desimplantar nós, consulte Desimplantar nós (versão antiga do DataStudio) ou Desimplantar nós (nova versão do Data Studio).
Gerenciar prioridades de nós
Use o recurso de gerenciamento de baseline para ajustar a prioridade de um nó em uma baseline. Recursos de agendamento são alocados primeiro para nós de maior prioridade. Para mais informações, consulte Gerenciar baselines.
Configurar monitoramento e alertas
Localize o nó na lista de nós e configure os seguintes tipos de monitoramento:
Alertas de status do nó: Configure uma regra de alerta personalizada para monitorar o status do nó. Consulte Gerenciar regras de alerta personalizadas.
Alertas de grupo de recursos: Configure uma regra de alerta personalizada para monitorar o grupo de recursos usado pelo nó, com base no número de instâncias aguardando recursos ou no uso de recursos. Consulte Gerenciar regras de alerta personalizadas.
Monitoramento de qualidade de dados: Configure uma regra de monitoramento de qualidade de dados para monitorar dados de tabela gerados quando instâncias acionadas automaticamente, de backfill ou de teste são executadas. Consulte Visão geral.
Alterar o grupo de recursos
Altere o grupo de recursos de agendamento ou o grupo de recursos do Data Integration usado para executar um nó. Para mais informações, consulte Alterar os grupos de recursos usados por tarefas.
Para redefinir outras propriedades de agendamento, acesse o DataStudio, abra a aba de configuração do nó e atualize as propriedades de agendamento. Para atualizações em lote em vários nós, use Operações em lote. Para detalhes das propriedades, consulte Configurar propriedades básicas.
Alterar o proprietário do nó
Antes de alterar o proprietário de um nó, ative a opção Alterar proprietário do nó por usuário RAM. Após a ativação, administradores do workspace podem alterar proprietários em ambos os ambientes.
No DataStudio (ambiente de desenvolvimento):
Nó único: Atualize o proprietário na seção General da aba Properties.
Vários nós: Use Operações em lote.
Implante o nó no ambiente de produção após fazer a alteração.
No Operation Center (ambiente de produção):
Nó único: Localize o nó e escolha More > Change Owner na coluna Actions.
Vários nós: Selecione os nós e clique em Change Owner na parte inferior.
Alterar o proprietário no ambiente de produção também atualiza o proprietário no ambiente de desenvolvimento.
Visualizar registros de operação
|
Ponto de entrada |
O que você pode visualizar |
|
Aba Operation Log na página DAG de um nó ou instância |
Registros de operação do nó ou da instância. |
|
Aba Versions na página do DataStudio |
Compare uma versão existente com a versão de produção para identificar alterações. Consulte Implantar nós (versão antiga do DataStudio) ou Implantação de nó ou workflow (nova versão do Data Studio). |
|
Página Operation History no Operation Center |
Registros de operação de um nó, uma instância ou uma baseline. Consulte Visualizar registros de operação do Operation Center. |
FAQ
Para perguntas frequentes sobre operações de nós acionados automaticamente, consulte FAQ sobre nós acionados automaticamente.