O agendamento periódico no DataWorks pode falhar de duas maneiras específicas: loop de dependência de nó, em que uma dependência circular impede a execução de qualquer nó na cadeia, e isolamento de nó, situação em que um nó perde todos os seus nós ancestrais e o sistema não consegue mais agendá-lo automaticamente. Este tópico explica as causas de cada cenário e como corrigi-los.
Cenário 1: Loop de dependência de nó
Como se forma
Um loop de dependência de nó ocorre quando um nó é ancestral de outros nós e, direta ou indiretamente, depende de um ou mais de seus próprios nós descendentes. O resultado é uma dependência circular: nenhum nó consegue iniciar porque cada um aguarda a conclusão de outro dentro do mesmo ciclo.
Exemplo: O Nó A lê dados da Tabela C e grava os resultados na Tabela A. O Nó B limpa a Tabela A e grava na Tabela B. O Nó C limpa a Tabela B e grava de volta na Tabela C. Como o Nó A depende da saída do Nó C — que, por sua vez, depende do Nó A —, os três nós formam um loop.
Solução
Analise o fluxo de trabalho e remova a dependência que cria o loop.
Se o nó ancestral realmente precisar dos dados produzidos pelo seu nó descendente, configure dependências de agendamento entre ciclos para que o nó ancestral leia a saída do ciclo de agendamento anterior em vez do atual. No exemplo acima, configure uma dependência de agendamento entre ciclos entre o Nó A e o Nó C.
Monitoramento e alertas
O DataWorks verifica tarefas acionadas automaticamente em busca de loops de dependência diariamente às 09:00, 12:00, 16:00, 20:00 e 22:00. Ao detectar um loop, o sistema envia uma notificação de alerta ao proprietário do nó por mensagem de texto ou e-mail.
Se um loop se formar até 10 minutos antes de uma verificação agendada, ele ficará fora da janela de detecção dessa verificação e será identificado na próxima.
As regras de alerta para loops de dependência de nó são regras integradas do DataWorks. Para alterar quem recebe as notificações de alerta, atualize o contato de alerta na página Rule Management. Para obter detalhes, consulte Criar uma regra de alerta personalizada.
Cenário 2: Isolamento de nó
O que é um nó isolado
Um nó isolado é um nó acionado automaticamente que não possui nós ancestrais. Sem nós ancestrais, o DataWorks não consegue agendar o nó automaticamente, e quaisquer nós downstream que dependam dele também são afetados.
No DataWorks, todo nó acionado automaticamente, exceto o nó raiz do workspace, deve ter pelo menos um nó ancestral. Um nó sem ancestrais não pode ser executado no horário agendado.
Para verificar se um nó está isolado, clique com o botão direito nele na página Auto Triggered Nodes ou Auto Triggered Instances e selecione Show Ancestor Nodes. Se nenhum nó ancestral aparecer, o nó está isolado.
Por que um nó fica isolado
Antes de corrigir um nó isolado, identifique qual das condições a seguir causou o isolamento. Cinco condições podem transformar um nó acionado automaticamente em um nó isolado.
|
Causa |
O que acontece |
Correção |
|
Nós ancestral e descendente têm modos de geração de instância diferentes |
Um nó recém-criado com o Instance Generation Mode definido como Immediately After Deployment depende de outro nó recém-criado configurado como Next Day. Como nenhuma instância é gerada para o ancestral no dia atual, o nó dependente torna-se isolado. |
Altere o Instance Generation Mode do nó ancestral e faça o novo deploy. Consulte Configurar modos de geração de instância diferentes para uma tarefa acionada automaticamente e sua tarefa ancestral. |
|
O nó ancestral está fora do período de validade |
O DataWorks não gera instâncias para nós fora do período de validade configurado. Se um nó depender exclusivamente desse ancestral, ele se tornará isolado. |
Atualize o parâmetro Effective Period na seção Scheduling Time da aba Properties na página de configuração do nó ancestral. |
|
A saída do nó ancestral foi alterada |
Quando a lógica de negócios do nó ancestral muda, suas saídas mudam consequentemente. Isso invalida a dependência existente e deixa o nó dependente sem um ancestral ativo. |
Reconfigure as dependências de agendamento do nó isolado. |
|
Dependência entre workspaces com agendamento periódico desativado |
O nó ancestral reside em um workspace diferente onde o agendamento periódico não está habilitado. Sem o agendamento periódico, o ancestral não gera instâncias, fazendo com que o nó dependente fique isolado. Dependências entre workspaces são mais suscetíveis a essa falha porque alterações no workspace remoto não são visíveis localmente. |
Entre em contato com o proprietário do workspace para ativar o agendamento periódico nesse workspace ou remova a dependência entre workspaces. |
|
O horário de agendamento da tarefa intermediária está fora do intervalo de backfill |
Exemplo: Tarefa A (horária) e Tarefa C (horária). A Tarefa C depende da Tarefa B, e a Tarefa B depende da Tarefa A. A Tarefa B é executada diariamente às 02:00. Ao fazer backfill de dados para a Tarefa A e a Tarefa C no intervalo de 00:00–01:00, nenhuma instância é gerada para a Tarefa B dentro desse intervalo, deixando a Tarefa C sem uma instância ancestral. |
Faça o backfill de dados da tarefa intermediária no mesmo intervalo de tempo. Neste exemplo, faça também o backfill da Tarefa B para o intervalo de 00:00–01:00. Consulte Fazer backfill de dados e visualizar instâncias de backfill de dados (nova versão). |
Monitoramento e alertas
O DataWorks gera instâncias para nós acionados automaticamente todas as noites para as execuções do dia seguinte. O sistema verifica a existência de nós isolados diariamente às 09:00, 12:00 e 16:00. Quando um nó isolado é detectado, o sistema envia uma notificação de alerta ao proprietário do nó por mensagem de texto ou e-mail.
Se um nó ficar isolado até 10 minutos antes de uma verificação agendada, ele ficará fora da janela de detecção dessa verificação e será identificado na próxima.
As regras de alerta para nós isolados são regras integradas do DataWorks. Para alterar quem recebe as notificações de alerta, atualize o contato de alerta na página Rule Management. Para obter detalhes, consulte Criar uma regra de alerta personalizada.
Visualizar nós isolados
No Operation Center, acesse a página Painel de O&M, abra a aba Workbench Overview e verifique a seção Focus On para ver a contagem e os detalhes de todos os nós isolados no seu workspace.