Nós isolados não possuem dependências de nós ancestrais, o que impede o agendamento automático e pode causar falhas em pipelines downstream. Saiba como identificá-los e resolvê-los.
O que é um nó isolado?
Um nó isolado não tem dependência de nenhum nó ancestral. Consequentemente, uma Periodic tasks ou Auto Triggered Instances com esse status não é acionada pelo sistema de agendamento automático e não será executada. Se um nó isolado tiver muitas dependências downstream, poderá provocar falhas graves no pipeline. O DataWorks envia automaticamente um alerta ao detectar um nó isolado. Caso receba esse alerta, resolva o problema imediatamente. Para mais informações sobre o mecanismo de alertas, consulte Monitoring and alerting for isolated nodes.
No DataWorks, todo nó personalizado com acionamento automático deve ter uma dependência de um nó ancestral para ser agendado e executado.
Resolver nós isolados
|
Cenário |
Descrição |
Solução |
|
Os modos de geração de instância dos nós upstream e downstream são inconsistentes. |
Quando os nós upstream e downstream são novos, o nó downstream pode ficar isolado se sua única dependência for um nó upstream com modo de geração de instância diferente. Por exemplo, se o nó upstream estiver definido como T+1 (Dia Seguinte) e o nó downstream estiver configurado para gerar uma instância imediatamente após a implantação, o nó upstream não gerará uma instância no dia atual, isolando o nó downstream. |
Ajuste o modo de geração de instância do nó upstream e implante-o novamente. Para mais informações sobre este cenário, consulte Scenario 3: Inconsistent instance generation modes. |
|
O nó upstream está fora do período de validade. |
O DataWorks não gera instâncias para nós fora do período de validade especificado. Se a única dependência de um nó downstream for um nó upstream fora do período de validade, o nó downstream ficará isolado. |
Acesse a configuração de agendamento do nó upstream e atualize seu período de validade. Para mais informações, consulte Validity Period. |
|
A saída do nó upstream foi alterada. |
Alterações na lógica de negócios de um nó upstream podem modificar sua saída e quebrar a dependência do nó downstream. Se essa for a única dependência do nó downstream, ele ficará isolado. |
Reconfigure a dependência do nó downstream. Para mais informações, consulte Impacts of deleting or changing a node output. |
|
Existe uma dependência entre workspaces e o agendamento está desativado no workspace do nó upstream. |
Um nó com uma única dependência entre workspaces fica isolado se o agendamento estiver desativado no workspace do nó upstream. |
Entre em contato com o proprietário do workspace do nó upstream para ativar o agendamento ou remova a dependência entre workspaces. Para mais informações sobre como ativar o agendamento, consulte Scheduling settings. |
|
Uma tarefa intermediária está fora do intervalo de tempo especificado para backfill de dados. |
Ao executar um backfill de dados, se uma tarefa intermediária na cadeia de dependências de agendamento estiver fora do intervalo de tempo do backfill, os nós downstream dependentes dessa tarefa poderão ficar isolados. Uma tarefa intermediária possui dependências tanto upstream quanto downstream. Exemplo:
Se você fizer o backfill de dados para os nós A e C no intervalo de tempo |
Execute um backfill de dados para a tarefa intermediária dentro do mesmo intervalo de tempo. Para mais informações, consulte Backfill data. Neste exemplo, também é necessário executar o backfill de dados para o nó B no intervalo de tempo |
Monitoramento e alertas
Todas as noites, o DataWorks gera as Auto Triggered Instances do dia seguinte com base nas Periodic tasks configuradas. O DataWorks utiliza regras de alerta integradas para verificar periodicamente os nós com acionamento automático em busca de problemas, como nós isolados. Quando um problema é detectado, um alerta é acionado automaticamente. Trate esses alertas imediatamente para evitar falhas no pipeline.
O DataWorks verifica o status dos nós com acionamento automático às 09:00, 12:00 e 16:00 todos os dias. Se um problema ocorrer nos 10 minutos anteriores a uma verificação, ele só será detectado na próxima varredura.
O alerta de nó isolado é uma regra integrada do sistema; portanto, não é necessário criá-la manualmente. Por padrão, o DataWorks envia alertas ao proprietário do nó por SMS e e-mail. É possível alterar os destinatários dos alertas para essa regra global na página Rule Management. Para mais informações, consulte Rule Management.
Localizar nós isolados
Acesse o Operation Center e abra a Overview page. A seção Highlights exibe a quantidade e os detalhes dos nós isolados.