Com a análise automática ativada, confirme quaisquer alterações nas dependências de agendamento de um nó durante o processo de publicação. Isso garante a integridade dos dados de produção e oferece controle sobre as modificações no nó. Ao enviar um nó, o sistema analisa o código para identificar entradas e saídas com base na linhagem de tabelas. Use esses resultados de análise de código para verifique se as dependências upstream e downstream do nó estão corretas.
Informações básicas
Ao enviar um nó, o sistema compara as dependências de agendamento atuais com as do ambiente de desenvolvimento ou produção. As dependências atuais combinam os resultados da análise automática e quaisquer alterações manuais feitas na seção Schedule > Dependencies. Caso haja discrepância, um aviso indica quais entradas ou saídas foram adicionadas ou removidas em relação à versão anterior. Escolha se deseja usar os novos resultados de análise e envie o nó com as dependências atualizadas. Se prosseguir, o sistema adiciona automaticamente os resultados mais recentes à seção Schedule > Dependencies.
Se a análise automática estiver desativada, defina as dependências de agendamento do nó manualmente conforme seus requisitos de negócios. Em seguida, compare as versões do nó para rastrear alterações nessas dependências.
Limitações
Atualmente, o recurso de comparação não oferece suporte à análise de dependências entre ciclos. Se o nó possuir uma dependência entre ciclos, verifique se ela está configurada conforme esperado antes de enviar o nó.
Confirmar novos resultados de análise
Ao enviar um nó, caso o sistema detecte diferença entre as dependências de agendamento analisadas e a configuração no ambiente de produção, verifique se as novas dependências atendem às suas necessidades de negócios. Essa prática ajuda a evitar problemas de dados causados por alterações incorretas nas dependências.
Se o nó atual tiver muitos nós downstream, o impacto de uma alteração pode ser significativo. Compreenda o contexto de negócios e proceda com cautela.
Os exemplos a seguir abordam o impacto das alterações de dependência em tarefas dentro de um agendamento de produção.
Exemplo: Impacto de alterações na dependência upstream
Ao enviar o nó atual, o sistema compara a configuração de agendamento com a do mesmo nó no ambiente de produção. Suponha que ele identifique a ausência do nome de entrada A (uma saída de um nó upstream). Nesse caso, verifique as dependências de agendamento do nó. Por exemplo, se o código do nó depender de dados da tabela A, mas o nó que gera a tabela A deixar de ser uma dependência upstream, o nó poderá ser executado antes que a tabela A esteja pronta. Isso pode resultar em uma saída de dados incorreta.
Exemplo: Impacto de alterações na saída do nó
Ao fazer commit do nó atual, o sistema compara a configuração de agendamento com a do mesmo nó no ambiente de produção. Se houver ausência de um nome de saída, confirme se a tabela gerada pelo nó foi alterada. Caso essa saída possua dependências downstream, verifique se a mudança causará algum impacto imprevisível nos nós subsequentes.
Excluir a saída de um nó com dependências downstream pode transformá-lo em um nó órfão, resultando em falhas de agendamento ou problemas na recuperação de dados. Para mais detalhes, consulte a documentação sobre os efeitos da exclusão ou alteração de saídas de nós.
Ao alterar o nome de saída de um nó, uma caixa de diálogo Important é exibida. Essa caixa lista os nós nos ambientes de desenvolvimento e produção que dependem do nome de saída original e alerta que a alteração pode transformar nós downstream em nós órfãos, impedindo seu agendamento adequado. Clique em Confirm para modificar o nome da saída e continuar com o commit do nó.
Ao optar por aplicar os novos resultados de análise, você exclui uma saída com dependências downstream. Avalie o impacto potencial e proceda com cautela.