Por padrão, as tarefas com gatilho automático do DataWorks usam o modo T+1: as instâncias geradas no dia seguinte à implantação refletem o conteúdo recém-implantado. Para que uma tarefa nova ou modificada entre em vigor no mesmo dia, use o modo Immediately After Deployment.
Como funciona
Após modificar e Submit uma tarefa, a nova configuração entra em vigor no mesmo dia ou no dia seguinte, dependendo do modo de geração de instâncias escolhido.
Dia seguinte (padrão)
Esta opção padrão e recomendada maximiza a estabilidade do ambiente de produção ao isolar as alterações das instâncias em execução no dia atual.
Princípio de funcionamento: Uma implantação no Dia T altera apenas a definição da tarefa e não interfere nas execuções de instâncias desse dia.
-
Impacto no Dia T (dia da implantação):
O sistema atualize somente o código e as definições de propriedades da tarefa. As instâncias já geradas ou agendadas para o Dia T não são afetadas e execute com base na configuração anterior à implantação.
Para aplicar a nova lógica aos dados do dia atual, execute manualmente uma operação de backfill de dados nas instâncias do Dia T após a implantação.
Impacto no Dia T+1 (dia seguinte): Todas as alterações entram em vigor a partir da primeira instância com gatilho automático gerada no dia posterior à implantação (Dia T+1). Essas instâncias são criadas e execute conforme a nova configuração.
Imediatamente após a implantação
Este modo aplica as alterações da tarefa no próprio dia da implantação. O sistema compara o horário de implantação da tarefa com o horário de agendamento de cada instância para determinar como elas serão execute no Dia T.
Princípio de funcionamento: O sistema compara o horário de agendamento de cada instância com gatilho automático no Dia T com o horário de implantação da tarefa acrescido de um buffer de 10 minutos.
-
Horário de agendamento < Horário de implantação + 10 minutos
Resultado: Novas tarefas realizam uma execução simulada (dry run); tarefas modifique não geram instância.
Para novas tarefas nunca implantadas anteriormente, a instância expira e realiza uma execução simulada sem processar a lógica de negócios. Para tarefas modifique e reimplantadas, as instâncias expiradas não são geradas.
-
Horário de agendamento > Horário de implantação + 10 minutos
Resultado: Execução normal.
O sistema gera e execute a instância com base na nova configuração.
Impacto no Dia T+1 (dia seguinte): Todas as instâncias com gatilho automático do dia seguinte (Dia T+1) são geradas conforme a nova configuração.
Implantações envie entre 22:00 e 24:00 entram em vigor no Dia T+2, independentemente do modo de geração selecione.
Limitações
Horário de vigência da alteração: O sistema gera instâncias em lotes diariamente, das
22:00às24:00. Para implantações envie nesse período, as alterações passam a valer nas instâncias com gatilho automático geradas em T+2.Restrições quanto a alterações na source de dados: Se você modifique apenas a source de dados de um nó, as instâncias com gatilho automático já geradas para o dia não serão atualize, mesmo que você selecione
Immediately After Deployment. Elas continuarão a executar com a source de dados configurada anteriormente. Para aplicar a mudança imediatamente, use o recurso backfill data.
Cenários de implantação imediata
O modo Immediately After Deployment apresenta riscos mais elevados. O uso inadequado pode desorganizar as dependências de agendamento, causar exclusão ou substituição inesperada de instâncias e comprometer a estabilidade das tarefas do dia atual.
Casos de uso recomendados
Use este modo com cautela e apenas nas seguintes situações:
Novas tarefas que precisam execute no mesmo dia: Indicado para novas tarefas sem dependências complexas de ancestrais ou descendentes que devam rodar no dia da implantação.
Substituição de instâncias existentes: Adequado para substituir uma instância com gatilho automático pendente, gerada para o dia atual mas ainda não execute.
Cenários de alto risco (não recomendados)
Evite usar este modo nos casos abaixo, pois ele pode complicar as dependências de agendamento do dia atual e provocar falhas:
Modificação do agendamento de uma tarefa já implantada: Esta ação é especialmente arriscada em tarefas com dependências complexas de ancestrais e descendentes. Alterar o ciclo de agendamento (por exemplo, de diário para horário) e implantar imediatamente pode resultar em uma mistura de instâncias antigas mantidas com novas instâncias criadas, desorganizando as dependências.
Modos de geração de instâncias inconsistentes entre tarefas ancestrais e descendentes: Por exemplo, quando uma tarefa ancestral usa o modo
T+1enquanto sua descendente usaImmediately After Deployment. Essa configuração impede que as instâncias da tarefa descendente geradas no mesmo dia localizem suas dependências ancestrais, transformando-as emisolated tasksincapazes de executar automaticamente.
Solução alternativa
Para cenários que envolvem modificações em uma tarefa já implantada, uma abordagem mais segura consiste em:
Use o modo padrão
T+1para implantar as tarefas.Após o sucesso da implantação, execute uma operação de backfill data na tarefa para acionar manualmente uma instância referente ao dia atual.
Cenários
Cenário 1: Nova tarefa
Após a implantação de uma nova tarefa, a execução da instância depende se o horário de agendamento ocorre antes ou depois do horário de implantação somado ao buffer de 10 minutos.
|
Horário de agendamento |
Comportamento |
|
Posterior a (horário de implantação + 10 minutos) |
O sistema gera uma instância com gatilho automático normal, que execute no horário agendado. |
|
Anterior ou igual a (horário de implantação + 10 minutos) |
O sistema gera uma instância expirada gerada em tempo real. Essa instância fica em estado de execução simulada (dry run) e não execute de fato. Caso precise processar dados do dia atual, faça um backfill de dados para o timestamp de dados desse dia. Essa operação também tem um atraso de 10 minutos antes da geração da instância. Para mais informações, consulte How it works. |
Por exemplo: Se uma tarefa for implantada no ambiente de produção às 12:00, a instância em tempo real entrará em vigor às 12:10.
Se o horário de agendamento da tarefa for posterior às
12:10, a tarefa será agendada para execução.Se o horário de agendamento da tarefa for anterior às
12:10, a tarefa realizará uma execução simulada e o status de sua instância será instância expirada gerada em tempo real.
Cenário 2: Atualização do ciclo de agendamento
Ao atualize as propriedades de agendamento (como frequência e horário) de uma tarefa de produção e implantar as alterações, instâncias anteriores e posteriores à mudança podem coexistir no mesmo dia, resultando em dependências de agendamento complexas.
Esse cenário ocorre apenas no dia em que a tarefa é implantada com geração imediata. No dia seguinte, a tarefa gera instâncias com gatilho automático normalmente, seguindo a nova configuração.
O comportamento específico é o seguinte:
-
Se o novo horário de agendamento estiver no futuro:
O DataWorks substitui as instâncias já geradas para os slots de horário futuros por novas instâncias baseadas na configuração de agendamento mais recente.
-
Se o novo horário de agendamento estiver no passado:
O DataWorks mantém as instâncias agendadas antes do novo horário e substitui ou exclua as instâncias agendadas após esse momento.
Cenário 3: Modos inconsistentes
Quando uma tarefa ancestral e sua descendente são ambas novas, mas usam modos de geração de instâncias diferentes, a descendente pode se tornar uma tarefa isolada. Por exemplo, se a ancestral usar Next Day e a descendente usar Immediately After Deployment, a tarefa descendente poderá se tornar uma isolated task. Uma tarefa isolada não execute automaticamente. Caso possua muitas dependências descendentes, isso pode causar graves interrupções nos processos de negócios downstream.
Cenário 4: Alteração do agendamento do ancestral
Ao modifique o agendamento de uma tarefa ancestral que possui tarefas descendentes com frequências de agendamento distintas, as dependências das tarefas descendentes são ajustadas com base na configuração de agendamento mais recente do ancestral (por exemplo, diária, mensal ou horária).
Quando você altera o agendamento de uma tarefa de produção, as dependências de suas instâncias descendentes são reestabelecidas conforme o novo agendamento. Isso afeta tanto as instâncias recém-geradas quanto as mais antigas que não foram substituídas. Para detalhes sobre cenários de dependência em nível de hora e minuto, consulte Principles and samples of scheduling configurations in complex dependency scenarios. Este cenário se aplica apenas quando a versão da tarefa a ser implantada tem seu Modo de Geração de Instâncias defina como Immediately After Deployment e também inclui uma alteração no horário de agendamento.
A seguir, exemplos de cenários:
Cenário 1: O agendamento de uma tarefa ancestral é alterado de a cada 6 horas para a cada 8 horas (00:00, 08:00, 16:00), e o modo Immediately After Deployment é selecione.
Cenário 2: O agendamento de uma tarefa ancestral é alterado de a cada 6 horas para diariamente às 16:00, e o modo Immediately After Deployment é selecione.
