Uma dependência de agendamento entre ciclos garante que a instância atual de um nó seja executada somente após o sucesso da instância do ciclo de agendamento anterior. Esse recurso é útil quando uma tarefa diária precisa dos dados do dia anterior ou quando uma tarefa horária ou de nível de minuto depende de sua instância precedente. Este tópico explica como configurar essas dependências.
Observações de uso
Antes de configurar uma dependência de agendamento entre ciclos, observe os pontos a seguir.
|
Item |
Descrição |
Referências |
|
Exibição de dependências entre ciclos |
No DAG do DataWorks, uma linha tracejada representa uma dependência de agendamento entre ciclos. |
|
|
Verifique dependências do mesmo ciclo após a configuração |
Após configurar as dependências, um nó descendente é executado somente depois que todos os seus nós ancestrais forem concluídos. As dependências do mesmo ciclo são analisadas automaticamente. Depois de configurar uma dependência entre ciclos, verifique se a dependência do mesmo ciclo ainda é necessária. Caso contrário, exclua a dependência gerada automaticamente para garantir a execução correta do nó descendente. |
|
|
Uso em cenários complexos |
Em alguns casos, configure uma dependência de agendamento entre ciclos quando uma dependência do mesmo ciclo não atender aos requisitos. Por exemplo, uma tarefa diária depende de todas as instâncias de uma tarefa horária por padrão. Configure uma autodependência para a tarefa horária a fim de fazer com que a tarefa diária dependa de uma instância de um ciclo específico. |
Princípios e exemplos de configurações de agendamento em cenários de dependência complexa |
|
Visualize dependências de nó |
Antes de implantar uma tarefa, visualize suas dependências para verificar se os relacionamentos entre instâncias estão corretos. Essa prática evita atrasos no agendamento no ambiente de produção causados por configurações incorretas. |
|
|
Implantação de tarefas |
Implante tanto os nós ancestrais quanto os descendentes de uma dependência de agendamento entre ciclos no ambiente de produção. Em seguida, visualize o relacionamento de dependência no Operation Center. |
Ponto de entrada da configuração
Na página do editor de nós no DataStudio, clique em Scheduling Settings no painel de navegação à direita. Na seção , acesse a área Previous Cycle para configurar as dependências do nó.
Tipos de dependência
A tabela a seguir descreve os tipos de dependências de agendamento entre ciclos compatíveis.
|
Tipo de dependência |
Relacionamento de dependência de nó |
Cenário de negócios |
|
A instância atual de um nó é executada somente após o sucesso de sua própria instância do ciclo anterior. |
A instância atual de um nó depende dos dados produzidos por sua própria instância no ciclo anterior. |
|
|
A instância atual de um nó é executada somente após o sucesso de seus nós descendentes do ciclo anterior. |
A instância atual depende do processamento bem-sucedido dos dados da tabela de saída de seu próprio ciclo anterior pelos nós descendentes no ciclo anterior. |
|
|
A instância atual de um nó depende dos resultados das instâncias de outros nós especificados do ciclo anterior. A instância atual é executada somente após o sucesso dos nós especificados do ciclo anterior. |
A instância atual possui uma dependência de lógica de negócios em dados de outro processo de negócios, mas o código do nó não referencia esses dados diretamente. |
Autodependência
A instância atual de um nó depende dos dados produzidos por sua própria instância no ciclo anterior. A figura a seguir mostra um exemplo das configurações de dependência e o relacionamento resultante.
Os resultados de execução das instâncias de uma tarefa horária ou tarefa de nível de minuto são interdependentes em diferentes ciclos de agendamento.
Quando uma tarefa diária depende de uma tarefa horária ou tarefa de nível de minuto, configurar ou não uma autodependência para a tarefa horária ou de nível de minuto afeta o tempo de execução da tarefa diária:
-
Tarefa horária ou de nível de minuto sem autodependência
Por padrão, a tarefa diária depende de todas as instâncias da tarefa horária ou de nível de minuto do dia atual. A tarefa diária agrega e processa todos os dados de tabela produzidos pela tarefa horária ou de nível de minuto naquele dia.
-
Tarefa horária ou de nível de minuto com autodependência
A tarefa diária depende da instância mais próxima da tarefa horária ou de nível de minuto com base no princípio de proximidade, em vez de depender de todas as instâncias do dia atual.
Para obter mais informações sobre cenários específicos de dependência, consulte Apêndice: Resumo de cenários de dependência complexa.
Ao executar backfill de dados para uma tarefa com autodependência, suas instâncias são executadas sequencialmente em ordem cronológica. Para obter mais informações, consulte Comportamento de backfill de dados para tarefas com autodependência.
Dependência em nós descendentes de nível 1
A instância atual de um nó depende dos resultados de processamento de seus nós descendentes do ciclo anterior. Essa dependência garante que os dados do ciclo anterior do próprio nó foram processados com sucesso por seus descendentes.
Por exemplo, o nó C tem dois nós descendentes, A e B. Uma dependência em nós descendentes de nível 1 significa que o nó C depende dos resultados do nó A e do nó B do ciclo anterior (T-1 na figura). A instância atual do nó C (em T) começa a ser executada somente após o sucesso das instâncias do nó A e do nó B do ciclo anterior.
Dependência em outros nós
A instância atual de um nó é executada somente após o sucesso das instâncias de outros nós especificados do ciclo anterior.
Por exemplo, o nó A e o nó B são dois nós descendentes de outro nó. Configure uma dependência em outros nós de modo que o nó B dependa do resultado do nó D do ciclo anterior (T-1 na figura). A instância atual do nó B (em T) começa a ser executada somente após o sucesso da instância do nó D do ciclo anterior.
Herdar o atributo de execução simulada
Essa configuração é usada principalmente com nós de ramificação.
-
Ponto de entrada da configuração
Nas configurações de dependência de agendamento, defina a opção Skip the dry-run property of the ancestor node como Yes. Isso impede que o nó descendente herde o atributo de execução simulada de seu nó ancestral no ciclo anterior.
-
Caso de uso
Um nó possui vários nós descendentes. Durante a execução da tarefa, algumas ramificações descendentes podem ser definidas para um estado de execução simulada. Se um nó descendente em estado de execução simulada também for configurado com uma autodependência, ele transmitirá o atributo de execução simulada para as instâncias subsequentes, causando um estado perpétuo de execução simulada. Para evitar essa herança, defina Skip the dry-run property of the ancestor node como Yes.
-
Example
Suponha que Assign_Node seja um nó de atribuição, Branch_Node seja um nó de ramificação, e Shell_Node1 e Shell_Node2 sejam nós descendentes de Branch_Node. Todos são tarefas diárias.
Durante uma execução, Shell_Node1 é definido como execução simulada, enquanto Shell_Node2 é executado normalmente.
O nó Shell_Node1 é configurado com uma autodependência em seu ciclo anterior.
A instância de Shell_Node1 gerada no ciclo atual (T) é chamada
Shell_Node1'.A instância de Shell_Node1 gerada no ciclo anterior (T-1) é chamada
Shell_Node1.
A instância Shell_Node1'do ciclo atual (T) depende da instânciaShell_Node1do ciclo anterior (T-1). Se "Skip Ancestor's Dry-run Attribute" não estiver ativado, a nova instância herdará o atributo de execução simulada da instância anterior, fazendo com que o nó Shell_Node1 permaneça em um estado permanente de execução simulada.
Visualize dependências de agendamento
Após configurar as dependências, visualize-as. Para obter detalhes, consulte Próximas etapas: Verificar se as dependências estão conforme o esperado.