Uma dependência do mesmo ciclo significa que o nó atual, em seu ciclo vigente, depende da produção bem-sucedida de dados pelo nó upstream nesse mesmo ciclo — ou seja, se a tarefa foi executada com sucesso. O nó atual só é executado após a conclusão bem-sucedida da instância do ciclo atual do nó upstream. Geralmente, se sua tarefa precisa utilizar dados de tabela produzidos por uma tarefa upstream no mesmo ciclo, configure a tarefa atual para depender dessa instância do mesmo ciclo da tarefa anterior. O DataWorks oferece diversas formas de configurar dependências do mesmo ciclo e inclui um recurso de visualização de dependências, permitindo revisar e corrigir imediatamente quaisquer configurações incorretas para garantir que o agendamento das tarefas funcione conforme o esperado. Este tópico aborda considerações importantes, princípios de configuração e métodos para definir dependências do mesmo ciclo.
Observações importantes
Para garantir dependências de agendamento sem problemas, compreenda primeiro a configuração de agendamento de nós.
Nos grafos DAG do DataWorks, as dependências do mesmo ciclo aparecem como linhas sólidas.
Em alguns cenários complexos, caso as dependências do mesmo ciclo não atendam às suas necessidades, configure dependências entre ciclos. Por exemplo, por padrão, uma tarefa diária depende de todas as instâncias horárias do mesmo dia. Utilize a autodependência na tarefa horária para que a tarefa diária dependa apenas de um ciclo horário específico. Para mais informações sobre cenários de dependência complexos, consulte Princípios e exemplos de configuração de agendamento para cenários de dependência complexos.
Princípios de configuração
Para aumentar a eficiência do desenvolvimento, utilize o recurso de análise automática de dependências para definir rapidamente as dependências dos nós. Ao usar a análise automática durante o desenvolvimento, siga estes princípios:
Criação de nós: Use o mesmo nome para o nó e sua tabela de saída.
Desenvolvimento de código: Evite gravar dados de múltiplos nós na mesma tabela.
Configuração de dependências: Configure a tabela de saída do nó como a saída do próprio nó.
Ponto de acesso e detalhes de configuração
Abra a página de edição de um nó de Data Development. No painel de navegação à direita, clique em Scheduling Settings. Na seção Scheduling Dependency, configure as dependências do nó.
Ao configurar dependências do mesmo ciclo, defina quais tarefas upstream são necessárias para a tarefa atual na seção Parent Nodes. Na seção Output Name of Current Node, defina como outras tarefas podem referenciar as saídas deste nó para estabelecer dependências.
Por padrão, o DataWorks utiliza a linhagem de tabelas do seu código — com base nas tabelas consultadas e gravadas — para configurar rapidamente as dependências. Ao enviar o nó, o sistema verifica automaticamente se as dependências atuais estão alinhadas com a linhagem de dados. Você pode optar por ativar ou não a análise automática de código antes de enviar uma tarefa, conforme suas necessidades de negócio.
A plataforma suporta vários métodos de configuração de dependência: análise automática de linhagem, desenho de conectores no painel de fluxo de trabalho e adição manual. Escolha o método mais adequado às suas necessidades.
Caso seu nó precise de dados produzidos pelo nó upstream ontem, ou se uma tarefa horária ou de nível de minuto depender de sua instância horária ou de minuto anterior, configure uma dependência entre ciclos.
O painel de configuração de dependências possui duas seções principais: Upstream Nodes (entradas para este nó) e Node Outputs.
Upstream Nodes
Esta seção define os nós upstream para o nó atual. Após a configuração, o nó atual será executado somente depois que seus nós upstream forem concluídos com sucesso. Insira aqui os nomes de saída dos nós upstream como entradas para o nó atual. Considere os pontos abaixo ao configurar nós upstream:
Todos os nós devem ter dependências upstream configuradas. Baseie sua configuração na linhagem de tabelas sempre que possível. Se não houver linhagem de tabelas, opte por depender do nó raiz do workspace ou de um nó de carga zero, conforme os requisitos de negócio.
Certifique-se de que os nós upstream já foram enviados. Caso receba um erro informando que a saída do nó upstream não existe durante o envio, confirme se os nós upstream necessários foram realmente enviados.
Método 1: Análise automática de dependências
O DataWorks analisa os nomes das tabelas de saída no formato projectName.tableName em seu código e recomenda nós upstream com base nessas tabelas.
Clique em Parse Inputs and Outputs from Code para gerar automaticamente os resultados analisados na lista de dependências abaixo.
Método 2: Adição manual
Clique no botão Add Dependency. Após selecionar um método de dependência, pesquise a dependência upstream por Name, Output Name ou ID da tarefa de agendamento.
Ao utilizar a análise automática de dependências, garanta que a tarefa upstream já tenha sido enviada e publicada no ambiente de produção e que tenha efetivamente produzido os dados da tabela. Os nós recomendados devem ser enviados ao sistema de agendamento com um dia de antecedência. Somente após a produção dos dados no dia seguinte o recurso de recomendação automática poderá detectá-los. Portanto, os nós recomendados automaticamente apresentam um atraso de T+1.
Node Outputs
As saídas do nó funcionam como ponto de conexão para que outros nós dependam deste nó. Outros nós localizam este nó pelo nome de saída e o configuram como seu nó upstream através das definições de dependência de agendamento. Depois que um nó downstream estabelece uma dependência deste nó e conclui o envio, o nome do nó downstream aparece sob as saídas deste nó. O DataWorks não permite a edição manual de nós downstream na interface de saída do nó. Configure as saídas da seguinte forma:
Se o seu workspace contiver nós com nomes idênticos, suas saídas também poderão compartilhar o mesmo nome, causando falhas no envio. Excluir uma saída de nó que já possui dependências downstream pode causar problemas graves. Para detalhes, consulte: Impacto da exclusão ou alteração de saídas de nó.
Método 1: Geração padrão
O DataWorks gera automaticamente uma saída de nó. Clique em Modify para alterar o nome da tabela de saída.
Os nomes de saída são globalmente únicos e não podem ser modificados ou excluídos. Quando você desenha um conector no painel de fluxo de trabalho para definir uma dependência, o DataWorks gera automaticamente um nome de tabela de saída e um nome de saída como entradas para o nó downstream.
Método 2: Adição manual
Na seção de configuração de saída do nó, clique em Add Output para criar manualmente uma nova saída e especifique seu nome de saída e nome da tabela de saída.
Os nomes de saída seguem o formato workspace_name.custom_configuration e devem ser globalmente únicos.
Princípio de configuração
A configuração de dependência de agendamento trata a saída de um nó upstream como entrada de um nó downstream, criando uma cadeia de dependências. Defina as dependências de agendamento com base na linhagem das tabelas que seu nó consulta e grava. Após a configuração, o nó downstream inicia apenas quando o nó upstream termina sua execução com sucesso, garantindo a disponibilidade correta dos dados em tempo de execução.
É possível configurar dependências de três maneiras. O princípio subjacente permanece o mesmo, independentemente do método escolhido.
|
Método de configuração |
Descrição |
|
Definir dependências de nó desenhando conectores no painel de fluxo de trabalho |
O DataWorks adiciona automaticamente a saída padrão do nó upstream como entrada no nó downstream, estabelecendo a dependência. |
|
Definir dependências de nó usando o recurso de análise automática |
O DataWorks analisa automaticamente a linhagem de tabelas a partir do código do nó e configura as dependências de agendamento com base nessa linhagem. |
|
Adicionar manualmente dependências de nó upstream na interface de Configuração de Agendamento |
Utilize este método quando as dependências analisadas automaticamente não corresponderem aos seus requisitos reais, permitindo ajustar a dependência de agendamento manualmente. |
Métodos de configuração
Definir dependências de nó desenhando conectores no painel de fluxo de trabalho
Adicionar manualmente dependências de nó upstream na interface de Configuração de Agendamento
Definir dependências de nó usando o recurso de análise automática
Próximos passos: Verificar se as dependências atendem às expectativas
Após concluir a configuração, execute as operações abaixo para verificar se o agendamento do job comporta-se conforme o esperado:
Verificação de envio: Confirme durante o envio do nó se as alterações de dependência correspondem às suas expectativas.
Validação de dependência de tarefa recorrente: Após publicar o nó, acesse o Operation Center para confirmar se as dependências de agendamento de produção correspondem às suas expectativas. As tarefas recorrentes refletem o estado mais recente da tarefa no ambiente de produção. As dependências de instância para instâncias recorrentes variam conforme a forma como as instâncias foram geradas.