Nó de verificação de dependência - DataWorks: Central de Documentação do Alibaba Cloud

Visão geral do recurso

O nó de verificação de dependência gerencia cenários complexos de dependência entre ciclos. Por exemplo, quando um nó diário precisa aguardar o sucesso de todos os nós horários do dia anterior, ou quando é necessário satisfazer simultaneamente condições de vários nós em workspaces diferentes.

Principais recursos

Dependências entre entidades: Configure dependências entre workspaces e fluxos de trabalho.
Dependências entre ciclos: Especifique com precisão o intervalo de tempo das instâncias upstream para dependências entre ciclos.
Combinações lógicas complexas: Combine várias condições de verificação de dependência usando operadores AND e OR.
Políticas de verificação personalizadas: Defina o intervalo de verificação e a duração máxima conforme necessário. O nó falha se a duração for excedida.

Requisitos

Requisitos de edição: Este recurso está disponível apenas no DataWorks Enterprise Edition.

Interface de configuração

A configuração do nó de verificação de dependência possui duas seções principais: Check dependencies e Check settings.

Na área Dependency Check, adicione itens de verificação, cada um especificando um nó upstream e um período de tempo. Combine vários itens de verificação com operadores lógicos AND/OR. A área check settings contém dois parâmetros: check interval (padrão: 1 minuto/verificação) e max duration (padrão: 60 minutos).

Configurar um nó de verificação de dependência

Configurar um nó de verificação de dependência significa construir uma expressão lógica a partir de itens e grupos de verificação combinados com relações AND/OR. Cada item de verificação aponta para uma ou mais instâncias de um nó upstream dentro de um intervalo de tempo específico. Durante a execução, o nó avalia toda a expressão e retorna um valor booleano (True/False) que determina se os nós downstream são executados ou permanecem bloqueados.

Configurar itens de verificação

Configure vários grupos de verificação em um único nó de verificação de dependência. Cada grupo pode conter múltiplos Check item, o que permite construir uma rede de dependências complexa.

Adicionar grupos e itens de verificação:
- Clique em + Add Item para criar uma nova condição de verificação de dependência.
- Organize vários itens de verificação dentro de um grupo de verificação.

Configurar o conteúdo de um item de verificação:

Task: Pesquise e selecione o nó do qual depender pelo seu Output Name, Name ou ID.
- Selecione nós do mesmo fluxo de trabalho, de um fluxo diferente no workspace atual ou de outro workspace onde você tenha permissões.
  
  Importante
  Para dependências simples entre workspaces ou fluxos de trabalho, consulte Configurar dependências de agendamento entre fluxos de trabalho e workspaces.
- Caso selecione um nó não publicado no ambiente de produção, o sistema exibe um aviso: The selected node is not published to the production environment. The check may fail at runtime.

Period: Determina qual instância histórica do nó upstream verificar durante a execução. Selecione um tipo de período conforme sua necessidade. A tabela a seguir fornece mais detalhes.

Nota

As condições dentro de um único item de verificação possuem uma relação AND. Por exemplo, se você selecionar todos os nós horários de um determinado dia, todos devem ter sido executados com sucesso para que o item retorne True.

Tipo de período

Opções

Descrição

Minuto

Previous X minutes (X é 0-59)

Verifica a instância de X minutos antes da hora atual. Current minute corresponde a Previous 0 minutes.

Hora

Previous X hours (X é 0-23)

Verifica a instância de X horas antes da hora atual. Current hour corresponde a Previous 0 hours.

Dia

Previous X days (X é 0-7)

Verifica as instâncias de X dias civis atrás. Today corresponde a Previous 0 days.

Semana

Monday to Sunday of this week, Monday to Sunday of last week, Last Monday, Last Tuesday... Last Sunday.

Verifica instâncias dentro do intervalo semanal especificado.

Mês

First day to last day of this month, First day of this month, Last day of last month, entre outros.

Verifica instâncias dentro do intervalo mensal especificado.

Definir relações lógicas (AND/OR):
- No lado esquerdo da interface, defina a relação lógica entre grupos de verificação e entre itens de verificação dentro de um grupo.
  - AND: Todos os itens ou grupos de verificação associados devem ter sucesso.
  - OR: Pelo menos um dos itens ou grupos de verificação associados deve ter sucesso.

Configurar definições de verificação

Na parte inferior da página, defina o comportamento de verificação do nó:

Check interval: Define a frequência de verificação do status de todas as dependências. O valor mínimo é 1 minute/check.
Max duration: Define o tempo máximo de espera do nó. Se as dependências não forem atendidas após essa duração, o próprio nó de verificação de dependência falha. O valor máximo é 1440 minutes (24 horas).

Lógica de execução e status

Em execução: Dentro da Max duration, se qualquer condição de dependência não for atendida, a instância permanece no estado Running e tenta novamente periodicamente conforme o intervalo de verificação.
Sucesso: Dentro da Max duration, se todas as condições de dependência forem atendidas conforme a lógica AND/OR configurada, o status do nó muda para Running Succeeded.
Falha:
1. A Max duration é excedida e as condições de dependência ainda não foram atendidas.
2. Durante a verificação, se uma dependência obrigatória (como uma dependência em uma relação AND) apontar para uma tarefa inexistente, o nó termina antecipadamente e seu status muda para Failed.

Caso de uso: Dependências horárias entre dias

Suponha que você tenha um nó de relatório resumido diário (rpt_daily_summary) que deve aguardar um nó horário chamado ods_hourly_log. Especificamente, todas as 24 instâncias do nó horário do dia anterior (00:00 às 23:59) devem ter sucesso antes que o nó diário possa iniciar.

Adicionar um nó de verificação de dependência: No seu fluxo de trabalho, adicione um nó de verificação de dependência upstream do seu nó diário rpt_daily_summary e conecte-os.
Configurar o item de verificação: Clique duas vezes no nó de verificação de dependência para configurar seus itens de verificação.
- Adicionar a tarefa dependente: Clique em + Add Item. Na caixa de entrada Task, pesquise e selecione o nó horário do qual depender, ods_hourly_log.
- Definir o intervalo de tempo: Configure o Period selecionando Day e, em seguida, selecionando Previous 1 day.
  
  O sistema verificará se todas as instâncias (24 no total) deste nó horário do dia civil anterior tiveram sucesso.
- Definir a relação lógica: Como há apenas um item de verificação, mantenha a relação lógica do grupo de verificação e seus itens como o padrão AND.
Configurar a política de verificação:
- Check interval: Por exemplo, defina como 5 minutes/check. Isso significa que, se as condições de dependência não forem atendidas, o sistema aguarda 5 minutos antes de verificar novamente.
- Max duration: Por exemplo, defina como 180 minutes. Assim, o nó aguardará no máximo 3 horas a partir do horário de início agendado do nó diário. Se nem todos os nós horários do dia anterior tiverem sido concluídos após 3 horas, o nó de verificação de dependência falhará e o nó diário downstream não iniciará. Isso evita esperas indefinidas e ajuda a expor problemas prontamente.

Após concluir a configuração, salve e publique-a. Agora, seu nó de relatório diário aguardará até que todos os dados horários necessários estejam prontos antes de ser executado.

Apêndice: Diferenças em relação às dependências de agendamento

Atributo

Verificação de dependência

Dependência de agendamento

Método de acionamento

O nó de verificação de dependência consulta ativamente o status dos itens de verificação. Os nós referenciados pelos itens de verificação não acionam nem modificam o status do nó de verificação de dependência.

Quando o nó alvo atinge seu horário de execução agendado, ele verifica se o nó de dependência de agendamento upstream teve sucesso.

Visualização DAG

A relação de dependência é definida na configuração do nó e não aparece na visualização DAG.

A visualização DAG exibe a dependência como uma linha de conexão de upstream para downstream.

Comportamento de backfill e reexecução

Reexecutar ou fazer backfill de um nó em um item de verificação não aciona automaticamente o nó alvo.

Ao fazer backfill de um nó de dependência de agendamento, você pode optar por acionar o nó alvo.