DataWorks:Tarefa não executada

Limitações

O agendamento automático é compatível apenas no Operation Center para o ambiente de produção. Certifique-se de que o nó foi publicado no ambiente de produção. Para mais informações, consulte Publish tasks.

Condições de execução do nó

O Operation Center usa diferentes indicadores de status para identificar os estados das instâncias.

Um nó agendado é executado somente quando todas as seguintes condições são atendidas: os recursos de agendamento estão disponíveis, o horário de agendamento chegou, todos os nós ancestrais foram concluídos com êxito e o nó não está pausado nem congelado.

• Roxo (Congelado): A instância está congelada. O nó não será executado e bloqueará seus nós downstream. clique em Show Details>Operation Logs para visualize os registros relacionados.

• Amarelo (Aguardando): O nó está aguardando o horário de agendamento. clique em Show Details no canto inferior direito e verifique a aba Attribute.

  Nota

  • Se o status for Waiting for Resources, o número de nós em execução no projeto atingiu o limite máximo. clique em execute diagnostics card no lado direito da página de detalhes da instância e verifique a seção de recursos de agendamento para ver quais nós estão consumindo recursos. Para mais informações, consulte Waiting for resources.

  • Se o status for Waiting for Scheduling Time, o horário de agendamento da instância ainda não chegou.

• Cinza (Não executado): clique com o botão direito do mouse na instância cinza para verificar o status de seus nós ancestrais. Use Run Diagnostics e Upstream Analysis.

• Azul (Em execução): A instância está em execução. Se o nó não for concluído após um longo período, consulte Waiting for resources.

  Nota

  Se nenhum nó ancestral estiver em qualquer um dos estados anteriores e todo o fluxo de trabalho estiver cinza, as dependências do nó ancestral podem ter mudado, isolando o fluxo de trabalho. Para mais informações, consulte

  Scenario: Isolated node

  .

Motivos para execução atrasada

• Sintomahorário de agendamento2022-04-07 00:08:00começa a aguardar recursos2022-04-07 00:59:50horário de início2022-04-07 01:21:02

  Quando uma instância acionada automaticamente é executada, seu horário de agendamento pode diferir do horário de início real. Um nó pode não ser executado mesmo após a passagem do seu horário de agendamento.

  Por exemplo, para uma instância de nó ODPS SQL, o

  é

  , o momento em que

  é

  , e o

  é

  . A instância ficou 21 minutos e 12 segundos aguardando recursos, o que demonstra uma diferença significativa entre os três registros de tempo.

• Solução de problemas

  Primeiro, use o recurso

  ancestor node analysis

  para localizar a instância chave que está bloqueando o nó atual. Em seguida, use

  execute diagnostics

  para determinar por que o nó está bloqueado.

  Um nó no dataworks pode não ser executado por um de quatro motivos comuns. Os exemplos a seguir usam uma dependência de três níveis para ilustração, mas a mesma lógica se aplica a dependências mais complexas.

  • Cenário 1: Nem todos os nós ancestrais foram executados com êxito (Status do nó: Cinza Not Run).

    

    Cenário: Suponha que a hora atual seja 01:00. O Nó A2 está agendado para 01:00, o Nó A3 para 03:00 e o Nó B para 00:00. O Nó B depende dos nós A2 e A3.

    Análise: O horário de agendamento do Nó B (00:00) já passou. No entanto, como seus nós ancestrais ainda não atingiram seus horários de agendamento, o Nó B precisa aguardar a execução e o êxito tanto do Nó A2 quanto do Nó A3. Se o A2 ou o A3 falhar, o Nó B não será executado. Portanto, o status atual da instância do Nó B é Not Run.

    Conclusão: Um nó é executado somente após todos os seus nós ancestrais terem sido executados com êxito.

    Nota

    Se um nó ancestral permanecer no estado de execução por um período prolongado, tente as seguintes soluções.

    • Se um nó de sincronização não em lote permanecer em execução e você quiser descobrir a causa,obtenha suporte no DingTalk. Primeiro, clique em este link para entrar no grupo "Alibaba Cloud Big Data & AI Platform". Em seguida, escaneie o QR code para entrar no grupo de product do dataworks, onde você pode pedir ajuda ao assistente inteligente ou à equipe de plantão.

    • Se um nó de sincronização em lote permanecer em execução, ele pode estar aguardando recursos de execução ou processando lentamente. Para mais informações, consulte How to troubleshoot long-running batch synchronization nodes.

  • Cenário 2: O horário de agendamento do nó não chegou (Status do nó: Amarelo Waiting for Scheduling Time).

    

    Cenário: Suponha que a hora atual seja 04:00. O Nó A2 está agendado para 01:00, o Nó A3 para 03:00 e o Nó B para 05:00. O Nó B depende dos nós A2 e A3.

    Análise: Os nós ancestrais A2 e A3 já foram executados com êxito. No entanto, como o horário de agendamento do Nó B (05:00) ainda não chegou, o status atual de sua instância é Waiting for Scheduling Time.

    Conclusão: Um nó é executado somente após a chegada do seu horário de agendamento.

  • Cenário 3: Recursos de agendamento insuficientes no projeto (Status do nó: Amarelo Waiting for Resources).

    

    Cenário: Suponha que a hora atual seja 04:00. O Nó A2 está agendado para 01:00, o Nó A3 para 03:00 e o Nó B para 00:00. O Nó B depende dos nós A2 e A3.

    Análise: O horário de agendamento do Nó B já passou, e seus nós ancestrais A2 e A3 foram concluídos com êxito. No entanto, o grupo de recursos não tem recursos suficientes, então o nó não consegue obter recursos de agendamento. Portanto, o status atual de sua instância é Waiting for Resources.

    Conclusão: Um nó é executado somente quando há recursos de agendamento suficientes disponíveis. Quando um nó está aguardando recursos, o log indica que o limite de simultaneidade para nós no projeto foi atingido e o nó está aguardando recursos de gateway.

    Nota

    Se o nó for executado em um grupo de recursos exclusivo, visualize o grupo de recursos no

    console do dataworks

    . Verifique o

    Resource Groups

    para visualize os nós em execução e a marca d'água de recursos. clique também em

    execute diagnostics

    card no lado direito da página de detalhes da instância para ver quais nós estão consumindo recursos enquanto o nó atual aguarda. Para mais informações, consulte

    Waiting for resources

    .

  • Cenário 4: O nó está congelado (Status do nó: Roxo congelado).

    

    Cenário: Suponha que a hora atual seja 04:00. O Nó A2, agendado para 01:00, teve seu agendamento pausado. O Nó A3 está agendado para 03:00 e o Nó B está agendado para 00:00. O Nó B depende dos nós A2 e A3.

    Análise: Conforme explicado no primeiro cenário, um nó é executado somente após todos os seus nós ancestrais terem sido concluídos com êxito. No diagrama à esquerda, o Nó B não será executado porque seu nó ancestral A2 está congelado. No diagrama à direita, o Nó B não será executado porque ele mesmo está congelado, mesmo que seus nós ancestrais tenham sido concluídos com êxito.

    Conclusão: Um nó não será executado se ele ou qualquer um de seus nós ancestrais estiverem congelados.