DataWorks:Diagnóstico de execução de tarefas

No Operation Center, determine o estágio de execução de uma tarefa ou identifique a causa de uma falha de execução com base no status, na cor e no ícone da instância. Para mais informações, consulte visualize the log data.

• Cores e ícones das instâncias: O Operation Center usa cores e ícones diferentes para indicar o estágio da tarefa no processo de execução. Cada cor e ícone corresponde a um status de execução específico, conforme descrito na tabela a seguir.

• Status de execução da instância: verifique também por que uma tarefa não foi executada ao visualizar o parâmetro Node Status na guia Property da página de detalhes da instância.

Se o DataWorks não executar uma tarefa ou se a execução falhar, localize a instância com problema (como uma auto triggered instance, data backfill instance ou test instance) no Operation Center. Em seguida, clique em Execute diagnostics no lado direito da página de detalhes da instância para abrir a página de diagnóstico de execução e identificar rapidamente o motivo da falha de execução da tarefa. A figura a seguir ilustra o procedimento.

O sucesso da execução de uma tarefa depende de vários fatores, como suas dependências upstream, horário agendado, grupo de recursos e seu próprio status de execução. Se uma tarefa demorar muito para executar ou falhar na execução, use o recurso de diagnóstico de execução do DataWorks e siga o fluxo de trabalho abaixo para identificar a causa.

Na página Execute diagnostics, realize as seguintes verificações:

Após a configuração das dependências de um nó, o nó executa somente depois que todas as suas instâncias ancestrais forem concluídas. Os impactos de uma instância ancestral na tarefa atual são os seguintes:

• O sucesso de uma instância ancestral determina se a tarefa atual executará

  Após a configuração das dependências do nó, o sistema estabelece uma dependência de dados por padrão entre a tarefa atual e suas instâncias ancestrais. Isso significa que, se uma instância ancestral não executar, o sistema não gerará os dados upstream dos quais o nó atual depende, podendo causar problemas de qualidade de dados. Portanto, a tarefa atual deve não apenas atingir seu próprio horário agendado, mas também verificar se todas as suas instâncias ancestrais foram concluídas.

• O horário agendado de uma instância ancestral determina o horário de início mais cedo para a tarefa atual

  Uma instância ancestral tem seu próprio horário agendado e só executa quando esse horário for atingido. Se o horário agendado de uma tarefa downstream for anterior ao de seu ancestral, a tarefa downstream não recebe agendamento mesmo que seu próprio horário seja atingido. Ela deve aguardar a conclusão da instância ancestral. Portanto, o horário agendado de uma instância ancestral determina o horário de início mais cedo possível para a tarefa atual. Para mais informações, consulte Impact of dependencies on task execution.

Se uma tarefa estiver no status Não executado (indicado pelo ícone ), clique em Diagnostics para acessar a guia Operation Details. Em seguida, clique em Upstream Nodes para analisar automaticamente e localizar rapidamente as instâncias ancestrais não executadas.

Casos especiais:

• Nó isolado: se uma tarefa no status Não executado não tiver ancestrais ao expandir os nós upstream, trata-se de um isolated node. Um nó isolado não aceita agendamento automático. Configure suas dependências upstream.

• Ancestral congelado: se uma instância ancestral estiver congelada, ela bloqueia as tarefas downstream. Entre em contato com o proprietário da instância ancestral, confirme o motivo do congelamento e ajuste a lógica de negócios de acordo.

O node scheduling time defined no DataStudio é o horário de execução esperado da tarefa. Somente depois que todas as instâncias ancestrais do nó atual executarem com sucesso (ou seja, após a geração dos dados dos quais ele depende), o nó atual verifica se o próprio horário agendado foi atingido. O resultado da verificação determina se a tarefa executará imediatamente. Essa verificação normalmente tem dois resultados:

• O horário agendado para a tarefa atual foi atingido, mas uma instância ancestral ainda está em execução.

  Nesse caso, assim que todas as instâncias ancestrais forem concluídas, a tarefa atual executa imediatamente, se houver recursos suficientes disponíveis no grupo de recursos.

• Todas as instâncias ancestrais foram concluídas, mas o horário agendado para a tarefa atual não foi atingido.

  Nesse caso, a tarefa deve aguardar até que seu horário agendado seja atingido. Se a tarefa estiver no status Tempo de espera (indicado pelo ícone ), clique em Diagnostics e acesse a página Timing Check para obter mais detalhes.

Quando as condições todas as suas instâncias ancestrais foram concluídas e o horário agendado do nó atual foi atingido são atendidas, o sistema começa a agendar a tarefa atual. No entanto, como os recursos de agendamento são limitados, se o grupo de recursos para agendamento não tiver recursos suficientes para executar a tarefa atual, a tarefa aguarda recursos de agendamento.

Se uma tarefa que normalmente executa no horário agendado começar repentinamente a aguardar recursos, verifique os seguintes cenários.

Se uma tarefa estiver no status Falha na execução (indicado pelo ícone ), acesse Operation Details > Execution para visualizar a causa da falha.

As causas comuns para falha na execução de tarefas incluem:

• Falha na execução do código da tarefa (falha na sincronização de dados ou na lógica de processamento de dados).

• Falha na validação da regra de qualidade de dados para a tabela de saída da tarefa (a regra de qualidade de dados associada à tarefa falhou na validação).

• Congelamento da tarefa.

Se uma tarefa de sincronização do Data Integration começar a executar, significa que o sistema de agendamento do DataWorks começou seu agendamento. No entanto, verifique os logs de execução detalhados para determinar se a tarefa realmente começou a sincronizar dados. Para mais informações sobre como analisar logs de tarefas do Data Integration, consulte Analyze batch synchronization logs. Os problemas comuns com tarefas de sincronização são os seguintes:

• Os logs de sincronização de dados registram WAIT por muito tempo

  Se os logs registrarem WAIT continuamente, significa que o sistema de agendamento do DataWorks despachou a tarefa de sincronização, mas o grupo de recursos de sincronização não tem recursos suficientes para executá-la. A tarefa aguarda a conclusão de outras tarefas e a liberação de recursos.

  Por exemplo, um grupo de recursos exclusivo 4C8G para o Data Integration suporta no máximo oito threads paralelas. Se houver três tarefas configuradas com três threads paralelas cada e duas delas forem executadas simultaneamente, elas usarão seis threads. Nesse caso, a máquina tem apenas duas threads paralelas disponíveis. A terceira tarefa, que requer três threads, entra em status de espera devido à insuficiência de recursos, e o log mostra wait. Nesse cenário, acesse Operation Details > Execution > Data Integration para ver quais tarefas ocupam recursos e a quantidade de recursos que cada tarefa usa.

  Nota

  • Uma tarefa do Data Integration ocupa um recurso de agendamento. Se uma tarefa não concluir por muito tempo, ela poderá bloquear outras tarefas.

  • Se a utilização de recursos estiver alta, mas nenhuma tarefa estiver realmente em execução, ou se as tarefas não puderem executar mesmo que o número de tarefas executáveis no grupo de recursos não tenha atingido seu limite, clique em link do aplicativo ou digitalize o código QR a seguir para entrar no grupo do DingTalk do DataWorks para suporte de pré-vendas e pós-vendas. Mencione o chatbot inteligente para obter ajuda ou entre em contato com os engenheiros de plantão durante o horário de serviço. O código QR para o grupo do DingTalk do DataWorks é o seguinte.

  Nota

  O número máximo de threads paralelas que um grupo de recursos exclusivo para o Data Integration pode suportar depende das especificações adquiridas. Para mais informações, consulte Billing of exclusive resource groups for Data Integration.

• Falha na sincronização de dados

  Se uma tarefa de sincronização falhar, consulte a mensagem de erro detalhada e a documentação do plug-in específico para identificar a causa. Para mais informações, consulte FAQ about Data Integration.

Para tarefas com monitoramento e alerta configurados, clique em View Details na área de prompt da página Diagnostics. Na caixa de diálogo Monitoring Details, visualize a lista de regras ou baselines que monitoram a tarefa atual e seu status de acionamento.