DataWorks:Diagnóstico de execução

Com base nos pré-requisitos para a execução de uma tarefa, o DataWorks verifica sequencialmente o status de execução das tarefas upstream, o horário agendado da tarefa atual, o uso dos recursos de agendamento e o status de execução da tarefa corrente.

• Upstream Nodes

  Na página Upstream Nodes, o diagnóstico de execução verifica o status das tarefas upstream. Se alguma tarefa upstream não tiver sido executada com êxito, a tarefa atual será bloqueada. Clique em AI Diagnostics na coluna Actions da tarefa upstream para identificar a causa da falha.

  Nota

  Caso uma tarefa upstream esteja no estado Not Run e a hierarquia de dependência upstream seja profunda, use primeiro o recurso Upstream analysis no painel DAG para localizar rapidamente a tarefa upstream principal que está bloqueando a tarefa atual. Em seguida, use o AI Diagnostics para diagnosticar por que essa tarefa crítica não foi executada. Essa abordagem aumenta a eficiência da operação e manutenção (O&M).

• Timing Check

  A etapa Timing Check verifica se a tarefa atual atingiu seu horário agendado. Essa verificação ocorre somente após a aprovação da validação de dependências upstream.

  Nota

  Ao definir as propriedades de agendamento de uma tarefa no módulo DataStudio, configure o horário de execução esperado no ambiente de agendamento. No entanto, o horário real de execução pode ser posterior ao agendado devido a problemas como falhas em tarefas upstream.

• Resources

  A página Resources do diagnóstico de execução exibe o uso de recursos e lista as tarefas que os estão ocupando enquanto a tarefa atual aguarda. Se a verificação falhar, significa que os recursos são insuficientes e a tarefa permanecerá em espera até que outras tarefas liberem capacidade. Analise as tendências de uso de recursos para ajustar os horários agendados das tarefas e evitar picos de demanda.

  Nota

  Se o horário agendado de uma tarefa for próximo às 00:00 e o tempo de espera for de apenas alguns minutos, isso geralmente é normal durante o período de pico de agendamento. Um grande volume de tarefas é acionado diariamente por volta das 00:00, causando esse atraso na fase de acionamento. Altere o horário agendado para um momento posterior às 00:00.

  Recurso	Descrição
  Scheduling resource information	Exibe o nome do grupo de recursos de agendamento usado pela tarefa atual, a quantidade de tarefas em execução nesse grupo e o número de tarefas aguardando execução. Nota Use serverless resource groups para mitigar a escassez de recursos. Ao usar o grupo de recursos de agendamento compartilhado, considere que o período das 00:00 às 09:00 diárias representa o horário de pico para tarefas do DataWorks. Nesse intervalo, os recursos compartilhados podem ficar insuficientes, exigindo que as tarefas aguardem disponibilidade.
  Diagnosis Results	Mostra o status de execução da tarefa atual.
  Resource Usage Trends	Para usuários do grupo de recursos de agendamento compartilhado, esta seção apresenta a taxa de utilização do grupo ao longo do tempo, bem como o período que a tarefa atual passou aguardando recursos.

• Execution

  A seção Execution apresenta o log de execução, os detalhes das regras de qualidade de dados associadas e o código da tarefa atual. Para tarefas que falharam, o diagnóstico de execução fornece sugestões baseadas nas informações do log, facilitando a identificação rápida da causa do erro.

  Recurso	Descrição
  Log	Exibe o processo detalhado de execução da tarefa. Na seção Execution dos Operation Details, clique na URL da EMR Web UI impressa no Log para acessar a página web do componente EMR correspondente. Em seguida, clique no botão Run diagnostics no canto inferior direito para abrir a página de diagnóstico de execução em uma nova janela e analisar as informações de erro.
  Run Diagnostics	Usa um modelo de linguagem grande (LLM) para analisar logs de erros de tarefas. Os modelos suportados incluem: Qwen, DeepSeek e DW Knowledge Base. Use o Qwen ou o DeepSeek para analisar e interpretar logs de erros, gerando análises e sugestões de resolução. Consulte também as soluções recomendadas na DW Knowledge Base. Nota Após a conclusão da análise do log de erros pelo LLM, execute ações rápidas como Modifique Code, Rerun Instance, Defina Instance to Successful, Modifique Instance Scheduling Resource Group, Modifique Instance Data Integration Resource Group, Envie Ticket e Apply for Table Permissions.
  DQC	Caso existam regras de qualidade de dados associadas à tarefa, elas serão acionadas durante a execução. Nesta seção, visualize os resultados detalhados dessas regras.
  Code details	Apresenta os detalhes do código da tarefa atual.

A página Historical instance fornece as seguintes informações:

• Tendências de métricas em várias dimensões para a tarefa atual: Gráficos visuais ilustram o comportamento do Running time, Start run time, Waiting Time for Resources e Completed At da tarefa nos últimos 15 dias.

• Status de execução de instâncias históricas da tarefa atual: Uma lista detalha a execução de instâncias passadas, incluindo horário de início, término, duração total e tempo de espera por recursos. Na coluna Actions, clique em AI Diagnostics para conferir os resultados no painel Data O&M Agent, localizado no lado direito da página.