Problemas e soluções relacionados à espera por recursos - DataWorks: Central de Documentação do Alibaba Cloud

Problemas comuns e soluções para instâncias de tarefas que estão aguardando recursos no DataWorks.

Why do tasks wait for resources?
Why does a task keep waiting for gateway scheduling resources?
Why does a data integration task keep showing wait?

Por que as instâncias ficam aguardando recursos?

Sintoma
Quando o agendador despacha uma tarefa para o mecanismo de execução, a instância pode entrar em fila pelos seguintes motivos:
- Aguardando um grupo de recursos para agendamento.
- Aguardando um grupo de recursos para Data Integration.
- Aguardando recursos de computação do mecanismo.
Causa

Os recursos em um grupo de recursos são limitados. Tarefas de longa duração que não liberam recursos impedem a execução de outras tarefas. Para obter mais informações sobre o mecanismo de despacho de tarefas, consulte Overview of DataWorks resource groups.
Solução

Acesse Operation Center > Run diagnostics e insira um id de instância para realizar uma análise de ponta a ponta da tarefa. Isso permite verificar o status de execução e de fila da tarefa, além de identificar quais outras tarefas estão consumindo recursos. É possível localizar rapidamente tarefas que ocupam recursos por muito tempo e bloqueiam o pipeline de execução. Para obter mais informações, consulte Run diagnostics.

Para um nó de instância com status Waiting for Resources, clique com o botão direito no nó e selecione Run Diagnostics > Resources para visualizar outras tarefas que ainda estão em execução quando o Running Status da tarefa atual é Waiting for Resources. Alternativamente, no painel de detalhes do nó no canto inferior direito, clique em Diagnose ao lado do status da tarefa para abrir o Run diagnostics. Ao filtrar tarefas, defina o execution status como waiting for resource na barra de filtros superior para localizar rapidamente as instâncias relevantes.
Atraso normal durante o pico de agendamento à meia-noite

Se uma tarefa estiver agendada por volta das 00:00 e o tempo de espera for de apenas alguns minutos, isso geralmente é normal durante o período de pico de agendamento. Todos os dias, próximo às 00:00, um grande número de tarefas é acionado simultaneamente, e as instâncias podem apresentar tempos de espera na ordem de minutos entre o horário agendado e o início real. Esse atraso ocorre durante a fase de despacho de tarefas.

Para reduzir esse atraso, escalone o horário de agendamento da tarefa para um momento após as 00:00. Se o tempo de espera exceder significativamente alguns minutos ou ocorrer fora do período das 00:00, investigue o uso de recursos seguindo as seções Causa e Solução acima.

Por que uma tarefa continua aguardando recursos de agendamento do gateway?

Sintoma

O log da tarefa indica que ela está aguardando recursos de agendamento do gateway.
Causa

O número de tarefas simultâneas no grupo de recursos atual atingiu o limite máximo.
Solução
É necessário aguardar a conclusão das tarefas em execução para que os recursos sejam liberados ou expandir o grupo de recursos exclusivo para agendamento. Visualize as informações de recursos das seguintes maneiras:
- Uso do grupo de recursos compartilhado para agendamento
  - Visualização via Run diagnostics
    
    Acesse Operation Center > Run diagnostics e insira um id de instância para realizar uma análise de ponta a ponta da tarefa. Isso permite verificar o status de execução e de fila da tarefa, além de identificar quais outras tarefas estão consumindo recursos. É possível localizar rapidamente tarefas que ocupam recursos por muito tempo e bloqueiam o pipeline de execução. Para obter mais informações, consulte Run diagnostics.
    
    Para um nó de instância com status Waiting for Resources, clique com o botão direito no nó e selecione Run Diagnostics > Resources para visualizar outras tarefas que ainda estão em execução quando o Running Status da tarefa atual é Waiting for Resources.
  - Visualização pelo Dashboard
    
    Na página Dashboard do Operation Center, visualize a utilização dos grupos de recursos compartilhados.
    
    Nota
    O período das 00:00 às 09:00 todos os dias corresponde ao horário de pico das tarefas do DataWorks, quando os recursos de agendamento compartilhados têm alta demanda e as tarefas podem ficar aguardando recursos. Escalone suas tarefas para horários fora de pico ou adicione um grupo de recursos exclusivo para agendamento no console do DataWorks para mitigar a contenção de recursos.
- Caso utilize um grupo de recursos exclusivo para agendamento, visualize a lista de tarefas e a utilização de recursos do grupo por meio do console do DataWorks ou do Operation Center.
  - Visualização via Run diagnostics
    
    Acesse Operation Center > Run diagnostics e insira um id de instância para realizar uma análise de ponta a ponta da tarefa. Isso permite verificar o status de execução e de fila da tarefa, além de identificar quais outras tarefas estão consumindo recursos. É possível localizar rapidamente tarefas que ocupam recursos por muito tempo e bloqueiam o pipeline de execução. Para obter mais informações, consulte Run diagnostics.
    
    Para um nó de instância com status Waiting for Resources, clique com o botão direito no nó e selecione Run Diagnostics > Resources para visualizar outras tarefas que ainda estão em execução quando o Running Status da tarefa atual é Waiting for Resources.
  - Visualização pelo console do DataWorks
    
    No painel de navegação à esquerda do console do DataWorks, clique em Resource Groups. Na página Resource Groups, visualize a Utilization rate dos recursos. Clique em Utilization rate para visualizar Resource Groups, Resource Usage e mais.
  - Visualização pelo Resource O&M
    
    No painel de navegação à esquerda da página do Operation Center, clique em Resource O&M para visualizar a utilização de recursos e outras informações.
    
    Nota
    Diferentes especificações de grupos de recursos exclusivos para agendamento suportam números máximos distintos de instâncias simultâneas. Para obter mais informações, consulte DataWorks resource group specifications.

Por que uma tarefa de Data Integration continua apresentando status 'wait'?

Sintoma

O log da tarefa de Data Integration mostra um status de espera.
Causa

O número de tarefas em execução no grupo de recursos de Data Integration atual excede a simultaneidade máxima suportada pelo servidor. A tarefa está aguardando recursos de execução do Data Integration.

Nota
Se a utilização de recursos estiver alta, mas nenhuma tarefa estiver realmente em execução, ou se o número de tarefas executáveis no grupo de recursos não tiver atingido o limite máximo, mas as tarefas ainda assim não puderem ser executadas,
Solução:
- Verifique o valor do parâmetro de simultaneidade no log (configuração da tarefa). Se a simultaneidade estiver definida muito alta, configure a simultaneidade da tarefa com base na simultaneidade máxima suportada pelo servidor e no consumo simultâneo atual.
- Se a configuração de simultaneidade de uma única tarefa exceder a simultaneidade máxima suportada pelo servidor, pare todas essas tarefas simultâneas, modifique a simultaneidade da tarefa e execute as tarefas novamente.
  No painel de navegação à esquerda da página do Operation Center, clique em Dashboard. Na página Dashboard, clique em Data Integration para visualizar os Running Details of Synchronization Task. A parte superior da página de detalhes de execução da tarefa de sincronização fornece condições de filtro, incluindo Submit Time, Task Status, Task Name, Source Data Source Type, Data Integration Resource Group, Destination Data Source Type e Public Network Traffic. A lista de tarefas abaixo contém colunas como Instance ID, Task Name, Task Status, Submit Time, Start Time, End Time, Duration, Source Data Source, Destination Data Source, Data Integration Resource Group, Running Concurrency, Synchronized Data Volume e Synchronization Progress. Utilize essas colunas para solucionar a causa da espera da tarefa.
  Nota
  
  A simultaneidade da tarefa deve ser configurada com base no maximum concurrency supported by the server, no número de tarefas em execução simultânea e na configuração de simultaneidade de cada tarefa.
  
  Uma tarefa de Data Integration ocupa um recurso de agendamento. Se uma tarefa não for executada com sucesso por um longo período, ela poderá impedir a execução de outras tarefas.
- Aguarde a conclusão das tarefas em execução para liberar recursos ou expanda o grupo de recursos exclusivo de Data Integration. Visualize as informações de recursos das seguintes maneiras:
  
  Nota
  Se uma tarefa de Data Integration estiver aguardando um grupo de recursos, consulte Troubleshoot Data Integration resource group issues para obter soluções.
  - Visualização via Run diagnostics
    
    Acesse Operation Center > Run diagnostics e insira um id de instância para realizar uma análise de ponta a ponta da tarefa. Isso permite verificar o status de execução e de fila da tarefa, além de identificar quais outras tarefas estão consumindo recursos. É possível localizar rapidamente tarefas que ocupam recursos por muito tempo e bloqueiam o pipeline de execução. Para obter mais informações, consulte Run diagnostics.
    
    Para um nó de instância com status Waiting for Resources, clique com o botão direito no nó e selecione Run Diagnostics > Resources para visualizar outras tarefas que ainda estão em execução quando o Running Status da tarefa atual é Waiting for Resources.
  - Visualização no console do DataWorks
    
    No painel de navegação à esquerda do console do DataWorks, clique em Resource Group List. Na página Resource Group List, visualize a Utilization rate dos recursos. Clique em Utilization rate para visualizar Resource Groups, Resource Usage e outras informações.
  - Visualização no Resource O&M
    
    No painel de navegação à esquerda da página do Operation Center, clique em Resource O&M para visualizar a utilização de recursos, tarefas em execução e outras informações.
    
    Nota
    Grupos de recursos exclusivos de Data Integration com diferentes especificações suportam números máximos distintos de instâncias simultâneas. Para obter mais informações, consulte Exclusive resource groups for Data Integration.