Este tópico usa casos de uso típicos para demonstrar como utilizar o recurso de análise de jobs no console do MaxCompute. É possível analisar o uso de recursos no nível de jobs, entender os detalhes de consumo e obter recomendações para otimizar o tempo de execução.
Contexto
Se um job é executado por um período prolongado sem ser concluído e a causa é difícil de identificar no LogView, ou se o tempo de execução de um job é maior que o esperado após sua conclusão, é necessário analisar se a insuficiência de recursos é a causa.
Desenvolvedores de dados e administradores podem usar o recurso de análise de jobs no console do MaxCompute para revisar jobs históricos e em execução e entender seus detalhes de consumo de recursos.
Observações de uso
Os métodos de avaliação nestes casos de uso são simplificados para fins ilustrativos. Em um ambiente de produção real, considere múltiplos fatores. Ajuste as propriedades dos jobs com base em suas necessidades específicas e monitore os resultados.
Caso de uso 1: job lento devido a recursos insuficientes
Uma empresa possui uma assinatura de 50 CU de recursos de computação reservados. Mais de 1.000 jobs, organizados em mais de dez lotes, são executados nesses recursos diariamente.
Um desenvolvedor de dados percebe que um job com o ID de instância 20240717020015831xxxxxxxxxxxx está demorando demais, o que impacta os workflows downstream. Para investigar, o desenvolvedor acessa a página Workspace > Jobs no console do MaxCompute, localiza o job e clica em Analyze na coluna Actions.
O gráfico de consumo de recursos no nível de job mostra que todos os 50 CU dos recursos de computação reservados da assinatura estão em uso. Embora esse job específico consuma uma grande parte dos recursos, o número de CUs em espera no nível da cota também permanece consistentemente alto. Isso indica que os recursos de computação reservados totais são insuficientes para atender a todas as solicitações de jobs de forma imediata. O job atual também está com carência de recursos, o que causa sua execução lenta.
Diante dessa situação, considere as seguintes soluções:
-
Avalie se é possível ajustar os horários de envio dos jobs para evitar a contenção de recursos nos horários de pico.
-
Se os horários de envio dos jobs não puderem ser alterados, considere aumentar seus recursos de assinatura. Acesse a página Otimização de Custos, defina o tempo desejado de conclusão do job e revise a configuração de recursos recomendada pelo sistema.
Caso de uso 2: contenção de recursos atrasa o início do job
Uma empresa possui uma assinatura de 50 CU de recursos de computação reservados. Mais de 1.000 jobs, organizados em mais de dez lotes, são executados nesses recursos diariamente.
Um desenvolvedor de dados identifica que um job com o ID de instância 20240717020020365xxxxxxxxxxxx está afetando os workflows downstream devido ao longo tempo de execução. O tempo total de execução do job é de 21 minutos e 17 segundos, mas mais da metade desse tempo foi gasto em espera. Para encontrar a causa do atraso, o desenvolvedor acessa a página Workspace > Jobs, localiza o job e clica em Analyze na coluna Actions.
O gráfico mostra que, nos primeiros 13 minutos após o envio, o job ficou aguardando recursos. Durante esse período, a cota estava totalmente utilizada. Isso indica que outros jobs estavam ocupando todos os recursos disponíveis, impedindo que esse job fosse iniciado. Após 13 minutos, o job começou a adquirir recursos gradualmente, mas sua alocação nunca atingiu o limite da cota.
Clique em um ponto no eixo horizontal do gráfico de consumo de recursos para visualizar os detalhes de alocação de recursos da cota naquele momento específico. Isso inclui a distribuição de recursos para todos os jobs em execução e em espera. Por exemplo, a figura mostra que, às 10:04, três jobs com prioridade 9 estavam consumindo recursos de computação. No entanto, o job atual não recebeu nenhum recurso, enquanto outros cinco jobs também aguardavam.
Clique no bloco de cor correspondente a Resource Allocation for Wait Jobs para visualizar uma lista detalhada dos jobs em espera. A figura mostra que o job que mais consome recursos neste momento tem o ID de instância 20240717020015831gza7jdf21uv3.
Ao detalhar o consumo de recursos do job 20240717020015831gza7jdf21uv3, confirma-se que ele estava de fato consumindo uma grande quantidade de recursos de computação naquele momento.
Diante dessa situação, considere as três soluções a seguir:
-
Avalie se é possível ajustar os horários de envio dos jobs para evitar que múltiplos jobs concorram por recursos de computação limitados.
-
Avalie se é possível ajustar a prioridade do job. Se múltiplos jobs precisam iniciar ao mesmo tempo, aumente a prioridade dos jobs críticos. Quando jobs solicitam recursos simultaneamente, aqueles com prioridade mais alta recebem recursos primeiro.
-
Considere aumentar seus recursos de assinatura. Acesse a página Otimização de Custos, defina o tempo desejado de conclusão do job e revise a configuração de recursos recomendada pelo sistema.
Após o desenvolvedor alterar a prioridade do job para 0, a próxima execução apresenta uma melhoria significativa. O tempo de espera do job diminuiu e ele adquiriu rapidamente 50% dos recursos de computação reservados. O tempo total de execução caiu de 21 minutos para 6 minutos.