Use o recurso de O&M de jobs no MaxCompute para visualizar jobs históricos e em execução, consultar detalhes de execução, analisar a carga de recursos durante a execução e gerenciar seus jobs.
Recursos
O recurso de operações de jobs no MaxCompute permite visualizar e gerenciar jobs históricos e em execução.
Para desenvolvedores de dados, esse recurso simplifica tarefas diárias, como consultar detalhes de jobs, identificar exceções e problemas, e responder a jobs problemáticos encerrando-os individualmente ou em lote.
Para administradores, este recurso ajuda a monitorar a carga de recursos de um grupo de cotas, gerenciar os recursos do sistema de forma eficaz e melhorar o desempenho de execução dos jobs.
Na página Jobs do console do MaxCompute, configure condições de filtro para localizar os jobs desejados, visualizar seus detalhes e analisá-los. As funções específicas são:
Operações
-
Filtrar jobs
Filtre jobs especificando parâmetros. Para obter a descrição dos parâmetros disponíveis, consulte Job parameter description.
-
Ordenar jobs
Por padrão, a lista exibe os jobs ordenados pelo horário de término em ordem decrescente, com os não concluídos no topo. Realize uma ordenação de coluna única ou uma ordenação avançada de múltiplas colunas.
Ordenação de coluna única: ordene qualquer coluna com ícone de ordenação em ordem crescente ou decrescente.
-
Ordenação avançada de múltiplas colunas: clique no botão Advanced Sorting no canto superior direito da lista. Clique em Add Sort para adicionar múltiplas colunas, especifique a ordem de classificação de cada uma como Ascend ou Descend e clique em OK para aplicar a ordenação.
Quando uma ordenação avançada está ativa, a ordenação de coluna única fica desativada. Para reativar a ordenação de coluna única, clique no botão Advanced Sorting, em Reset e, em seguida, em OK.
-
Visualizar detalhes do job
Na lista de jobs, clique em LogView na coluna Actions de um job para abrir a página do LogView e visualize o status de execução, os detalhes e os resultados.
-
Encerrar jobs
Terminate ou Stop jobs cujo Latest Status seja Running.
-
Insights do job
Na lista de jobs, clique em Insights na coluna Actions de um job para visualizar uma visão geral do job, detalhes de consumo de recursos, a alocação de recursos do seu grupo de cotas em um momento específico e acionar o intelligent job diagnosis.
Atualmente, o diagnóstico inteligente de jobs é compatível apenas com jobs SQL.
Os dados de consumo de recursos no nível do job estão disponíveis apenas para jobs SQL, MapReduce, Spark ou Mars com tempo de execução de dois minutos ou mais.
Gráfico de estatísticas de jobs
Com base nos seus critérios de filtro, um gráfico de barras empilhadas exibe o número de jobs ao longo do tempo e por status e fornece uma visão geral de alto nível da execução.
-
O intervalo de tempo para cada barra depende do Time Range selecionado:
Se o Time Range for de até 24 horas: cada barra representa um intervalo mínimo de 2 minutos. A quantidade de barras é adaptável, com máximo de 24.
Se o Time Range for maior que 24 horas e de até 48 horas: cada barra representa um intervalo de 2 horas. A quantidade de barras é adaptável, com máximo de 24.
Se o Time Range for maior que 48 horas e de até 7 dias: cada barra representa um intervalo de 6 horas. A quantidade de barras é adaptável, com máximo de 29.
-
Os status de jobs incluídos nas estatísticas são:
Running: o snapshot do job tem o status Running.
Finished: o status do job é Succeeded, Failed ou Terminated.
Como os dados de snapshot do job são coletados a cada três minutos, alguns jobs podem não ser capturados. Consequentemente, o status do snapshot de um job pode estar vazio, mesmo durante a execução.
Clique e arraste o cursor no gráfico para selecionar e ampliar um intervalo de tempo mais restrito.
Lista de jobs
A lista exibe os jobs correspondentes aos seus critérios de filtro e fornece informações importantes sobre eles. O MaxCompute oferece duas visualizações de lista para diferentes cenários: Regular Job List e Snapshot List.
Regular Job List: exibe informações de todos os jobs executados dentro de um período especificado.
Snapshot List: exibe um snapshot dos jobs em execução em um momento específico. Inclui o status do snapshot, o uso de CPU e memória, a quantidade de requisições e a porcentagem do total no momento do snapshot.
Para obter uma explicação detalhada dos parâmetros exibidos na lista de jobs, consulte Job parameter description.
Limitações
Atualmente, o sistema não coleta as seguintes informações de jobs:
O sistema coleta os dados de snapshot do job a cada três minutos. Portanto, jobs iniciados e terminados dentro de um único intervalo de coleta de três minutos não aparecem nos snapshots.
O sistema não consegue coletar dados de alguns jobs do MaxCompute iniciados via PAI, especialmente de usuários RAM.
Também não é possível coletar dados de jobs em projetos na Developer Edition (a ser descontinuada).
Devido à latência no processamento de dados, ao visualizar a lista de jobs atual, um job pode mostrar um status atual como Running mesmo que já tenha terminado no LogView. Isso é mais comum para jobs muito curtos. Sempre considere o status no LogView como definitivo.
Parâmetros
Parâmetros globais de filtro de jobs
Esses parâmetros afetam o gráfico de estatísticas de jobs e a lista de jobs.
Parâmetro | Descrição |
Time Range |
|
Choose Project | Filtra jobs pelo nome do projeto MaxCompute. Selecione um ou mais projetos. Por padrão, este campo está vazio. |
Select Quota |
|
Job Type |
|
Parâmetros de pesquisa da lista de jobs
Use estes parâmetros para refinar os resultados na lista de jobs. Eles afetam apenas a lista de jobs.
Parâmetro | Descrição |
Instance ID |
|
Job Owner |
|
ExtNodeId |
|
ExtNodeName | Pesquisa pelo nome do job no sistema de origem do job do MaxCompute. |
Signature | Pesquisa pela assinatura de um job SQL. Este parâmetro se aplica apenas a jobs SQL. Use esta assinatura para encontrar todas as instâncias de cada execução da mesma consulta SQL. Por padrão, este campo está vazio. |
Parâmetros de filtro de coluna da lista de jobs
Use estes parâmetros para filtrar ainda mais a lista de jobs. Eles afetam apenas a lista de jobs. Para aplicar um filtro, clique no ícone de filtro 
ao lado do nome de uma coluna.
Parâmetro | Descrição |
Latest Status |
|
Priority |
|
Intelligent Diagnostics |
|
Colunas gerais da lista
Nome da coluna | Descrição |
Instance ID | O ID de instância exclusivo para um job do MaxCompute. Esta coluna também exibe o projeto, o grupo de cotas e o tipo de job.
|
Latest Status | O status mais recente do job. |
Job Owner | A conta Alibaba Cloud que executou o job do MaxCompute. Use essas informações para identificar o responsável por um job. Se um job estiver consumindo recursos excessivos e afetando outras tarefas, entre em contato com o responsável para interrompê-lo. Para obter instruções sobre como interromper um job, consulte Instance operations. |
Priority | A prioridade do job, a qual varia de 0 a 9. Um número menor indica uma prioridade maior. Jobs com maior prioridade obtêm recursos de computação antes dos de menor prioridade. Para obter mais informações, consulte Job Priority. |
Submission Time | O horário de envio da instância. |
Start Running Time | The time when the job received the first computing resource. If the running time of a job is too short or a job does not consume computing resources, such as DDL statements, use the submission time of the job instead. Esta coluna fica oculta por padrão. Para exibi-la, personalize as configurações de coluna. |
Waiting Duration | The duration from the time a job is submitted to the time it starts to run. If the job has no start time, the duration from the submission time to the snapshot time is displayed. Esta coluna fica oculta por padrão. Para exibi-la, personalize as configurações de coluna. |
Execution Duration | The duration from the start time to the end time of a job. Esta coluna fica oculta por padrão. Para exibi-la, personalize as configurações de coluna. |
End Time | The end time of a job. |
Total Duration | The total duration from the time a job is submitted to the time the job is terminated. |
Total Used CPU Resources | O total de recursos de CPU consumidos pelo job ao longo de sua execução. A unidade é |
Total Amount of Used Memory Resources | O total de recursos de memória consumidos pelo job ao longo de sua execução. A unidade é |
CPU Utilization Percentage Snapshot | The latest CPU usage percentage collected for the job 1 minute before the deadline of the time range. It is calculated by using the formula: CPU Cores in Use/(CPU Lower Limit for Reserved CUs + Elastically Reserved Minimum CPU Utilization). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Memory Usage Percentage Snapshot | The latest memory usage percentage collected 1 minute before the job deadline of the time range. It is calculated by using the formula: Memory Size Occupied/(Minimum Reserved CU Memory + Minimum Elastically Reserved CU Memory). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Input Size | A quantidade de dados de entrada processados pelo job. |
Intelligent Diagnostics | As tags geradas com base nos resultados do recurso de Diagnóstico Inteligente. |
ExtPlatformId | O cliente que iniciou o job, como o DataWorks. O iniciador deve transmitir informações ao iniciar um job. Para as convenções de dados necessárias, consulte Job Universal Identifier Conventions. |
ExtNodeId | The task ID that corresponds to the job initiator, such as the ID of a DataWorks scheduling node. O iniciador deve fornecer informações ao enviar um job. Para as convenções sobre essas informações, consulte General Job Identifier Conventions. |
ExtNodeName | The task name that corresponds to the job initiator, such as the name of a DataWorks scheduling node. O iniciador deve transmitir informações ao iniciar um job. Para as convenções de informações, consulte General Job Identifier Convention. |
ExtNodeOnDuty | The task owner that corresponds to the job initiator, such as the owner of a DataWorks scheduling node. O iniciador deve transmitir informações ao iniciar um job. Para as convenções de passagem de informações, consulte Job General Identifier Conventions. |
Signature | The signature of an SQL job. You can use this signature to search for the instance on which the SQL job runs. |
Colunas da lista de snapshots
Nome da coluna | Descrição |
Instance ID | O ID de instância exclusivo para um job do MaxCompute. Esta coluna também exibe o projeto, o grupo de cotas e o tipo de job.
|
Snapshot Time | The time when snapshot information is collected for the job. |
Snapshot Status | The status of a job at the snapshot time. |
Job Owner | A conta Alibaba Cloud que executou o job do MaxCompute. Use essas informações para identificar o responsável por um job. Se um job estiver consumindo recursos excessivos e afetando outras tarefas, entre em contato com o responsável para interrompê-lo. Para obter instruções sobre como interromper um job, consulte Instance operations. |
Priority | A prioridade do job, a qual varia de 0 a 9. Um número menor indica uma prioridade maior. Jobs com maior prioridade obtêm recursos de computação antes dos de menor prioridade. Para obter mais informações, consulte Job Priority. |
CPU Cores in Use | Number of CPU cores in use for a job at the snapshot time. |
Requested CPU Cores | The number of requested CPU cores of a job at the snapshot time. |
CPU Satisfaction Rate | Number of CPU cores in use/Number of requested CPU cores of a job at the snapshot time. |
CPU Utilization Percentage Snapshot | The latest CPU usage percentage collected for the job 1 minute before the deadline of the time range. It is calculated by using the formula: CPU Cores in Use/(CPU Lower Limit for Reserved CUs + Elastically Reserved Minimum CPU Utilization). This information is not available for pay-as-you-go jobs or jobs that cannot collect snapshot information. Sorting is not supported. If you need to sort data, go to the snapshot list. |
Memory Size Occupied | The size of requested memory space of a job at the snapshot time. A unidade é exibida de forma adaptável. |
Requested Memory Size | The size of requested memory space of a job at the snapshot time. A unidade é exibida de forma adaptável. |
Memory Satisfaction Rate | Memory size occupied/Requested memory size of a job at the snapshot time. |
Memory Usage Percentage Snapshot | The memory usage percentage of a job at the observation time, which is calculated by using the following formula: Amount of used memory resources/(Amount of reserved memory resources + Amount of elastically reserved memory resources). Esta métrica não está disponível para jobs de pagamento conforme o uso ou se um snapshot não foi capturado. |
Submission Time | The time when a job was submitted. |
Total Duration | The total duration from the time a job is submitted to the time the job is terminated. |
ExtPlatformId | O cliente que iniciou o job, como o DataWorks. O iniciador deve transmitir informações ao enviar um job. Para as convenções sobre essas informações, consulte General Job Identifier Conventions. |
ExtNodeId | The task ID that corresponds to the job initiator, such as the ID of a DataWorks scheduling node. O cliente deve transmitir informações ao iniciar um job. Para as convenções sobre essas informações, consulte General Job Identifier Conventions. |
ExtNodeOnDuty | The task owner that corresponds to the job initiator, such as the owner of a DataWorks scheduling node. O iniciador deve transmitir informações ao iniciar um job. Para as convenções de passagem de informações, consulte General Job Identifier Convention. |
Signature | The signature of an SQL job. You can use this signature to search for the instance on which the SQL job runs. |
Cenários comuns de O&M
Visualizar detalhes de execução de um job específico
Caso de uso
Este cenário abrange visualizar o status de execução de um job iniciado por um nó de agendamento horário do DataWorks ou auditar um job específico do MaxCompute.
Procedimento
Acesse o MaxCompute console e selecione uma região no canto superior esquerdo.
No painel de navegação à esquerda, escolha .
Na página Jobs, selecione um Time Range e clique em Search.
Acima da lista de jobs, selecione ExtNodeId ou Instance ID e insira o valor correspondente para o job.
-
Clique no ícone
para filtrar a lista de jobs novamente.Nos resultados da consulta, clique em LogView na coluna Actions de uma instância para visualizar suas informações detalhadas de execução. Para obter mais informações sobre o LogView, consulte View job run information by using LogView 2.0.
Visualizar detalhes de execução de jobs por período de tempo
Caso de uso
Este cenário abrange visualizar os jobs executados para o Project_1 e Project_2 no último dia, analisar quais jobs falharam e tratar as falhas.
Procedimento
Acesse o MaxCompute console e selecione uma região no canto superior esquerdo.
No painel de navegação à esquerda, escolha .
Defina o Time Range como 1d ou especifique um Time Range personalizado de
00:00:00do dia atual até o horário atual.Na lista suspensa Choose Project, selecione Project_1 e Project_2.
Nos resultados da consulta, clique em LogView na coluna Actions de uma instância para visualizar suas informações detalhadas de execução. Para obter mais informações sobre o LogView, consulte View job run information by using LogView 2.0.
Visualizar o uso de recursos de jobs em uma cota de assinatura
Caso de uso
Quando o uso de recursos da Default Subscription Quota está alto e muitos jobs estão na fila, este cenário abrange identificar os jobs específicos que consomem os recursos da cota.
Procedimento
Acesse o MaxCompute console e selecione uma região no canto superior esquerdo.
No painel de navegação à esquerda, escolha .
Defina o Time Range como 1h ou especifique um horário de início e de término personalizados.
Defina o parâmetro Select Quota como
Default Subscription Quotae clique em Search.Na lista de resultados da consulta, verifique o CPU Utilization Percentage Snapshot e o Memory Usage Percentage Snapshot para jobs cujo Latest Status seja
Running. Confira se o job que mais consome recursos atende aos requisitos de negócios. Use outras informações do job para determinar se ele apresenta o desempenho esperado ou se deve ser encerrado.Nos resultados da consulta, clique em LogView na coluna Actions de uma instância para visualizar suas informações detalhadas de execução. Para obter mais informações sobre o LogView, consulte View job run information by using LogView 2.0.
Visualizar detalhes de execução de jobs de Query Acceleration
Caso de uso
Este cenário abrange visualizar o status e os detalhes de execução de jobs de Query Acceleration no último dia.
Procedimento
Acesse o MaxCompute console e selecione uma região no canto superior esquerdo.
No painel de navegação à esquerda, escolha .
Defina o Time Range como 1d e o Job Type como SQLRT(Query Acceleration) e, em seguida, clique em Search.
Nos resultados da consulta, clique em LogView na coluna Actions de uma instância para visualizar suas informações detalhadas de execução. Para obter mais informações sobre o LogView, consulte View job run information by using LogView 2.0.
Para jobs que usam o recurso Query Acceleration, o sistema pode executar várias instruções SQL na mesma sessão. Uma sessão corresponde a um Instance ID. Use o LogView do Instance ID para visualizar o status de execução de todas as instruções SQL na sessão. Portanto, observe o seguinte ao visualizar jobs de Query Acceleration na página Jobs:
Se a sessão não estiver encerrada, ou seja, com algumas instruções SQL concluídas e outras ainda em execução, o Latest Status do job é Running.
Se a sessão expirar ou for fechada, o Latest Status do job é Cancelled.
Consumo de recursos de jobs e alocação de cota de computação
Caso de uso
Se um job for executado por um longo período e você não conseguir localizar a causa no LogView, ou se um job for executado mais lentamente do que o esperado, determine se o problema é causado por recursos insuficientes.
Procedimento
Acesse o MaxCompute console e selecione uma região no canto superior esquerdo.
No painel de navegação à esquerda, escolha .
Selecione um Time Range e filtre por Select Quota. Em seguida, clique em Search.
Encontre o Instance ID desejado e clique em Insights na coluna Actions para acessar a página Job Insights.
-
Na aba Resource Consumption, visualize o consumo de recursos do job ao longo de seu ciclo de vida.
O gráfico de consumo de recursos exibe as curvas de CUs usadas e CUs em espera ao longo do tempo no nível do job, e a tendência de CUs usadas e CUs em espera ao longo do tempo no nível da cota. Se o job usar poucas CUs, mas a cota à qual ele pertence usar muitas CUs ou atingir continuamente o limite superior, os recursos da cota são insuficientes. Nesse caso, outros jobs competem por recursos de computação com o job atual.
Clique em um ponto no tempo no eixo horizontal do gráfico de consumo de recursos para visualizar a alocação de recursos da cota de computação naquele momento, incluindo a quantidade de jobs e a distribuição de prioridade. Clique no bloco de cor correspondente a uma prioridade para acessar a lista de jobs e visualizar as informações detalhadas sobre o job. Isso ajuda a identificar os jobs que competem por recursos de computação com o job atual. Otimize a execução da tarefa com base nos seus requisitos de negócios: ajuste a prioridade do job ou gerencie os recursos de computação. Para obter mais informações, consulte job priority ou Compute resources - Quota management.
Próximos passos
Se um job consumir consistentemente uma alta porcentagem de recursos enquanto outros jobs estão na fila, considere as seguintes ações:
Se o job não corresponder às suas necessidades de negócios, encerre-o.
Se o job corresponder às suas necessidades de negócios, a configuração de recursos para a cota pode estar subótima. Otimize a configuração de recursos. Para obter mais informações, consulte Compute resource configuration optimization.
Documentos relacionados
Para consultar os comandos de visualização de informações e status de jobs, bem como para interromper jobs, consulte instance operations.