O Logview é uma ferramenta baseada em navegador para jobs do MaxCompute que permite visualizar e depurar jobs após o envio. Abra a URL do Logview para verificar o status do job, inspecionar resultados das tarefas e diagnosticar falhas.
Cada URL do Logview expira sete dias após o envio do job. Salve a URL ou exporte os resultados necessários antes da expiração.
Como o Logview funciona
Ao receber um job, o MaxCompute gera uma URL exclusiva do Logview. Cole a URL no navegador e pressione Enter para abrir a página do Logview correspondente ao job.
A página do Logview contém duas seções:
ODPS Instance — exibe detalhes no nível da instância do job enviado, incluindo sua posição na fila e o status atual.
ODPS Tasks — apresenta as tarefas individuais que compõem o job, além dos respectivos resultados e detalhes de execução.
Seção ODPS Instance
A seção ODPS Instance exibe os seguintes campos:
|
Campo |
Descrição |
|
URL |
URL do Logview desta instância |
|
Project |
Projeto do MaxCompute ao qual o job pertence |
|
InstanceID |
Identificador exclusivo desta instância |
|
Owner |
Conta que enviou o job |
|
StartTime |
Horário de início do job |
|
EndTime |
Horário de término do job |
|
Status |
Status atual do job |
Valores de status do job
Clique em no valor de Status para visualizar detalhes da fila. A tabela abaixo descreve cada status e a ação recomendada.
|
Status |
Significado |
Ação recomendada |
|
Waiting |
O MaxCompute está processando o job, mas ele ainda não chegou ao Job Scheduler. |
Nenhuma ação necessária. O job avança automaticamente. |
|
Waiting List: n |
O job está na fila do Job Scheduler. n indica a posição na fila. |
Monitore a posição na fila. Uma posição persistentemente alta pode indicar contenção de recursos; considere ajustar a prioridade do job ou agendá-lo fora do horário de pico. |
|
Running |
O job está em execução no Job Scheduler. |
Nenhuma ação necessária. |
|
Terminated |
O job foi encerrado. Não há informações de fila disponíveis. |
Verifique as colunas Result e StdErr na seção ODPS Tasks para determinar se o job teve sucesso ou falhou. |
Detalhes da fila
Ao clicar em um valor de Status diferente de Terminated, os seguintes campos da fila aparecem:
|
Campo |
Descrição |
|
Sub Status |
Substatus atual do job |
|
WaitPos |
Posição na fila. |
|
QueueLength |
Número total de jobs na fila do Job Scheduler |
|
Total Priority |
Prioridade de execução atribuída pelo sistema |
|
SubStatus History |
Clique em no ícone para visualizar o histórico completo de status, incluindo códigos, descrições, horários de início e durações. Indisponível em algumas versões. |
Seção ODPS Tasks
A seção ODPS Tasks lista todas as tarefas associadas à instância. Cada linha representa uma tarefa e inclui as seguintes colunas:
|
Coluna |
Descrição |
|
Name |
Nome da tarefa |
|
Type |
Tipo da tarefa |
|
Status |
Status atual da tarefa |
|
Result |
Clique em no ícone para visualizar os resultados da tarefa (disponível após a conclusão) |
|
Detail |
Clique em no ícone para visualizar detalhes de execução (disponível para tarefas em execução e concluídas) |
|
StartTime |
Horário de início da tarefa |
|
EndTime |
Horário de término da tarefa |
|
Latency (s) |
Duração total da execução em segundos |
|
TimeLine |
Linha do tempo visual da tarefa |
Visualizar resultados da tarefa
Após a conclusão de uma tarefa, clique em no ícone na coluna Result para ver a saída. Para instruções SELECT, o conjunto de resultados aparece em formato de tabela.
Visualizar detalhes de execução
Clique em no ícone na coluna Detail para abrir a caixa de diálogo de detalhes da tarefa. Essa caixa mostra a hierarquia interna de jobs que o MaxCompute utiliza para executar a tarefa.
Hierarquia de jobs
O MaxCompute divide um job nas seguintes camadas:
Um job do MaxCompute consiste em um ou mais Fuxi jobs. Um job SQL complexo pode gerar múltiplos Fuxi jobs, cada um enviado ao Job Scheduler.
Cada Fuxi job consiste em uma ou mais Fuxi tasks. Um job MapReduce simples gera duas Fuxi tasks: uma tarefa de map (M1) e uma de reduce (R2). Jobs SQL complexos podem produzir mais tarefas.
Cada Fuxi task consiste em uma ou mais Fuxi instances — uma instância por nó. À medida que os dados de entrada aumentam, o MaxCompute inicia nós adicionais para paralelizar o trabalho.
Nomenclatura de Fuxi tasks
Os nomes das Fuxi tasks codificam tanto o tipo da tarefa quanto suas dependências:
A letra inicial identifica o tipo da tarefa:
Mpara map,Rpara reduce eJpara join.-
Os dígitos subsequentes codificam o ID da tarefa e suas dependências. Por exemplo:
R5_4— esta tarefa de reduce executa somente após a conclusão da tarefa J4.J4_1_2_3— esta tarefa de join executa somente após a conclusão das tarefas M1, M2 e M3.
A coluna I/O Records exibe o número de registros de entrada e saída de cada Fuxi task.
Detalhes de Fuxi instances
Para inspecionar uma Fuxi instance individual, clique em no ícone na coluna Show Detail ou clique duas vezes na linha da Fuxi task.
A parte inferior da caixa de diálogo agrupa as Fuxi instances por estágio. Clique em na aba Failed para ver os nós onde ocorreram erros. Utilize as colunas StdOut e StdErr para visualizar a saída padrão e a saída de erro de cada instância. Saídas escritas explicitamente no job enviado também aparecem aqui.
Solução de problemas
Tarefas com erros
Se uma tarefa falhar:
Na seção ODPS Tasks, localize a tarefa com falha.
Clique em no ícone na coluna Result para visualizar a mensagem de erro.
Como alternativa, abra a caixa de diálogo Detail, clique em na aba Failed e clique em no ícone na coluna StdErr da Fuxi instance com falha para obter mais detalhes.
Skew de dados
O skew de dados ocorre quando os registros são distribuídos de forma desigual entre as Fuxi instances. Algumas instâncias processam muito mais dados que outras, desacelerando toda a tarefa.
Para verificar a presença de skew de dados após a conclusão de uma tarefa:
Abra a caixa de diálogo Detail da tarefa.
Clique em na aba Summary.
-
Analise a distribuição de registros de saída. Exemplo:
output records: R2_1_Stg1: 199998999 (min: 22552459, max: 177446540, avg: 99999499)
Se o valor max for significativamente maior que o valor min, há skew de dados. No exemplo acima, a instância com mais registros processou aproximadamente oito vezes mais registros que a instância com menos registros. Uma causa comum é um JOIN em uma coluna em que um valor aparece com frequência muito superior aos demais.