Use LogView 2.0 to view MaxFrame jobs - MaxCompute: Central de Documentação do Alibaba Cloud

Visão geral

O LogView 2.0 é compatível com MaxFrame e oferece suporte aos seguintes recursos:

Visualização de registros de execução e durações de todos os grafos acíclicos dirigidos (DAGs) enviados em sessões do MaxFrame
Visualização interativa da sequência de execução, tempo de execução, topologia de operadores e relações de status dos sub DAGs em cada DAG
Visualização das configurações, status, uso de memória e utilização de CPU de cada instância filha

Para informações sobre as capacidades gerais do LogView, consulte Use LogView 2.0 to view job running information. Este tópico descreve como visualizar informações de execução de jobs do MaxFrame.

Ponto de entrada do MaxFrame LogView

Ao crie uma sessão usando session = new_session(...), o sistema gera automaticamente uma URL que começa com https://logview.aliyun.com/logview.

Após enviar um job pelo MaxFrame no console do DataWorks, clique em a URL para abrir a página do MaxFrame LogView.
Ao usar o MaxFrame para enviar um job em ambiente local, utilize o método session.get_logview_address() para obter e imprimir a URL. Em seguida, copie a URL para o navegador e acesse a página.

A figura a seguir mostra a página do MaxFrame LogView:

Número	Área
①	Exibe o ID e o nome do job. Para mais informações, consulte Title and function section.
②	Basic Info. Para mais informações, consulte Basic Info.
③	Seção DAG List. Para mais informações, consulte DAG List.

Seção de título e funções

Esta seção exibe o ID e o nome do job. O ID identifica o job de forma exclusiva. O nome do job é um nome personalizado que você insira. Também é possível clicar nos ícones à direita desta seção para executar operações.

Ícone	Função
	Obtém a URL do MaxFrame LogView.
	Salva os detalhes do job como arquivo na máquina local.
	Interrompe o processo do job atual.
	Abre o arquivo LogView_detail.txt com os detalhes do job, salvo na máquina local.
	Abre a lista de jobs e visualize as informações do job no projeto especificado.
	Define se o auto-refresh será ativado. Quando ativo, a página é atualizada a cada 10 segundos.

DAG List

Esta seção exibe os DAGs em ordem decrescente de tempo de execução. O job enviado mais recentemente aparece no topo da lista. A tabela a seguir descreve as informações básicas.

Parâmetro	Descrição
Id	O ID do DAG. Identificador único gerado a cada execução do DAG.
Detail	Clique em para visualizar os detalhes do sub DAG correspondente.
Start Time	O horário em que o DAG foi enviado.
End Time	O horário de término do DAG. Se este campo estiver vazio, o DAG ainda está em execução.
Duration	A duração de execução do DAG, calculada do horário de início até o horário de término ou o momento atual.
Status	O status do job. Valores válidos: Preparing: o DAG está sendo analisado e ainda não foi executado. Running: o DAG está em execução. Succeeded: o DAG foi executado com êxito. Failed: a execução do DAG falhou. Cancelling: o DAG está sendo cancelado. Cancelled: o DAG foi cancelado.
Description	A descrição do DAG.

Detalhes do sub DAG

A figura a seguir mostra a página de detalhes do sub DAG.

Número	Área
①	Área de exibição do grafo do sub DAG. Para mais informações, consulte Sub DAG graph.
②	Lista de sub DAGs. Para mais informações, consulte Sub DAG list.
③	Lista de instâncias do sub DAG. Para mais informações, consulte Instance list.
④	Basic Info do sub DAG. Para mais informações, consulte Basic Info.

Grafo do sub DAG

O grafo do sub DAG exibe os detalhes do DAG atual.

Número	Descrição
①	O ID do sub DAG. Clique em o ID para retornar à página da lista de DAGs.
②	A navegação de breadcrumb para alternar o nível de tarefa do sub DAG.
③	A ferramenta de diagnóstico. Inclui Progress Chart, Input Heat Chart, Output Heat Chart, TaskTime Heat Chart e InstanceTime Heat Chart.
④	Nesta área, você pode atualizar o status de execução do job (), exibir o grafo de execução do job em tela cheia ou aumentar/diminuir o zoom (), acessar a documentação do MaxCompute Studio () e alternar para o nível anterior da tarefa ().
⑤	A ferramenta de zoom.
⑥	Um nó de tabela, que representa uma tabela do MaxCompute.
⑦	Um nó de sub DAG, que contém os seguintes elementos: STAGE_X: o nome do sub DAG. X indica a sequência de execução. A numeração começa em 1 e é incrementada sequencialmente. X/X/X (Exemplo: 0/5/5): indica o número de instâncias do MaxCompute em diferentes estados no sub DAG atual. Neste exemplo, o primeiro valor indica o número de instâncias em execução, o segundo indica o número de instâncias concluídas e o terceiro indica o total de instâncias. Horário de início e término. MCSQL: indica o mecanismo de execução do sub DAG atual. OP 1: indica que o sub DAG atual inclui um operador. Clique duas vezes no nó para visualizar o grafo de operadores.
⑧	O fluxo de dados, que indica a direção do fluxo entre stages ou entre stages e tabelas.
⑨	A prévia do canvas.

Lista de sub DAGs

Esta seção exibe informações de execução de todos os sub DAGs no DAG atual, ordenados cronologicamente.

Parâmetro	Descrição
Sub DAG	O nome do sub DAG atual.
Failed/Terminated/ALL	O número de instâncias do MaxCompute em diferentes estados no sub DAG atual. Nota Se (+X fallbacks) for exibido, jobs do MaxCompute Query Acceleration (MCQA) em um determinado número de instâncias foram revertidos para jobs SQL offline. Isso não indica um erro de dados. X representa o número de instâncias.
Status	O estado do sub DAG atual. Failed: a execução do sub DAG falhou. Cancelled: a execução do sub DAG foi cancelada. Running: em execução. Succeeded: a execução do sub DAG foi concluída com êxito.
Progress	O progresso de execução do sub DAG. Nota Se o progresso atingir 100%, mas o sub DAG permanecer no estado Running, significa que a execução de todas as instâncias foi concluída. Isso não indica que a execução do sub DAG foi finalizada.
Start Time	O horário em que o sub DAG foi enviado.
End Time	O horário em que a execução do sub DAG foi concluída.
Duration	A duração de execução do sub DAG.
Timeline	A prévia da linha do tempo. Use a linha do tempo para visualizar a sequência de início e a duração.

Lista de instâncias

A lista de instâncias exibe os jobs das instâncias do MaxCompute relacionados a um sub DAG.

Parâmetro	Descrição
Instance ID	O ID da instância do MaxCompute referente ao job.
Status	O status do job. Failed: a execução do job falhou. Cancelled: o job foi cancelado. Running: o job está em execução. Terminated: a execução do job foi concluída com êxito. Fallback: o job foi rebaixado para execução e um novo registro de instância foi gerado. Unknown_terminated: a execução do job foi concluída, mas o sistema não consegue determinar se foi bem-sucedida.
Detail	Os detalhes do job.
Start Time	O horário em que o job foi enviado.
End Time	O horário em que o job foi concluído.
Duration	A duração de execução do job.
Timeline	A prévia da linha do tempo. Use a linha do tempo para visualizar a sequência de início e a duração.

Fuxi Sensor

O Fuxi Sensor oferece uma visão abrangente dos recursos dos jobs do MaxFrame. Com ele, é possível visualizar o uso de memória e a utilização de CPU de uma instância Fuxi. O Fuxi Sensor também permite identificar problemas em jobs e analisar seu desempenho. Exemplos de cenários de uso:

Em caso de erro de falta de memória (OOM), analise o uso de memória.
Visualize o uso dos seguintes recursos das instâncias Fuxi em jobs do MaxFrame:
- Utilização de CPU
  
  O gráfico cpu_usage possui duas linhas. Uma indica o número de CPUs solicitadas (cpu_plan) e a outra indica o número de CPUs utilizadas (cpu_usage). No eixo y, 400 representa quatro processadores. Atualmente, só é possível ajustar o número de CPUs solicitadas por meio do ajuste do número de processadores. Não é possível ajustar diretamente a utilização de CPU.
- Uso de memória
  
  O gráfico mem_usage possui duas linhas. Uma indica a quantidade de memória solicitada (mem_plan) e a outra indica a quantidade de memória utilizada (mem_usage).
  
  Detalhes de memória

Casos de uso

Identificar a fase em que um DAG, sub DAG ou instância levou mais tempo para executar

Verifique a coluna TimeLine nas listas de DAGs, sub DAGs e instâncias para identificar rapidamente o DAG, sub DAG ou instância que exigiu mais tempo de execução no nível atual.

Nota

Se a lista for muito longa e precisar de paginação, ordene a lista pelos valores da coluna Duration em ordem decrescente para localizar rapidamente os itens que exigiram mais tempo de execução.

Identificar a causa de um erro

Se um DAG falhar ou o cliente retornar um log de exceção, acesse a página do MaxFrame LogView e execute as seguintes operações:

Verifique o status de cada DAG na lista de DAGs.
Localize o registro de DAG mais recente cujo Status seja Failed e clique em na coluna Detail para visualizar os detalhes.
Na página de detalhes do DAG, verifique o nó de sub DAG exibido em vermelho, como STAGE_1 na figura a seguir.

Alternativamente, visualize a mensagem de erro na aba Result.
Clique no nó do sub DAG com falha STAGE_1. Em seguida, clique em na coluna Detail da lista de instâncias para visualizar os detalhes. A instância com falha pode ser encontrada na figura a seguir.

Visualizar os operadores incluídos em um sub DAG

Use um dos métodos a seguir para visualizar os operadores de um sub DAG:

Método 1: Na página de detalhes do DAG, clique em o nó de sub DAG desejado.
Método 2: Na página de detalhes do DAG, clique duas vezes no nó de sub DAG desejado.

Nota

A linha de código do script MaxFrame correspondente ao operador atual é marcada diretamente no operador.
Alguns operadores podem ter a identidade merged from. Geralmente, isso indica que o otimizador mesclou múltiplos operadores após o envio do DAG, gerando um novo operador com maior desempenho e as mesmas funcionalidades.

Visualizar dados de uma tabela

Visualizar a estrutura do fluxo de dados

Para visualizar informações sobre um fluxo de dados, clique duas vezes no nó de sub DAG relacionado na página de detalhes do DAG e acesse a página de detalhes do operador. Em seguida, clique na linha de conexão entre os operadores para visualizar o tipo de dado, o índice e o formato do nome da coluna.

Descrição dos parâmetros:

Type: dataframe indica que o operador upstream gera um dataframe.
DataFrame Index indica um índice.

None: int64 indica que o índice atual contém um índice sem nome do tipo int64.
DataFrame Columns indica as informações de colunas.

<column name>: <dtype> representa todas as colunas e seus respectivos tipos contidos no DataFrame atual.
DataFrame Level Names indica o nome do nível do DataFrame.

Visualizar a estrutura de uma tabela de dados

Clique em um nó de tabela do MaxCompute no grafo de operadores ou no grafo do sub DAG.

Visualizar detalhes do job

Na página de detalhes do DAG, clique em na coluna Detail da lista de instâncias para visualizar os detalhes do job.