MaxCompute:Use o LogView V2.0 para visualizar informações de jobs

O LogView registra e exibe o status de jobs do MaxCompute. Ele oferece os seguintes recursos:

• Fornece um grafo acíclico dirigido (DAG) interativo para exibir a arquitetura lógica do processamento do job. Também permite visualizar os operadores de um job.

• Permite reproduzir o processo de execução do job.

• Permite visualizar o uso de memória e a utilização da CPU por meio do Fuxi Sensor.

O envio de um job do MaxCompute gera automaticamente uma URL que começa com https://logview.aliyun.com/logview.

• Se você usar o cliente do MaxCompute para enviar o job, copie a URL na barra de endereços de um navegador para acessar o LogView.

• Caso utilize o DataWorks para enviar o job, clique em na URL para ir diretamente à página do LogView.

A página do LogView divide-se em três seções: a seção de título e funcionalidades na parte superior (1), o painel Basic Info à esquerda (2) e a seção de detalhes do job à direita (3, que contém abas incluindo Job Details, Result, SourceXML, SQL Script e Summary, além do diagrama DAG do Progress Chart e da lista de Fuxi Jobs).

Esta seção exibe o ID e o nome do job. O ID identifica exclusivamente um job do MaxCompute e é gerado no momento do envio. O nome do job aparece apenas se o envio for feito por meio de um SDK. Utilize os ícones à direita desta seção para executar operações.

Esta seção apresenta as informações básicas sobre um job.

Detalhes do job

• Gráfico de progresso

  A parte superior da aba Job details exibe o gráfico de progresso. Esse gráfico visualiza as dependências de subtarefas em três camadas: Fuxi job, Fuxi task e operador. Ele também fornece ferramentas para solução de problemas.

  Nº	Descrição
  1	Navegação estrutural usada para alternar entre Fuxi jobs. JOB:_SQL_0_0_0_job_0 representa o nome de um Fuxi job.
  2	Ferramenta destinada à solução de problemas. Utilize o Progress Chart, Input Heat Chart, Output Heat Chart, TaskTime Heart Chart e InstanceTime Heart Chart para diagnóstico.
  3	Clique em no ícone para atualizar o status do job e no ícone para ampliar ou reduzir o gráfico de progresso. Use o ícone para acessar a documentação do MaxCompute Studio e o ícone para subir um nível na hierarquia do job.
  4	Ferramenta de zoom.
  5	Fuxi task. Um job do MaxCompute consiste em um ou mais Fuxi jobs. Cada Fuxi job contém uma ou mais Fuxi tasks, e cada Fuxi task é composta por uma ou mais instâncias Fuxi. Se o volume de dados de entrada aumentar, o MaxCompute iniciará mais nós para cada task processar os dados. Um nó equivale a uma instância Fuxi. Por exemplo, um job MapReduce simples gera duas Fuxi tasks: map task (M1) e reduce task (R2). Instruções SQL complexas podem gerar múltiplas Fuxi tasks. Visualize o nome de cada Fuxi task na página de execução. M1, por exemplo, indica uma map task. Os campos 3 e 9 em R4_3_9 significam que a map task só pode ser executada após a conclusão de M3 e C9_3. Da mesma forma, M2_4_9_10_16 indica que a task M2 só será executada depois que R4_3_9, C9_3, R10_1_16 e C16_1 forem concluídas. R/W mostra a quantidade de linhas lidas e gravadas pela task. Clique em ou clique com o botão direito em uma task para ver as dependências e os grafos de operadores associados. Consulte rapidamente as tabelas de entrada e saída.
  6	Reprodução da Fuxi task. Clique em no ícone para iniciar ou parar a reprodução. Arraste a barra de progresso conforme necessário. Os horários de início e fim aparecem nas extremidades da barra, enquanto o tempo de reprodução fica no centro.
  7	Miniatura.

  Nota

  • O recurso de reprodução não se aplica a Fuxi tasks com status Running.

  • Jobs do tipo AlgoTask, como jobs da Platform for AI (PAI), contêm apenas uma Fuxi task. Portanto, não há gráficos de progresso para esses jobs.

  • Em jobs não SQL, apenas Fuxi jobs e Fuxi tasks são exibidos.

  • Se houver apenas um Fuxi job, o gráfico de progresso mostrará as dependências entre as Fuxi tasks. Caso existam vários Fuxi jobs, o gráfico exibirá as dependências entre eles.

• Status do job

  A parte inferior da aba Job details apresenta informações detalhadas sobre a execução do job.

  Nº	Descrição
  1	Aba Fuxi Jobs. Permite alternar entre diferentes Fuxi jobs.
  2	Detalhes das Fuxi tasks do Fuxi job selecionado. Clique em em uma Fuxi task para exibir informações sobre sua instância Fuxi correspondente. Por padrão, o sistema mostra as informações da instância da primeira Fuxi task do primeiro Fuxi job. Para jobs AlgoTask e CUPID, esta área inclui uma coluna Sensor. Clique em no Sensor de uma Fuxi task para verificar a utilização da CPU e o uso de memória de suas instâncias Fuxi. Os Fuxi jobs classificam-se da seguinte forma: M: Jobs cujo ID começa com M realizam varredura de dados. R: Jobs cujo ID começa com R são tarefas de Reduce. J: Jobs cujo ID começa com J executam operações JOIN. C: Jobs cujo ID começa com C representam nós virtuais. Esses nós não envolvem cálculos e servem apenas para seleção de ramificação. Nota O Fuxi Sensor está disponível nas regiões China (Chengdu), China (Shenzhen), China (Shanghai), China (Hangzhou), China (Zhangjiakou) e China (Beijing). Uma Fuxi task pode ser tentada novamente se for interrupted. Nesse caso, a coluna Progress exibe apenas o progresso da nova tentativa. Assim, o job geral pode ser concluído com sucesso mesmo que o progresso dessa Fuxi task específica não atinja 100%. Trata-se de um comportamento esperado.
  3	O LogView agrupa as instâncias com base em seu status. Clique em no valor ao lado de Failed para consultar informações sobre nós com falha.
  4	Instâncias Fuxi. Um exemplo de ID é M1#0_0. O primeiro 0 corresponde ao ID de incremento automático da instância Fuxi. O segundo 0 indica a contagem de novas tentativas da task. O valor 0 significa que não houve nova tentativa. Um valor n indica que a task foi executada novamente n vezes. StdOut e StdErr. Visualize mensagens de saída, erros e outras informações exibidas. Também é possível baixar esses dados. Debug. Depure e solucione erros. Limites no número de instâncias Fuxi. O número de instâncias Fuxi é limitado a 1 quando a instrução SQL atende a uma das seguintes condições: Contém uma cláusula limit. Utiliza uma função de janela sem a cláusula partition by key. Emprega uma função de agregação sem a cláusula group by key. Não há chave de equi-join na instrução SQL usada para operações JOIN. Inclui uma cláusula order by.

Fuxi Sensor

O Fuxi Sensor oferece uma visão multidimensional dos recursos de uma instância Fuxi, mostrando a utilização real da CPU e o uso de memória. Isso o torna uma ferramenta valiosa para análise de causa raiz e avaliação de desempenho de jobs, aplicável nos seguintes cenários:

• Analisar o uso real de memória quando ocorre um erro de falta de memória (OOM).

• Verificar o uso de recursos de uma instância Fuxi em jobs de machine learning:

  • Utilização da CPU

    O gráfico cpu_usage possui duas linhas. Uma indica a quantidade de CPUs solicitadas (cpu_plan) e a outra mostra a quantidade de CPUs efetivamente utilizadas (cpu_usage). No eixo y, o valor 400 corresponde a quatro processadores. Ajuste o número de CPUs solicitadas alterando a quantidade de processadores. Não é possível modificar o limite máximo de CPUs utilizáveis.

  • Uso de memória

    O gráfico mem_usage exibe duas linhas. A primeira representa os recursos de memória solicitados (mem_plan) e a segunda indica os recursos de memória consumidos (mem_usage).

    O uso de memória (mem_usage) divide-se em duas partes: Resident Set Size (RSS) e PageCache. O RSS corresponde à memória alocada após uma falha de página causada por uma chamada Malloc (mapeamento fora de arquivo). Essa memória não pode ser recuperada quando há escassez de recursos. Já o PageCache refere-se à memória que o kernel utiliza para armazenar arquivos em cache, como durante leituras e gravações de arquivos de log. Geralmente, o sistema consegue recuperar o PageCache em situações de pouca memória.

    • Detalhes da memória

    • Uso de RSS

    • Uso de PageCache

Result

Source XML

• XML

  Esta aba exibe os níveis do job e informações relacionadas às tasks no formato XML.

• Settings

  Mostra as configurações da task atual nesta aba.

• Command

  Apresenta as definições de flags da task atual.

SQL script

Esta aba exibe o script SQL da task atual.

History

O histórico da task atual encontra-se disponível nesta aba.

SubStatusHistory