Todos os produtos
Search

Este produto

    Lindorm:Visualizar jobs no console

    Central de documentação

    Lindorm:Visualizar jobs no console

    Última atualização: Jul 17, 2026

    Visualize o status, os logs e o histórico de jobs do Compute Engine pela Spark web UI, pelo HDFS shell ou pelo History Server.

    Pré-requisitos

    • O service Compute Engine da sua instância Lindorm deve estar ativado. Para mais informações, consulte Ativar o service.

    • O endereço IP do seu cliente deve constar na lista de permissões da sua instância Lindorm. Para mais informações, consulte Configurar uma lista de permissões.

    Visualizar informações de jobs Spark

    Acessar a Spark web UI

    Nota

    Para acessar a Spark web UI, cole o endereço na barra de endereços do navegador. A interface abre a página Jobs por padrão. O cabeçalho exibe informações básicas da aplicação, como User, Total Uptime e Scheduling Mode (por exemplo, FIFO). Abaixo do cabeçalho, há uma seção expansível chamada Event Timeline.

    Tabela 1. Abas da Spark web UI

    Aba

    Descrição

    Jobs

    Exibe informações detalhadas sobre todos os jobs.

    Stages

    Mostra o status de todos os estágios de um job Spark.

    Storage

    Apresenta dados de armazenamento de RDDs (resilient distributed datasets) e DataFrames (DFs) persistidos.

    Environment

    Detalha a configuração de ambiente do job Spark, compilada na inicialização a partir do ambiente de execução, arquivos de configuração e parâmetros especificados pelo usuário.

    Executors

    Indica o status dos executores do job Spark.

    SQL

    Lista detalhes das consultas SQL executadas pelo Lindorm Distributed Processing System (LDPS).

    Kyuubi Query Engine

    Fornece informações sobre sessões Java Database Connectivity (JDBC).

    Visualizar o status do job

    Visualizar o status do job pela Spark web UI

    Use a Spark web UI para verificar o status de um job Spark.

    Nota

    • A visualização do status na Spark web UI só é possível enquanto o job estiver Running.

    • Para visualizar jobs Spark concluídos, ative o History Server .

    1. Faça logon no console Lindorm.

    2. Na página Instances, clique em ID da instância desejada.

    3. No painel de navegação à esquerda, escolha Compute Engine > Jobs. Esta página lista os jobs do Compute Engine em execução.

    4. Clique em WebUI Address do job do Compute Engine desejado e faça login na Spark web UI com o nome de usuário e a senha do Wide Table Engine.

      Nota

      Encontre o nome de usuário e a senha padrão do Wide Table Engine na página Database Connections, na aba Wide Table Engine.

    5. Na barra de navegação superior, clique em Executors para ver detalhes sobre o job em execução e seus executores.

      A página Executors possui duas seções. A seção Summary, no topo, mostra a quantidade de executores e métricas agregadas, categorizadas como Active, Dead e Total. A tabela Executors abaixo lista os detalhes de cada executor, incluindo ID, Address, Status, uso de recursos (Storage Memory, Disk Used, Cores) e métricas de tarefas (Active Tasks, Failed Tasks, Complete Tasks, Total Tasks, Task Time (GC Time)).

    6. Na lista Executors, clique em stdout ou stderr na coluna Logs para visualizar os logs de execução. Você também pode clicar em Thread Dump para ver informações da pilha de threads ou em System Status Dump para consultar o status do sistema do executor.

      Nota

      • Clique em stdout para acessar o log de saída padrão.

      • Clique em stderr para acessar o log de erro padrão.

    Visualizar logs de jobs com o HDFS shell

    Os logs de execução dos jobs do Compute Engine são armazenados automaticamente no LindormDFS subjacente. Para revisar logs de um job interrompido, ative o Lindorm e utilize o HDFS shell.

    Importante

    • Ao enviar um job JAR, inicialize o objeto SparkSession no início da função Main. Isso garante que os logs de execuções anormais também sejam sincronizados com o LindormDFS.

    • Se o service Compute Engine executar um grande volume de jobs, a quantidade de logs pode sobrecarregar o LindormDFS. Para evitar isso, defina o parâmetro spark.dfsLog.executor.enabled=false ao iniciar um job. Esse parâmetro impede que os logs do executor sejam salvos no LindormDFS, sem afetar a coleta de logs do driver.

    1. Faça logon no console Lindorm.

    2. Na página Instances, clique em ID da instância desejada.

    3. No painel de navegação à esquerda, escolha Compute Engine > Jobs e localize o JobId do seu job. Por exemplo: 562f7c98-2a66-****.

    4. Utilize o HDFS shell para visualizar os logs. Para saber como configurar o HDFS shell, consulte Guia de conexão.

    5. Os logs de um job do Compute Engine ficam armazenados no diretório /ldspark/ldspark-logs/${JobId}. Os logs do driver estão no subdiretório __driver_logs__, e os logs do executor ficam no subdiretório __executor_logs__/${EXECUTOR_ID}. Por exemplo, para visualizar o log stderr do driver, execute o seguinte comando:

      $HADOOP_HOME/bin/hadoop fs -cat  /ldspark/ldspark-logs/${JobId}/__driver_logs__/stderr | less
      Nota

      Você também pode montar o diretório LindormDFS em uma instância ECS usando um cliente FUSE. Para etapas específicas, consulte Conectar-se e usar o LindormDFS via HDFS FUSE.

    Visualizar histórico de execuções de jobs

    Faturamento

    A cobrança baseia-se nos recursos consumidos pela sua instância Lindorm e na duração de uso. A instância consome 1 CU (1 CU = 1 vCPU e 4 GB de memória). O preço de 1 CU é CNY 0,203 por hora. O faturamento começa assim que você ativa o History Server, independentemente do uso.

    Ativar o History Server

    1. Faça logon no console Lindorm.

    2. Na página Instances, clique em ID da instância desejada.

    3. No painel de navegação à esquerda, clique em compute engine.

    4. Clique na aba service management.

    5. Clique na aba History Server e ative a chave Spark History.

    Visualizar histórico de jobs

    1. Faça logon no console Lindorm.

    2. Na página Instances, clique em ID da instância desejada.

    3. No painel de navegação à esquerda, clique em compute engine.

    4. Clique na aba service management.

    5. Clique na aba History Server.

    6. Clique na URL da WebUI. Faça logon na página History Server com o nome de usuário e a senha do wide-column engine para visualizar o histórico de execuções.

      Nota

      • Para obter o nome de usuário e a senha padrão do wide-column engine, acesse a página database connection, clique na aba wide-column engine e copie as credenciais.

      • Se a página History Server exibir a mensagem No completed applications found!, significa que não há jobs históricos disponíveis ou que o histórico expirou e foi limpo.

      A página History Server apresenta as informações históricas dos jobs em uma tabela. As colunas incluem: Version, App ID, App name, Started, Completed, Duration, Spark user, Last updated e Event log. A coluna Event log contém um botão Baixe.

      Tarefa

      Ações

      Filtrar jobs históricos

      Na caixa de texto Search, no canto superior direito da página History Server, insira um App name, horário de Started ou de Completed para filtrar os jobs.

      Visualizar jobs em execução

      No canto inferior esquerdo da página History Server, clique em Show incomplete applications.

    7. Clique em um App ID para abrir a Spark UI do job correspondente.