Todos os produtos
Search

Este produto

    :Visualizar jobs no console

    Central de documentação

    :Visualizar jobs no console

    Última atualização: Jul 24, 2026

    Visualize o status, os logs e o histórico de jobs do Compute Engine pela Spark web UI, pelo shell HDFS ou pelo History Server.

    Pré-requisitos

    • O service Compute Engine da sua instância Lindorm deve estar ativado. Para mais informações, consulte Ative o service.

    • O endereço IP do seu cliente deve constar na lista de permissões da sua instância Lindorm. Para mais informações, consulte Configure uma whitelist.

    Visualizar informações de jobs Spark

    Acessar a Spark web UI

    Nota

    Para acessar a Spark web UI, cole o endereço na barra de endereços do navegador. A interface abre a página Jobs por padrão. O cabeçalho exibe informações básicas da aplicação, como User, Total Uptime e Scheduling Mode (por exemplo, FIFO). Abaixo do cabeçalho, há uma seção expansível chamada Event Timeline.

    Tabela 1. Abas da Spark web UI

    Aba

    Descrição

    Jobs

    Exibe informações detalhadas sobre todos os jobs.

    Stages

    Mostra o status de todos os estágios de um job Spark.

    Storage

    Apresenta dados de armazenamento de RDDs (resilient distributed datasets) e DataFrames (DFs) persistidos.

    Environment

    Detalha a configuração de ambiente do job Spark, compilada na inicialização a partir do ambiente de execução, arquivos de configuração e parâmetros especificados pelo usuário.

    Executors

    Indica o status dos executores do job Spark.

    SQL

    Lista detalhes das consultas SQL executadas pelo Lindorm Distributed Processing System (LDPS).

    Kyuubi Query Engine

    Fornece informações sobre sessões JDBC (Java Database Connectivity).

    Visualizar o status do job

    Visualizar o status do job pela Spark web UI

    Use a Spark web UI para verificar o status de um job Spark.

    Nota

    • A visualização do status de um job na Spark web UI só é possível enquanto ele estiver Running.

    • Para visualizar jobs Spark concluídos, ative o History Server .

    1. Faça login no console do Lindorm.

    2. Na página Instances, clique em ID da instância desejada.

    3. No painel de navegação à esquerda, escolha Compute Engine > Jobs. Esta página lista os jobs do Compute Engine em execução.

    4. Clique em WebUI Address do job do Compute Engine desejado e faça login na Spark web UI com o nome de usuário e a senha do Wide Table Engine.

      Nota

      Encontre o nome de usuário e a senha padrão do Wide Table Engine na página Database Connections, na aba Wide Table Engine.

    5. Na barra de navegação superior, clique em Executors para ver detalhes sobre o job em execução e seus executores.

      A página Executors possui duas seções. A seção Summary, no topo, mostra a quantidade de executores e métricas agregadas, categorizadas como Active, Dead e Total. A tabela Executors abaixo lista os detalhes de cada executor, incluindo ID, Address, Status, uso de recursos (Storage Memory, Disk Used, Cores) e métricas de tarefas (Active Tasks, Failed Tasks, Complete Tasks, Total Tasks, Task Time (GC Time)).

    6. Na lista Executors, clique em stdout ou stderr na coluna Logs para visualizar os logs de execução. Você também pode clicar em Thread Dump para ver informações da pilha de threads ou em System Status Dump para consultar o status do sistema do executor.

      Nota

      • Clique em stdout para acessar o log de saída padrão.

      • Clique em stderr para acessar o log de erro padrão.

    Visualizar logs de jobs pelo shell HDFS

    Os logs de execução dos jobs do Compute Engine são armazenados automaticamente no LindormDFS subjacente. Para revisar logs de um job interrompido, ative o Lindorm e utilize o shell HDFS.

    Importante

    • Ao enviar um job JAR, inicialize o objeto SparkSession no início da função Main. Isso garante que os logs de execuções anormais também sejam sincronizados com o LindormDFS.

    • Se o service Compute Engine executar um grande volume de jobs, a quantidade de logs pode sobrecarregar o LindormDFS. Para evitar isso, defina o parâmetro spark.dfsLog.executor.enabled=false ao iniciar um job. Esse parâmetro impede que os logs dos executores sejam salvos no LindormDFS, sem afetar a coleta de logs do driver.

    1. Faça login no console do Lindorm.

    2. Na página Instances, clique em ID da instância desejada.

    3. No painel de navegação à esquerda, escolha Compute Engine > Jobs e localize o JobId do seu job. Por exemplo: 562f7c98-2a66-****.

    4. Utilize o shell HDFS para visualizar os logs. Para saber como configurar o shell HDFS, consulte Guia de conexão.

    5. Os logs de um job do Compute Engine ficam armazenados no diretório /ldspark/ldspark-logs/${JobId}. Os logs do driver estão no subdiretório __driver_logs__, e os logs dos executores ficam no subdiretório __executor_logs__/${EXECUTOR_ID}. Por exemplo, para visualizar o log stderr do driver, execute o seguinte comando:

      $HADOOP_HOME/bin/hadoop fs -cat  /ldspark/ldspark-logs/${JobId}/__driver_logs__/stderr | less
      Nota

      Você também pode montar o diretório do LindormDFS em uma instância ECS usando um cliente FUSE. Para etapas detalhadas, consulte Conecte-se e use o LindormDFS através do HDFS FUSE.