すべてのプロダクト
Search

このプロダクト

    Lindorm:コンソールでのジョブの表示

    ドキュメントセンター

    Lindorm:コンソールでのジョブの表示

    最終更新日:Jul 18, 2026

    Spark Web UI、HDFS シェル、または History Server を使用して、Compute Engine ジョブのステータス、ログ、履歴を表示します。

    前提条件

    • ご利用の Lindorm インスタンスの Compute Engine サービスが有効になっている必要があります。詳細については、「サービスの有効化」をご参照ください。

    • クライアントの IP アドレスが、ご利用の Lindorm インスタンスのホワイトリストに登録されている必要があります。詳細については、「ホワイトリストの設定」をご参照ください。

    Spark ジョブ情報の表示

    Spark Web UI へのアクセス

    説明

    Spark Web UI にアクセスするには、そのアドレスをブラウザのアドレスバーに貼り付けます。インターフェイスはデフォルトで Jobs ページを開きます。ヘッダーには、User、Total Uptime、Scheduling Mode（例：FIFO）などの基本的なアプリケーション情報が表示されます。ヘッダーの下には、展開可能な Event Timeline セクションがあります。

    表 1. Spark Web UI のタブ

    タブ

    説明

    Jobs

    すべてのジョブに関する詳細情報を表示します。

    Stages

    Spark ジョブのすべてのステージのステータス情報を表示します。

    Storage

    永続化されたレジリエント分散データセット (RDD) および DataFrames (DF) のストレージ情報を表示します。

    Environment

    Spark ジョブの環境構成を表示します。この情報は、実行環境、設定ファイル、ユーザー指定のパラメーターから起動時にコンパイルされます。

    Executors

    Spark ジョブのエグゼキュータのステータスを表示します。

    SQL

    Lindorm 分散処理システム (LDPS) によって実行された SQL クエリの詳細を表示します。

    Kyuubi Query Engine

    Java Database Connectivity (JDBC) セッションに関する情報を表示します。

    ジョブステータスの表示

    Spark Web UI を使用したジョブステータスの表示

    Spark Web UI を使用して、Spark ジョブのステータスを表示できます。

    説明

    • ジョブのステータスは、Running の間のみ Spark Web UI で表示できます。

    • 完了した Spark ジョブを表示するには、History Server を有効にする必要があります。

    1. Lindorm コンソールにログインします。

    2. インスタンス一覧ページで、ターゲットインスタンスの ID をクリックします。

    3. 左側のナビゲーションウィンドウで、Compute Engine > Jobs を選択します。このページには、実行中の Compute Engine ジョブが一覧表示されます。

    4. 目的の Compute Engine ジョブの WebUI Address をクリックし、ワイドテーブルエンジンのユーザー名とパスワードを使用して Spark Web UI にログインします。

      説明

      ワイドカラムエンジンのデフォルトのユーザー名とパスワードを取得するには、[データベース接続] ページに移動し、[ワイドカラムエンジン] タブをクリックして、それらをコピーしてください。

    5. 上部のナビゲーションバーで Executors をクリックし、実行中のジョブとそのエグゼキュータの詳細を表示します。

      Executors ページは 2 つのセクションで構成されています。上部のサマリーセクションには、アクティブ、停止済み、合計のカテゴリごとにエグゼキュータ数と集計メトリックが表示されます。下部の Executors テーブルには、各エグゼキュータの ID、アドレス、ステータス、リソース使用量（Storage Memory、Disk Used、Cores）、タスクメトリック（Active Tasks、Failed Tasks、Complete Tasks、Total Tasks、Task Time (GC Time)）などの詳細が一覧表示されます。

    6. Executors リストの Logs 列で、stdout または stderr をクリックしてランタイムログを表示します。Thread Dump をクリックするとスレッドスタック情報を表示でき、System Status Dump をクリックすると エグゼキュータ のシステムステータスを表示できます。

      説明

      • stdout をクリックして標準出力ログを表示します。

      • stderr をクリックして標準エラーログを表示します。

    HDFS シェルを使用したジョブログの表示

    Compute Engine ジョブのランタイムログは、自動的に基盤となる LindormDFS に保存されます。中断されたジョブのログを確認するには、Lindorm を有効にして HDFS シェルを使用します。

    重要

    • JAR ジョブを送信する際は、Main 関数の先頭で SparkSession オブジェクトを初期化してください。これにより、異常終了した場合のログも LindormDFS に同期されます。

    • Compute Engine サービスで多数のジョブを実行している場合、ログのボリュームが LindormDFS に大きな負荷をかける可能性があります。これを軽減するには、ジョブ起動時に spark.dfsLog.executor.enabled=false パラメーターを設定してください。このパラメーターにより、エグゼキュータログが LindormDFS に保存されなくなります。ドライバーログの収集は影響を受けません。

    1. Lindorm コンソールにログインします。

    2. インスタンス一覧ページで、ターゲットインスタンスの ID をクリックします。

    3. 左側のナビゲーションウィンドウで、Compute Engine > Jobs を選択し、ジョブの JobId を確認します。例：562f7c98-2a66-****。

    4. HDFS シェルを使用してログを表示します。HDFS シェルの設定方法については、「接続ガイド」をご参照ください。

    5. Compute Engine ジョブのログは /ldspark/ldspark-logs/${JobId} ディレクトリに保存されます。ドライバーログは __driver_logs__ サブディレクトリに、エグゼキュータログは __executor_logs__/${EXECUTOR_ID} サブディレクトリに保存されます。たとえば、ドライバーの stderr ログを表示するには、次のコマンドを実行します。

      $HADOOP_HOME/bin/hadoop fs -cat  /ldspark/ldspark-logs/${JobId}/__driver_logs__/stderr | less
      説明

      LindormDFS ディレクトリを FUSE クライアントを使用して ECS インスタンスにマウントすることもできます。具体的な手順については、「HDFS FUSE を介した LindormDFS への接続と使用」をご参照ください。

    ジョブ実行履歴の表示

    課金

    Lindorm インスタンスの消費リソース量と使用時間に基づいて課金されます。Lindorm インスタンスは 1 CU（1 CU = 1 vCPU および 4 GB メモリ）を消費します。1 CU の料金は 1 時間あたり CNY 0.203 です。History Server を有効にした時点で、使用の有無にかかわらず課金が開始されます。

    History Server の有効化

    1. Lindorm コンソールにログインします。

    2. インスタンス一覧ページで、ターゲットインスタンスの ID をクリックします。

    3. 左側のナビゲーションウィンドウで compute engine をクリックします。

    4. service management タブをクリックします。

    5. History Server タブをクリックし、Spark History スイッチをオンにします。

    ジョブ履歴の表示

    1. Lindorm コンソールにログインします。

    2. インスタンス一覧ページで、ターゲットインスタンスの ID をクリックします。

    3. 左側のナビゲーションウィンドウで compute engine をクリックします。

    4. service management タブをクリックします。

    5. History Server タブをクリックします。

    6. WebUI URL をクリックします。ワイドカラムエンジンのユーザー名とパスワードを使用して History Server ページにログインし、ジョブ実行履歴を表示します。

      説明

      • ワイドカラムエンジンのデフォルトのユーザー名とパスワードを取得するには、データベース接続ページで ワイドカラムエンジン タブをクリックし、ユーザー名とパスワードをコピーします。

      • History Server ページに No completed applications found! というメッセージが表示される場合は、履歴ジョブが存在しないか、ジョブ履歴の有効期限が切れて削除されたことを意味します。

      History Server ページには、履歴ジョブ情報がテーブル形式で表示されます。テーブルには、Version、App ID、App name、Started、Completed、Duration、Spark user、Last updated、Event log の各列が含まれます。Event log 列には Download ボタンがあります。

      タスク

      操作

      履歴ジョブのフィルター

      History Server ページの右上隅にある Search テキストボックスに、App name、Started 時刻、または Completed 時刻を入力してジョブをフィルターします。

      実行中のジョブの表示

      History Server ページの左下隅で、Show incomplete applications をクリックします。

    7. App ID をクリックして、対応するジョブの Spark UI を開きます。