Lindorm コンピュートエンジンに搭載されている Spark UI を使用すると、Spark ジョブの実行ステータス、投入時間、リソース使用量などの詳細情報を表示できます。
Spark UI へのアクセス
説明
Spark UI アドレスを取得する方法については、「Spark UI アドレスの表示」をご参照ください。
オープンソースの Spark UI の詳細については、「オープンソース Spark UI」をご参照ください。
Spark UI アドレスをブラウザのアドレスバーにコピーして、Spark UI にアクセスできます。
表 1. Spark UI のタブ
タブ | 説明 |
Jobs | 実行中のすべてのジョブに関する詳細情報。 |
Stages | Spark ジョブのすべてのステージのステータス情報。 |
Storage | 永続化された RDD と DF のストレージ情報。 |
Environment | Spark ジョブが実行される環境。ジョブが開始されると、この環境はランタイム環境、設定ファイル、およびユーザー入力パラメーターから構築されます。 |
Executors | Spark ジョブのエグゼキュータのステータス情報。 |
SQL | コンピュートエンジンが実行する SQL 文に関する詳細情報。 |
Kyuubi Query Engine | JDBC セッション情報。 |