Lindorm 分散処理システム (LDPS) は、Spark ジョブのステータス、送信時間、リソース使用量などの詳細情報を表示できる Spark Web UI を提供します。
Spark Web UI へのアクセス
-
Spark Web UI のアドレスを取得するには、「Lindorm コンソールでのジョブの管理」をご参照ください。
-
オープンソースの Spark Web UI の詳細については、「Web UI」をご参照ください。
Spark Web UI にアクセスするには、そのアドレスをブラウザーのアドレスバーに貼り付けます。 デフォルトでは、[Jobs] ページが表示されます。 ヘッダーには、[User]、[Total Uptime]、[スケジューリングモード] (FIFO など) といった基本的なアプリケーション情報が表示されます。 ヘッダーの下には、展開可能な [イベントタイムライン] セクションがあります。
表 1. Spark Web UI のタブ
|
タブ |
説明 |
|
[Jobs] |
すべてのジョブに関する詳細情報を表示します。 |
|
[ステージ] |
Spark ジョブのすべてのステージのステータス情報を表示します。 |
|
[Storage] |
永続化された耐障害性分散データセット (RDD) と DataFrame (DF) のストレージ情報を表示します。 |
|
[Environment] |
ランタイム環境、設定ファイル、およびユーザー指定のパラメーターから起動時に構成された Spark ジョブの環境設定を表示します。 |
|
[エグゼキューター] |
Spark ジョブのエグゼキューターのステータスを表示します。 |
|
[SQL] |
LDPS が実行した SQL クエリの詳細を表示します。 |
|
[Kyuubi クエリエンジン] |
Java Database Connectivity (JDBC) セッションに関する情報を表示します。 |