このトピックでは、Spark SQL ジョブを開発する方法と、Spark の Web UI にアクセスしてジョブの詳細を表示する方法について説明します。
前提条件
ワークスペースと SQL セッションが作成されていること。詳細については、「ワークスペースを作成する」および「SQL セッションを管理する」をご参照ください。
SQL ジョブを作成する
データ開発ページに移動します。
E-MapReduce (EMR) コンソール にログインします。
左側のナビゲーションウィンドウで、
を選択します。[Spark] ページで、目的のワークスペースを見つけ、ワークスペースの名前をクリックします。
[EMR Serverless Spark] ページの左側のナビゲーションウィンドウで、[データ開発] をクリックします。
ジョブを作成します。
[開発] タブで、
(作成)アイコンをクリックします。
[作成] ダイアログボックスで、[名前] パラメーターを構成し、[タイプ] ドロップダウンリストから
を選択して、[OK] をクリックします。ジョブの構成タブの右上隅にある [デフォルトカタログ] ドロップダウンリストからカタログを、[デフォルトデータベース] ドロップダウンリストからデータベースを、[SQL セッション] ドロップダウンリストから開始済みの SQL セッションを選択します。
[SQL セッション] ドロップダウンリストから [SQL セッションの作成] をクリックして、SQL セッションを作成することもできます。 SQL セッションの詳細については、「SQL セッションを管理する」をご参照ください。
作成したジョブのエディターに SQL 文を入力します。
オプション。右側のナビゲーションウィンドウで、[バージョン情報] タブをクリックして、バージョン情報を表示します。
このタブでは、ジョブのバージョンを表示または比較できます。たとえば、異なるバージョンのジョブの SQL コードを比較し、違いを強調表示できます。
ジョブを実行して公開します。
[実行] をクリックします。
ページの下部にある [実行結果] タブで結果を表示できます。例外が発生した場合は、ページの下部にある [実行の問題] タブで例外を表示できます。
ジョブが期待どおりに実行されていることを確認します。次に、ジョブの構成タブの右上隅にある [公開] をクリックして、ジョブを公開します。
[公開] ダイアログボックスで、[備考] パラメーターを構成し、[OK] をクリックします。
Spark の Web UI にアクセスする
Spark の Web UI では、実行ステータス、リソース使用量、ログなど、ジョブの詳細を表示できます。これは、Spark ジョブの分析と最適化に役立ちます。次のいずれかの方法を使用して、Spark の Web UI にアクセスできます。
[実行結果] タブから Web UI にアクセスする
この方法は、使用する SQL セッションの [エンジンバージョン] パラメーターの値が次の要件を満たしている場合にのみ使用できます。
esr-4.x: esr-4.2.0 以降
esr-3.x: esr-3.2.0 以降
esr-2.x: esr-2.6.0 以降
SQL 文が実行された後、[実行結果] タブの下部にある [Spark UI] をクリックします。 Spark の Web UI に移動します。
特定のセッションから Web UI にアクセスする
SQL 文が実行された後、[SQL セッション] ドロップダウンリストをクリックし、目的のセッションの アイコンにポインターを移動して、[Spark UI] を選択します。 Spark の Web UI に移動します。
次の手順
ジョブを作成した後、ワークフローを作成してジョブを定期的にスケジュールできます。詳細については、「ワークフローを作成する」をご参照ください。ワークフローでジョブをスケジュールする方法については、「Spark SQL ジョブ開発の開始」をご参照ください。