すべてのプロダクト
Search
ドキュメントセンター

E-MapReduce:Spark SQL ジョブを開発する

最終更新日:Apr 25, 2025

このトピックでは、Spark SQL ジョブを開発する方法と、Spark の Web UI にアクセスしてジョブの詳細を表示する方法について説明します。

前提条件

ワークスペースと SQL セッションが作成されていること。詳細については、「ワークスペースを作成する」および「SQL セッションを管理する」をご参照ください。

SQL ジョブを作成する

  1. データ開発ページに移動します。

    1. E-MapReduce (EMR) コンソール にログインします。

    2. 左側のナビゲーションウィンドウで、[EMR Serverless] > [Spark] を選択します。

    3. [Spark] ページで、目的のワークスペースを見つけ、ワークスペースの名前をクリックします。

    4. [EMR Serverless Spark] ページの左側のナビゲーションウィンドウで、[データ開発] をクリックします。

  2. ジョブを作成します。

    1. [開発] タブで、image(作成)アイコンをクリックします。

    2. [作成] ダイアログボックスで、[名前] パラメーターを構成し、[タイプ] ドロップダウンリストから [SQL] > [SparkSQL] を選択して、[OK] をクリックします。

    3. ジョブの構成タブの右上隅にある [デフォルトカタログ] ドロップダウンリストからカタログを、[デフォルトデータベース] ドロップダウンリストからデータベースを、[SQL セッション] ドロップダウンリストから開始済みの SQL セッションを選択します。

      [SQL セッション] ドロップダウンリストから [SQL セッションの作成] をクリックして、SQL セッションを作成することもできます。 SQL セッションの詳細については、「SQL セッションを管理する」をご参照ください。

      image

    4. 作成したジョブのエディターに SQL 文を入力します。

    5. オプション。右側のナビゲーションウィンドウで、[バージョン情報] タブをクリックして、バージョン情報を表示します。

      このタブでは、ジョブのバージョンを表示または比較できます。たとえば、異なるバージョンのジョブの SQL コードを比較し、違いを強調表示できます。

  3. ジョブを実行して公開します。

    1. [実行] をクリックします。

      ページの下部にある [実行結果] タブで結果を表示できます。例外が発生した場合は、ページの下部にある [実行の問題] タブで例外を表示できます。

    2. ジョブが期待どおりに実行されていることを確認します。次に、ジョブの構成タブの右上隅にある [公開] をクリックして、ジョブを公開します。

    3. [公開] ダイアログボックスで、[備考] パラメーターを構成し、[OK] をクリックします。

Spark の Web UI にアクセスする

Spark の Web UI では、実行ステータス、リソース使用量、ログなど、ジョブの詳細を表示できます。これは、Spark ジョブの分析と最適化に役立ちます。次のいずれかの方法を使用して、Spark の Web UI にアクセスできます。

[実行結果] タブから Web UI にアクセスする

説明

この方法は、使用する SQL セッションの [エンジンバージョン] パラメーターの値が次の要件を満たしている場合にのみ使用できます。

  • esr-4.x: esr-4.2.0 以降

  • esr-3.x: esr-3.2.0 以降

  • esr-2.x: esr-2.6.0 以降

SQL 文が実行された後、[実行結果] タブの下部にある [Spark UI] をクリックします。 Spark の Web UI に移動します。

image

特定のセッションから Web UI にアクセスする

SQL 文が実行された後、[SQL セッション] ドロップダウンリストをクリックし、目的のセッションの image アイコンにポインターを移動して、[Spark UI] を選択します。 Spark の Web UI に移動します。

image

次の手順

ジョブを作成した後、ワークフローを作成してジョブを定期的にスケジュールできます。詳細については、「ワークフローを作成する」をご参照ください。ワークフローでジョブをスケジュールする方法については、「Spark SQL ジョブ開発の開始」をご参照ください。