E-MapReduce:Spark Submit 開発のクイックスタート

ステップ 1：JAR パッケージの作成

本クイックスタートでは、Spark Submit タスクへの理解を迅速に深められるよう、プロジェクトファイルおよびテスト用 JAR パッケージを提供しています。以下の手順でダウンロードし、後続の操作にご利用ください。

spark-examples_2.12-3.5.2.jar をクリックして、テスト用 JAR パッケージをダウンロードします。

ステップ 2：JAR パッケージを OSS にアップロード

本例では、`spark-examples_2.12-3.5.2.jar` を OSS にアップロードします。アップロード手順については、「シンプルアップロード」をご参照ください。

ステップ 3：タスクの作成と実行

1. EMR Serverless Spark ページの左側ナビゲーションウィンドウで、データ開発 をクリックします。

2. 開発 タブで、 アイコンをクリックします。

3. タスク名を入力します。タイプを バッチジョブ > Spark Submit に設定し、OK をクリックします。

4. 右上隅からキューを選択します。

   キューの追加手順については、「リソースキューの管理」をご参照ください。

5. 新規タスクエディターで、以下のパラメーターを設定します。その他のパラメーターは変更せず、そのまま使用します。その後、実行 をクリックします。

   パラメーター	説明
   スクリプト	Spark Submit スクリプトを入力します。 以下のコードはサンプルです： --class org.apache.spark.examples.SparkPi \ --conf spark.executor.memory=2g \ oss://<YourBucket>/spark-examples_2.12-3.5.2.jar

6. 下部の 実行記録 セクションで、[Actions] 列の Log Exploration をクリックします。

7. Log Exploration タブで、関連するログ情報を確認します。

   

ステップ 4：タスクの公開

1. タスクが正常に実行された後、右側の 公開 をクリックします。

2. 公開ダイアログボックスで、リリースノートを入力し、OK をクリックします。

(オプション) ステップ 5: Spark UI の表示

タスクが正常に実行された後、Spark UI で実行詳細を確認できます。

1. 左側のナビゲーションウィンドウで、ジョブ履歴 をクリックします。

2. アプリケーション ページで、対象タスクの [Actions] 列より Spark UI をクリックします。

   Spark UI ページが自動で開きます。そこでタスクの詳細情報を確認できます。