E-MapReduce:Spark Submit クイックスタート

手順1：JAR パッケージの開発

すぐに開始できるように、このガイドではテスト用の JAR パッケージを提供します。

spark-examples_2.12-3.5.2.jar をクリックし、テスト用の JAR パッケージをダウンロードします。

手順2：JAR パッケージの OSS へのアップロード

spark-examples_2.12-3.5.2.jar を OSS にアップロードします。手順については、「シンプルアップロード」をご参照ください。

手順3：ジョブの開発と実行

1. E-MapReduce (EMR) サーバーレス Spark のページで、左側のナビゲーションペインにある Development をクリックします。

2. [開発] タブで、 アイコンをクリックします。

3. 名前を入力し、タイプとして Application > [Spark Submit] を選択し、OK をクリックします。

4. 右上隅でキューを選択します。

   キューの追加方法の詳細については、「リソースキューの管理」をご参照ください。

5. 新しいジョブエディターで、次のパラメーターを設定し、他のパラメーターはデフォルト設定のままにします。その後、実行 をクリックします。

   パラメーター	説明
   [Script]	Spark Submit スクリプトを入力します。 以下のコードはその例です。 --class org.apache.spark.examples.SparkPi \ --conf spark.executor.memory=2g \ oss://<YourBucket>/spark-examples_2.12-3.5.2.jar

6. 下部にある Execution Records セクションで、対象のジョブの [操作] 列にある Log Exploration をクリックします。

7. Log Exploration タブで、ジョブログを表示できます。

   [ドライバーログ] > [Stdout] タブを選択します。Pi is roughly 3.1415557077785388 のようなジョブ出力が、stdout.log ファイルに表示されます。

手順4：ジョブの公開

1. ジョブが正常に完了したら、右上隅の Publish をクリックします。

2. 公開ダイアログボックスで、公開情報を入力し、OK をクリックします。

(オプション) 手順5：Spark UI の表示

ジョブが正常に完了したら、Spark UI でその詳細を表示できます。

1. 左側のナビゲーションペインで、Job History をクリックします。

2. [Application] ページで、対象のジョブの [操作] 列にある Spark UI をクリックします。

   Spark UI が新しいタブで開き、ジョブの詳細が表示されます。