E-MapReduce:Spark Submit 開発の開始

ステップ 1: JAR パッケージを開発する

このクイックスタートは、Spark Submit タスクに慣れるのに役立ちます。プロジェクトファイルとテスト用の JAR パッケージが提供されており、ダウンロードして次のステップで使用できます。

テスト JAR パッケージをダウンロードするには、spark-examples_2.12-3.3.1.jar をクリックします。

ステップ 2: JAR パッケージを OSS にアップロードする

この例では、spark-examples_2.12-3.3.1.jar パッケージをアップロードします。アップロード操作の詳細については、「単純なアップロード」をご参照ください。

ステップ 3: ジョブを開発して実行する

1. EMR Serverless Spark ページで、左側のナビゲーションウィンドウの [データ開発] をクリックします。

2. [開発] タブで、 アイコンをクリックします。

3. 名前を入力し、タイプに [バッチジョブ] > [Spark Submit] を選択してから、[OK] をクリックします。

4. 右上隅で、キューを選択します。

   キューの追加方法の詳細については、「リソースキューの管理」をご参照ください。

5. ジョブ開発パネルで、次の情報を設定します。他のパラメーターを設定する必要はありません。次に、[実行] をクリックします。

   パラメーター	説明
   スクリプト	spark-submit スクリプト。 次のサンプルコードは、spark-submit スクリプトの例を示しています。 --class org.apache.spark.examples.SparkPi \ --conf spark.executor.memory=2g \ oss://<YourBucket>/spark-examples_2.12-3.3.1.jar

6. 下の [実行記録] エリアで、ジョブのアクション列にある Log Exploration をクリックします。

7. Log Exploration タブで、ログ情報を表示できます。

   

ステップ 4: ジョブを公開する

1. ジョブが正常に実行されたら、右側の [公開] をクリックします。

2. ジョブの公開ダイアログボックスで、必要な情報を入力し、[OK] をクリックします。

(オプション) ステップ 5: Spark UI を表示する

ジョブが正常に実行された後、Spark UI でそのステータスを表示できます。

1. 左側のナビゲーションウィンドウで、[ジョブ履歴] をクリックします。

2. [アプリケーション] ページで、ターゲットジョブのアクション列にある [Spark UI] をクリックします。

   Spark UI ページが開き、ジョブの詳細を表示できます。