AnalyticDB:Spark-Submit コマンドラインツールを使用した Spark アプリケーションの開発

制限事項

• spark-submit ツールは Spark JAR アプリケーションのみをサポートしており、Spark SQL アプリケーションは送信できません。

• 送信操作は冪等でないため、失敗時にコマンドが自動的に再試行されません。ネットワークタイムアウトにより一見失敗したように見えるコマンドでも、実際にはすでに成功している可能性があります。送信が成功したかどうかを確認するには、--list オプションを使用するか、AnalyticDB for MySQL コンソールで確認してください。

前提条件

開始する前に、以下の条件を満たしていることを確認してください。

• AnalyticDB for MySQL Data Lakehouse Edition クラスター

• ジョブ リソースグループ。詳細については、「リソースグループの作成と管理」をご参照ください。

• クラスターと同じリージョンにある Object Storage Service (OSS) バケット

• クライアントマシンに Java 開発キット（JDK）1.8 以降がインストール済みであること

spark-submit のインストール

1. インストールパッケージをダウンロードします。

   wget https://dla003.oss-cn-hangzhou.aliyuncs.com/adb-spark-toolkit-submit-0.0.1.tar.gz

2. パッケージを解凍します。

   tar zxvf adb-spark-toolkit-submit-0.0.1.tar.gz

spark-submit の構成設定

パッケージを解凍した後、adb-spark-toolkit-submit/conf/spark-defaults.conf を開きます。spark-submit スクリプトはこのファイルを自動的に読み込み、設定内容はすべての Spark アプリケーションに適用されます。

vim adb-spark-toolkit-submit/conf/spark-defaults.conf

以下の表に、構成パラメーターを示します。

互換性

--conf spark.adb.access.key.id=<value>    
--conf spark.adb.access.secret.id=<value>
--conf spark.adb.regionId=<value>
--conf spark.adb.clusterId=<value>
--conf spark.adb.rgName=<value>
--conf spark.adb.oss.akId=<value>
--conf spark.adb.oss.akSec=<value>
--conf spark.adb.oss.endpoint=<value>
--conf spark.adb.oss.uploadPath=<value>

Spark アプリケーションの送信

1. Spark アプリケーションの JAR ファイルを OSS にアップロードします。詳細については、「シンプルアップロード」をご参照ください。

2. spark-submit ディレクトリに移動します。

   cd adb-spark-toolkit-submit

3. Spark アプリケーションを送信します。プレースホルダーの値を、ご利用の実際の OSS パスおよびリソース名に置き換えてください。

   ./bin/spark-submit \
     --class com.aliyun.spark.oss.SparkReadOss \
     --verbose \
     --name Job1 \
     --jars oss://<bucket-name>/jars/test.jar,oss://<bucket-name>/jars/search.jar \
     --conf spark.driver.resourceSpec=medium \
     --conf spark.executor.instances=1 \
     --conf spark.executor.resourceSpec=medium \
     oss://<bucket-name>/jars/test1.jar args0 args1

   プレースホルダーを以下のように置き換えます。

   プレースホルダー	説明
   <bucket-name>	JAR ファイルを格納する OSS バケットの名前
   args0 args1	JAR ファイルの引数（スペース区切り）

アプリケーションを送信した後、以下のいずれかのリターンコードが返されます。

上記コマンドで使用される spark-submit パラメーターについて、以下の表に説明を示します。

Spark アプリケーションの管理

アプリケーションを送信した後は、以下の典型的なワークフローに従って操作を行います。

1. --list を実行し、アプリケーション ID を取得します。

2. アプリケーション ID を用いて --status、--get-log、または --detail を実行し、進行状況をモニターします。

3. 必要に応じて --kill を実行し、アプリケーションを停止します。

./bin/spark-submit --list \
  --clusterId <cluster-ID> \
  --rgName <resource-group-name> \
  --pagenumber 1 \
  --pagesize 3

./bin/spark-submit --status <application-ID>

./bin/spark-submit --detail <application-ID>

./bin/spark-submit --get-log <application-ID>

./bin/spark-submit --kill <application-ID>

オープンソースの spark-submit との違い