このトピックでは、JavaまたはScalaを使用してMaxComputeのSparkでデモプロジェクトを開発する方法について説明します。
デモプロジェクトをダウンロードする
MaxComputeのSparkは、デモプロジェクトテンプレートを提供します。 テンプレートをダウンロードしてコピーし、アプリケーションを開発することを推奨します。
次のコマンドを実行して、デモプロジェクトテンプレートをダウンロードします。
# Download and compile the Spark 1.x template.
git clone https://github.com/aliyun/MaxCompute-Spark.git
cd spark-1.x
mvn clean package
# Download and compile the Spark 2.x template.
git clone https://github.com/aliyun/MaxCompute-Spark.git
cd spark-2.x
mvn clean package重要
デモプロジェクトでは、Sparkの依存関係のスコープパラメーターはprovidedに設定されています。 このパラメーターは変更しないでください。 それ以外の場合、送信されたジョブは正常に実行されません。
Spark 1.xの例
Spark 2.xの例
Spark 2.xデモプロジェクトの例: