Spark-1.x依赖的配置以及Spark-1.x相关示例 - - Alibaba Cloud Dokümantasyon Merkezi

Bu konuda, Spark-1.x bağımlılıklarının yapılandırılması ve Spark-1.x ile ilgili örnekler açıklanmaktadır.

Spark-1.x Bağımlılıklarını Yapılandırma

MaxCompute tarafından sağlanan Spark istemcisini kullanarak bir uygulama göndermek için pom.xml dosyasına aşağıdaki bağımlılıkları eklemeniz gerekir.

<properties>
    <spark.version>1.6.3</spark.version>
    <cupid.sdk.version>3.3.3-public</cupid.sdk.version>
    <scala.version>2.10.4</scala.version>
    <scala.binary.version>2.10</scala.binary.version>
</properties>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-core_${scala.binary.version}</artifactId>
    <version>${spark.version}</version>
    <scope>provided</scope>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-sql_${scala.binary.version}</artifactId>
    <version>${spark.version}</version>
    <scope>provided</scope>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-mllib_${scala.binary.version}</artifactId>
    <version>${spark.version}</version>
    <scope>provided</scope>
</dependency>
<dependency>
    <groupId>org.apache.spark</groupId>
    <artifactId>spark-streaming_${scala.binary.version}</artifactId>
    <version>${spark.version}</version>
    <scope>provided</scope>
</dependency>
<dependency>
    <groupId>com.aliyun.odps</groupId>
    <artifactId>cupid-sdk</artifactId>
    <version>${cupid.sdk.version}</version>
    <scope>provided</scope>
</dependency>
<dependency>
    <groupId>com.aliyun.odps</groupId>
    <artifactId>hadoop-fs-oss</artifactId>
    <version>${cupid.sdk.version}</version>
</dependency>
<dependency>
    <groupId>com.aliyun.odps</groupId>
    <artifactId>odps-spark-datasource_${scala.binary.version}</artifactId>
    <version>${cupid.sdk.version}</version>
</dependency>
<dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-library</artifactId>
    <version>${scala.version}</version>
</dependency>
<dependency>
    <groupId>org.scala-lang</groupId>
    <artifactId>scala-actors</artifactId>
    <version>${scala.version}</version>
</dependency>

Yukarıdaki kodda Scope tanımı şu şekildedir:

spark-core, spark-sql dahil olmak üzere Spark topluluğu tarafından yayınlanan tüm paketler için provided Scope kullanın.
odps-spark-datasource için varsayılan compile Scope değerini kullanın.

WordCount Örneği (Scala)

Örnek kod

WordCount.scala

Gönderme yöntemi

cd /path/to/MaxCompute-Spark/spark-1.x
mvn clean package

# 环境变量spark-defaults.conf的配置请参见搭建开发环境。
cd $SPARK_HOME
bin/spark-submit --master yarn-cluster --class com.aliyun.odps.spark.examples.WordCount \
    /path/to/MaxCompute-Spark/spark-1.x/target/spark-examples_2.10-1.0.0-SNAPSHOT-shaded.jar

MaxCompute Table Okuma/Yazma Örneği (Scala)

Örnek kod

SparkSQL.scala

Gönderme yöntemi

cd /path/to/MaxCompute-Spark/spark-1.x
mvn clean package
# 环境变量spark-defaults.conf的配置请参见搭建开发环境。
cd $SPARK_HOME
bin/spark-submit --master yarn-cluster --class com.aliyun.odps.spark.examples.sparksql.SparkSQL \
    /path/to/MaxCompute-Spark/spark-1.x/target/spark-examples_2.10-1.0.0-SNAPSHOT-shaded.jar

MaxCompute Table Okuma/Yazma Örneği (Python)

MaxCompute Table okuma ve yazma işlemlerini gerçekleştiren Python örnek kodu için spark_sql.py dosyasına bakın.

MaxCompute Table Okuma/Yazma Örneği (Java)

MaxCompute Table okuma ve yazma işlemlerini gerçekleştiren Java örnek kodu için JavaSparkSQL.java dosyasına bakın.