:Linux geliştirme ortamı kurulumu

Ön koşullar

Spark on MaxCompute istemci paketini indirin ve paketi işletim sisteminize yükleyin

sudo tar -xzvf spark-2.3.0-odps0.33.0.tar.gz

Ortam değişkenlerini yapılandırın

Linux işletim sisteminizin CLI'sında ortam değişkenlerini yapılandırmanız gerekir. Aşağıdaki içerik, ortam değişkenlerinin nasıl yapılandırılacağını açıklar ve ilgili bilgileri sağlar.

• Java ortam değişkenlerini yapılandırın.

  • Java yükleme yolunu bulun. Örnek komutlar:

    # If you use yum to install Java, Java is installed in the /usr path by default. You can run the following command to query the Java installation path. If you use a custom installation path, the actual path prevails. 
    whereis java
    ls -lrt /usr/bin/java
    ls -lrt /etc/alternatives/java
    
    # The following result is returned. In the result, /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.1.al7.x86_64 is the Java installation path. 
    /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.1.al7.x86_64/jre/bin/java

    

  • Java ortam değişkenlerini düzenleyin. Örnek komutlar:

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. 
    # Set JAVA_HOME to the actual Java installation path. 
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.1.al7.x86_64
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$JAVA_HOME/bin:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    
    # Run the following command to make the modification take effect: 
    source /etc/profile
    
    # Check whether the Java environment variables are successfully configured. 
    java -version
    # The following result is returned: 
    openjdk version "1.8.0_322"
    OpenJDK Runtime Environment (build 1.8.0_322-b06)
    OpenJDK 64-Bit Server VM (build 25.322-b06, mixed mode)

    

• Spark ortam değişkenlerini yapılandırın.

  • Spark on MaxCompute istemci paketinin açıldığı dizini bulun. Aşağıdaki görselde dizinin /home/spark-2.3.0-odps0.33.0 olduğu gösterilmektedir. Açma dizini ve paket adı duruma göre değişir.

  • Spark ortam değişkenlerini düzenleyin. Örnek komutlar:

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. 
    # Set SPARK_HOME to the actual path to which the Spark on MaxCompute client package is decompressed. 
    export SPARK_HOME=/home/spark-2.3.0-odps0.33.0
    export PATH=$SPARK_HOME/bin:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    
    # Run the following command to make the modification take effect: 
    source /etc/profile

    

• Python ortam değişkenlerini yapılandırın.

  PySpark kullanıyorsanız Python ortam değişkenlerini yapılandırmanız gerekir.

  • Python yükleme yolunu bulun. Örnek komut:

  • Python ortam değişkenlerini düzenleyin. Örnek komutlar:

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. 
    # Set PATH to the actual Python installation path. 
    export PATH=/usr/bin/python/bin/:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    
    # Run the following command to make the modification take effect: 
    source /etc/profile
    
    # Check whether the Python environment variables are successfully configured. 
    python --version
    # The following result is returned: 
    Python 2.7.5

    

• Maven ortam değişkenlerini yapılandırın.

  • Maven paketinin açıldığı dizini bulun. Aşağıdaki görselde dizinin /home/apache-maven-3.8.7 olduğu gösterilmektedir. Açma dizini ve paket adı duruma göre değişir.

  • Maven ortam değişkenlerini düzenleyin. Örnek komutlar:

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. 
    # Set MAVEN_HOME to the actual path to which the Maven package is decompressed. 
    export MAVEN_HOME=/home/apache-maven-3.8.7
    export PATH=$MAVEN_HOME/bin:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    # Run the following command to make the modification take effect: 
    source /etc/profile
    
    # Check whether the Maven environment variables are successfully configured. 
    mvn -version
    # The following result is returned: 
    Apache Maven 3.8.7 (9b656c72d54e5bacbed989b64718c159fe39b537)
    Maven home: /home/apache-maven-3.8.7
    Java version: 1.8.0_322, vendor: Red Hat, Inc., runtime: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.1.al7.x86_64/jre
    Default locale: en_US, platform encoding: UTF-8
    OS name: "linux", version: "4.19.91-25.1.al7.x86_64", arch: "amd64", family: "unix"

• Git ortam değişkenlerini yapılandırın.

  • Git yükleme yolunu bulun. Örnek komutlar:

    whereis git

    

  • Git ortam değişkenlerini düzenleyin. Örnek komutlar:

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. # Set PATH to the actual Git installation path. 
    export PATH=/usr/local/git/bin/:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    
    # Run the following command to make the modification take effect: 
    source /etc/profile
    
    # Check whether the Git environment variables are successfully configured. 
    git --version
    # The following result is returned: 
    git version 2.24.4

    

spark-defaults.conf dosyasını yapılandırın

# Switch to the path to which the Spark on MaxCompute client package is decompressed and go to the conf folder. The actual path prevails. 
cd /home/spark-2.3.0-odps0.33.0/conf

# Rename the spark-defaults.conf.template file. 
mv spark-defaults.conf.template spark-defaults.conf

# Edit the spark-defaults.conf file. 
vim spark-defaults.conf
# Press i to enter the edit mode and add the following configuration to the end of the configuration file. 
spark.hadoop.odps.project.name = <MaxCompute_project_name>  
spark.hadoop.odps.access.id = <AccessKey_id>     
spark.hadoop.odps.access.key = <AccessKey_secret>
spark.hadoop.odps.end.point = <Endpoint>   # The endpoint that is used to connect the Spark on MaxCompute client to your MaxCompute project. You can modify the endpoint based on your business requirements. For more information, see Endpoint. 
# For Spark 2.3.0, set spark.sql.catalogImplementation to odps. For Spark 2.4.5, set spark.sql.catalogImplementation to hive. 
spark.sql.catalogImplementation={odps|hive} 
# Retain the following configurations:
spark.hadoop.odps.task.major.version = cupid_v2
spark.hadoop.odps.cupid.container.image.enable = true
spark.hadoop.odps.cupid.container.vm.engine.type = hyper
spark.hadoop.odps.moye.trackurl.host = http://jobview.odps.aliyun.com

• MaxCompute_project_name: Erişmek istediğiniz MaxCompute projesinin adı.

  Bu parametre, MaxCompute projesine karşılık gelen DataWorks çalışma alanı yerine MaxCompute projenizin adını belirtir. MaxCompute konsolu üzerinde oturum açın. Üst gezinme çubuğunda bir bölge seçin. Sol gezinme bölmesinde Workspace > Projects seçeneğine giderek MaxCompute projesinin adını görüntüleyin.

• AccessKey_id: MaxCompute projesine erişmek için kullanılan AccessKey ID.

  AccessKey ID'yi AccessKey Pair sayfasından alabilirsiniz.

• AccessKey_secret: AccessKey ID'ye karşılık gelen AccessKey secret.

  AccessKey secret'i AccessKey Pair sayfasından alabilirsiniz.

• Endpoint: MaxCompute projenizin bulunduğu bölgenin genel uç noktası.

  Her bölgenin genel uç noktası hakkında daha fazla bilgi için Bölgelere göre uç noktalar (İnternet) bölümüne bakın.

• VPC_endpoint: MaxCompute projenizin bulunduğu bölgenin VPC uç noktası.

  Her bölgenin VPC uç noktası hakkında daha fazla bilgi için Bölgelere göre uç noktalar (VPC) bölümüne bakın.

Diğer yapılandırma parametreleri özel senaryolar ve özellikler için gereklidir. Daha fazla bilgi için Spark on MaxCompute yapılandırma ayrıntıları bölümüne bakın.

Bir proje hazırlayın

Yukarıdaki komutları çalıştırdıktan sonra ortam yapılandırmalarının geçersiz olduğunu belirten bir hata mesajı görürseniz talimatları izleyerek yapılandırmaları kontrol edin. Geçersiz yapılandırmalar bulursanız bunları düzeltin.

Bağımlılıkları yapılandırın

Hazırladığınız Spark on MaxCompute projesinde bağımlılıkları yapılandırın. Örnek komutlar:

• MaxCompute projenizdeki tablolara erişmek için gereken bağımlılıkları yapılandırın.

  • Spark-1.x şablonu kullanılır.

    # Go to the spark-1.x folder. 
    cd MaxCompute-Spark/spark-1.x
    
    # Edit the POM file to add the odps-spark-datasource dependency. 
    <dependency>
      <groupId>com.aliyun.odps</groupId>
      <artifactId>odps-spark-datasource_2.10</artifactId>
      <version>3.3.8-public</version>
    </dependency>                           

  • Spark-2.x şablonu kullanılır.

    # Go to the spark-2.x folder. 
    cd MaxCompute-Spark/spark-2.x
    
    # Edit the POM file to add the odps-spark-datasource dependency. 
    <dependency>
        <groupId>com.aliyun.odps</groupId>
        <artifactId>odps-spark-datasource_2.11</artifactId>
        <version>3.3.8-public</version>
    </dependency>

• Object Storage Service (OSS) erişimi için gereken bağımlılığı yapılandırın.

  İşinizin OSS'ye erişmesi gerekiyorsa aşağıdaki bağımlılığı ekleyin:

  <dependency>
      <groupId>com.aliyun.odps</groupId>
      <artifactId>hadoop-fs-oss</artifactId>
      <version>3.3.8-public</version>
  </dependency>

Spark-1.x, Spark-2.x veya Spark-3.x şablonu kullanıldığında gereken bağımlılıklar hakkında daha fazla bilgi için Spark-1.x pom, Spark-2.x pom veya Spark-3.x pom bölümlerine bakın.

Harici dosyalara başvurun

val targetFile = "File name"
val file = Source.fromFile(targetFile)
for (line <- file.getLines)
    println(line)
file.close

SparkPi duman testi gerçekleştirin

# /path/to/MaxCompute-Spark Configure a valid path for the compiled JAR package of the application. 
cd $SPARK_HOME
bin/spark-submit \
--class com.aliyun.odps.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
/path/to/your/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar

# If the following log information is displayed, smoke testing is successful. 
19/06/11 11:57:30 INFO Client: 
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: 11.222.166.90
         ApplicationMaster RPC port: 38965
         queue: queue
         start time: 1560225401092
         final status: SUCCEEDED

IntelliJ IDEA kullanarak yerel modda Spark on MaxCompute çalıştırma notları

Spark 2.4.5 kullanımına ilişkin dikkat edilmesi gereken noktalar

• Spark 2.4.5 kullanarak iş gönderme

  • Bir Yarn kümesinde iş gönderin. Daha fazla bilgi için Küme modu bölümüne bakın.

  • DataWorks konsolunda spark.hadoop.odps.spark.version parametresini spark-2.4.5-odps0.33.0 olarak ayarlayın. DataWorks'teki özel kaynak gruplarının Spark sürümü Spark 2.4.5'e güncellenmemişse işleri zamanlamak için paylaşılan kaynak gruplarını kullanabilir veya Spark sürümünü güncellemek için MaxCompute teknik destek ekibiyle iletişime geçebilirsiniz.

• Spark 2.4.5 kullanımı değişiklikleri

  • Bir Yarn kümesinde iş gönderiyorsanız SPARK_HOME ortam değişkenini eklemek için export HADOOP_CONF_DIR=$SPARK_HOME/conf komutunu çalıştırmanız gerekir.

  • Yerel modda hata ayıklama yapıyorsanız $SPARK_HOME/conf yolunda odps.conf adlı bir dosya oluşturmanız ve aşağıdaki yapılandırmaları dosyaya eklemeniz gerekir:

    odps.project.name = 
    odps.access.id = 
    odps.access.key =
    odps.end.point =

• Spark 2.4.5 parametre ayarları değişiklikleri

  • spark.sql.catalogImplementation: Bu parametre hive olarak ayarlanır.

  • spark.sql.sources.default: Bu parametre hive olarak ayarlanır.

  • spark.sql.odps.columnarReaderBatchSize: Vektörleştirilmiş okuyucunun tek seferde kaç satır veri okuduğunu belirtir. Varsayılan değer: 4096.

  • spark.sql.odps.enableVectorizedReader: Vektörleştirilmiş okuyucunun etkin olup olmadığını belirtir. Varsayılan değer: True.

  • spark.sql.odps.enableVectorizedWriter: Vektörleştirilmiş yazıcının etkin olup olmadığını belirtir. Varsayılan değer: True.

  • spark.sql.odps.split.size: Bu parametre, MaxCompute tablolarındaki veri okuma işlemlerinin eşzamanlılığını ayarlamak için kullanılabilir. Varsayılan olarak bu parametre her bölüm için 256 olarak ayarlanır. Birim: MB.

Spark 3.1.1 kullanımına ilişkin dikkat edilmesi gereken noktalar

• Spark 3.1.1 kullanarak iş gönderme

  • Bir Yarn kümesinde iş gönderin. Daha fazla bilgi için Küme modu bölümüne bakın.

  • 3.1.1 sürümündeki Spark işlerini göndermek istiyorsanız ve işler Scala veya Java ile yazılmışsa spark-defaults.conf dosyasına aşağıdaki yapılandırmaları ekleyebilirsiniz:

    spark.hadoop.odps.cupid.resources = public.__spark_libs__3.1.1-odps0.33.0.zip,[projectname].[Main JAR Package],[projectname].[Other JAR Package]                 
    spark.driver.extraClassPath = ./public.__spark_libs__3.1.1-odps0.33.0.zip/*            
    spark.executor.extraClassPath = ./public.__spark_libs__3.1.1-odps0.33.0.zip/* 

    Not

    • 3.1.1 sürümündeki Spark işlerini göndermek istiyorsanız gerekli tüm kaynakları spark.hadoop.odps.cupid.resources parametresinde belirtmeniz gerekir. Gerekli kaynaklar ana JAR paketini içerir. Aksi takdirde ilgili Java sınıfı bulunamayabilir.

    • Yukarıdaki yöntemleri kullanarak PySpark işleri gönderemezsiniz.

• Spark 3.1.1 kullanımı değişiklikleri

  • Bir Yarn kümesinde iş gönderiyorsanız SPARK_HOME ortam değişkenini eklemek için export HADOOP_CONF_DIR=$SPARK_HOME/conf komutunu çalıştırmanız gerekir.

  • Bir Yarn kümesinde PySpark işleri gönderiyorsanız Python 3 için Spark kullanmak amacıyla spark-defaults.conf dosyasına aşağıdaki yapılandırmaları eklemeniz gerekir:

    spark.hadoop.odps.cupid.resources = public.python-3.7.9-ucs4.tar.gz
    spark.pyspark.python = ./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3

  • Yerel modda hata ayıklama yapıyorsanız aşağıdaki işlemleri gerçekleştirmeniz gerekir:

    • $SPARK_HOME/conf dizininde bir odps.conf dosyası oluşturmanız ve aşağıdaki yapılandırmaları dosyaya eklemeniz gerekir:

      odps.project.name = 
      odps.access.id = 
      odps.access.key =
      odps.end.point =

    • Koda spark.hadoop.fs.defaultFS = file:/// eklemeniz gerekir. Örnek kod:

      val spark = SparkSession
        .builder()
        .config("spark.hadoop.fs.defaultFS", "file:///")
        .enableHiveSupport()
        .getOrCreate()

• Spark 3.1.1 parametre ayarları değişiklikleri

  • spark.sql.defaultCatalog: Bu parametre odps olarak ayarlanır.

  • spark.sql.catalog.odps: Bu parametre org.apache.spark.sql.execution.datasources.v2.odps.OdpsTableCatalog olarak ayarlanır.

  • spark.sql.sources.partitionOverwriteMode: Bu parametre dynamic olarak ayarlanır.

  • spark.sql.extensions: Bu parametre org.apache.spark.sql.execution.datasources.v2.odps.extension.OdpsExtensions olarak ayarlanır.

  • spark.sql.odps.enableVectorizedReader: Vektörleştirilmiş okuyucunun etkin olup olmadığını belirtir. Varsayılan değer: True.

  • spark.sql.odps.enableVectorizedWriter: Vektörleştirilmiş yazıcının etkin olup olmadığını belirtir. Varsayılan değer: True.

  • spark.sql.catalog.odps.splitSizeInMB: Bu parametre, MaxCompute tablolarındaki veri okuma işlemlerinin eşzamanlılığını ayarlamak için kullanılabilir. Varsayılan olarak bu parametre her bölüm için 256 olarak ayarlanır. Birim: MB.