:Configuration d'un environnement de développement sous Linux

Prérequis

Téléchargement du package client Spark sur MaxCompute et transfert vers votre système d'exploitation

sudo tar -xzvf spark-2.3.0-odps0.33.0.tar.gz

Configuration des variables d'environnement

Vous devez configurer les variables d'environnement dans l'interface de ligne de commande (CLI) de votre système d'exploitation Linux. Les informations ci-dessous détaillent la procédure de configuration et fournissent les éléments nécessaires.

• Configurez les variables d'environnement Java.

  • Obtenez le chemin d'installation de Java. Exemples de commandes :

    # If you use yum to install Java, Java is installed in the /usr path by default. You can run the following command to query the Java installation path. If you use a custom installation path, the actual path prevails. 
    whereis java
    ls -lrt /usr/bin/java
    ls -lrt /etc/alternatives/java
    
    # The following result is returned. In the result, /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.1.al7.x86_64 is the Java installation path. 
    /etc/alternatives/java -> /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.1.al7.x86_64/jre/bin/java

    

  • Modifiez les variables d'environnement Java. Exemples de commandes :

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. 
    # Set JAVA_HOME to the actual Java installation path. 
    export JAVA_HOME=/usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.1.al7.x86_64
    export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
    export PATH=$JAVA_HOME/bin:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    
    # Run the following command to make the modification take effect: 
    source /etc/profile
    
    # Check whether the Java environment variables are successfully configured. 
    java -version
    # The following result is returned: 
    openjdk version "1.8.0_322"
    OpenJDK Runtime Environment (build 1.8.0_322-b06)
    OpenJDK 64-Bit Server VM (build 25.322-b06, mixed mode)

    

• Configurez les variables d'environnement Spark.

  • Obtenez le chemin de décompression du package client Spark sur MaxCompute. L'illustration suivante indique que le chemin est /home/spark-2.3.0-odps0.33.0. Le chemin de décompression et le nom du package varient selon le contexte.

  • Modifiez les variables d'environnement Spark. Exemples de commandes :

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. 
    # Set SPARK_HOME to the actual path to which the Spark on MaxCompute client package is decompressed. 
    export SPARK_HOME=/home/spark-2.3.0-odps0.33.0
    export PATH=$SPARK_HOME/bin:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    
    # Run the following command to make the modification take effect: 
    source /etc/profile

    

• Configurez les variables d'environnement Python.

  Si vous utilisez PySpark, vous devez configurer les variables d'environnement Python.

  • Obtenez le chemin d'installation de Python. Exemple de commande :

  • Modifiez les variables d'environnement Python. Exemples de commandes :

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. 
    # Set PATH to the actual Python installation path. 
    export PATH=/usr/bin/python/bin/:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    
    # Run the following command to make the modification take effect: 
    source /etc/profile
    
    # Check whether the Python environment variables are successfully configured. 
    python --version
    # The following result is returned: 
    Python 2.7.5

    

• Configurez les variables d'environnement Maven.

  • Obtenez le chemin de décompression du package Maven. L'illustration suivante indique que le chemin est /home/apache-maven-3.8.7. Le chemin de décompression et le nom du package varient selon le contexte.

  • Modifiez les variables d'environnement Maven. Exemples de commandes :

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. 
    # Set MAVEN_HOME to the actual path to which the Maven package is decompressed. 
    export MAVEN_HOME=/home/apache-maven-3.8.7
    export PATH=$MAVEN_HOME/bin:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    # Run the following command to make the modification take effect: 
    source /etc/profile
    
    # Check whether the Maven environment variables are successfully configured. 
    mvn -version
    # The following result is returned: 
    Apache Maven 3.8.7 (9b656c72d54e5bacbed989b64718c159fe39b537)
    Maven home: /home/apache-maven-3.8.7
    Java version: 1.8.0_322, vendor: Red Hat, Inc., runtime: /usr/lib/jvm/java-1.8.0-openjdk-1.8.0.322.b06-1.1.al7.x86_64/jre
    Default locale: en_US, platform encoding: UTF-8
    OS name: "linux", version: "4.19.91-25.1.al7.x86_64", arch: "amd64", family: "unix"

• Configurez les variables d'environnement Git.

  • Obtenez le chemin d'installation de Git. Exemples de commandes :

    whereis git

    

  • Modifiez les variables d'environnement Git. Exemples de commandes :

    # Edit the configuration file for environment variables. 
    vim /etc/profile
    
    # Press i to enter the edit mode and add environment variables to the end of the configuration file. # Set PATH to the actual Git installation path. 
    export PATH=/usr/local/git/bin/:$PATH
    # Press the Esc key to exit the edit mode and enter :wq to close the configuration file. 
    
    # Run the following command to make the modification take effect: 
    source /etc/profile
    
    # Check whether the Git environment variables are successfully configured. 
    git --version
    # The following result is returned: 
    git version 2.24.4

    

Configuration du fichier spark-defaults.conf

# Switch to the path to which the Spark on MaxCompute client package is decompressed and go to the conf folder. The actual path prevails. 
cd /home/spark-2.3.0-odps0.33.0/conf

# Rename the spark-defaults.conf.template file. 
mv spark-defaults.conf.template spark-defaults.conf

# Edit the spark-defaults.conf file. 
vim spark-defaults.conf
# Press i to enter the edit mode and add the following configuration to the end of the configuration file. 
spark.hadoop.odps.project.name = <MaxCompute_project_name>  
spark.hadoop.odps.access.id = <AccessKey_id>     
spark.hadoop.odps.access.key = <AccessKey_secret>
spark.hadoop.odps.end.point = <Endpoint>   # The endpoint that is used to connect the Spark on MaxCompute client to your MaxCompute project. You can modify the endpoint based on your business requirements. For more information, see Endpoint. 
# For Spark 2.3.0, set spark.sql.catalogImplementation to odps. For Spark 2.4.5, set spark.sql.catalogImplementation to hive. 
spark.sql.catalogImplementation={odps|hive} 
# Retain the following configurations:
spark.hadoop.odps.task.major.version = cupid_v2
spark.hadoop.odps.cupid.container.image.enable = true
spark.hadoop.odps.cupid.container.vm.engine.type = hyper
spark.hadoop.odps.moye.trackurl.host = http://jobview.odps.aliyun.com

• MaxCompute_project_name : nom du projet MaxCompute auquel vous souhaitez accéder.

  Ce paramètre spécifie le nom de votre projet MaxCompute, et non celui de l'espace de travail DataWorks auquel le projet MaxCompute correspond. Connectez-vous à la console MaxCompute. Dans la barre de navigation supérieure, sélectionnez une région. Dans le volet de navigation de gauche, choisissez Workspace > Projects pour afficher le nom du projet MaxCompute.

• AccessKey_id : ID AccessKey utilisé pour accéder au projet MaxCompute.

  Vous pouvez obtenir l'ID AccessKey depuis la page AccessKey Pair.

• AccessKey_secret : secret AccessKey correspondant à l'ID AccessKey.

  Vous pouvez obtenir le secret AccessKey depuis la page AccessKey Pair.

• Endpoint : endpoint public de la région où réside votre projet MaxCompute.

  Pour plus d'informations sur l'endpoint public de chaque région, consultez la section Endpoints dans différentes régions (Internet).

• VPC_endpoint : endpoint VPC de la région où réside votre projet MaxCompute.

  Pour plus d'informations sur l'endpoint VPC de chaque région, consultez la section Endpoints dans différentes régions (VPC).

D'autres paramètres de configuration sont requis pour des scénarios et fonctionnalités spécifiques. Pour plus d'informations, consultez la page Détails de configuration de Spark sur MaxCompute.

Préparation d'un projet

Si un message d'erreur indiquant que les configurations de l'environnement ne sont pas valides s'affiche après l'exécution des commandes précédentes, vérifiez les configurations conformément aux instructions ci-dessus. Modifiez les configurations si nécessaire.

Configuration des dépendances

Dans le projet Spark sur MaxCompute que vous avez préparé, configurez les dépendances. Exemples de commandes :

• Configurez les dépendances requises pour accéder aux tables de votre projet MaxCompute.

  • Utilisation du modèle Spark-1.x.

    # Go to the spark-1.x folder. 
    cd MaxCompute-Spark/spark-1.x
    
    # Edit the POM file to add the odps-spark-datasource dependency. 
    <dependency>
      <groupId>com.aliyun.odps</groupId>
      <artifactId>odps-spark-datasource_2.10</artifactId>
      <version>3.3.8-public</version>
    </dependency>                           

  • Utilisation du modèle Spark-2.x.

    # Go to the spark-2.x folder. 
    cd MaxCompute-Spark/spark-2.x
    
    # Edit the POM file to add the odps-spark-datasource dependency. 
    <dependency>
        <groupId>com.aliyun.odps</groupId>
        <artifactId>odps-spark-datasource_2.11</artifactId>
        <version>3.3.8-public</version>
    </dependency>

• Configurez la dépendance requise pour accéder à Object Storage Service (OSS).

  Si votre tâche doit accéder à OSS, ajoutez la dépendance suivante :

  <dependency>
      <groupId>com.aliyun.odps</groupId>
      <artifactId>hadoop-fs-oss</artifactId>
      <version>3.3.8-public</version>
  </dependency>

Pour plus d'informations sur les dépendances requises lors de l'utilisation des modèles Spark-1.x, Spark-2.x ou Spark-3.x, consultez les pages Spark-1.x pom, Spark-2.x pom ou Spark-3.x pom.

Référence à des fichiers externes

val targetFile = "File name"
val file = Source.fromFile(targetFile)
for (line <- file.getLines)
    println(line)
file.close

Test de fumée SparkPi

# /path/to/MaxCompute-Spark Configure a valid path for the compiled JAR package of the application. 
cd $SPARK_HOME
bin/spark-submit \
--class com.aliyun.odps.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
/path/to/your/spark-examples_2.11-1.0.0-SNAPSHOT-shaded.jar

# If the following log information is displayed, smoke testing is successful. 
19/06/11 11:57:30 INFO Client: 
         client token: N/A
         diagnostics: N/A
         ApplicationMaster host: 11.222.166.90
         ApplicationMaster RPC port: 38965
         queue: queue
         start time: 1560225401092
         final status: SUCCEEDED

Remarques sur l'exécution de Spark sur MaxCompute en mode local avec IntelliJ IDEA

Précautions d'utilisation de Spark 2.4.5

• Soumission de tâches avec Spark 2.4.5

  • Soumettez une tâche dans un cluster Yarn. Pour plus d'informations, consultez la section Mode cluster.

  • Définissez le paramètre spark.hadoop.odps.spark.version sur spark-2.4.5-odps0.33.0 dans la console DataWorks. Si la version Spark des groupes de ressources exclusifs dans DataWorks n'est pas mise à jour vers Spark 2.4.5, vous pouvez utiliser des groupes de ressources partagés pour planifier les tâches ou contacter l'équipe d'assistance technique MaxCompute pour mettre à jour la version Spark.

• Changements liés à l'utilisation de Spark 2.4.5

  • Si vous soumettez des tâches dans un cluster Yarn, vous devez exécuter la commande export HADOOP_CONF_DIR=$SPARK_HOME/conf pour ajouter la variable d'environnement SPARK_HOME.

  • Si vous effectuez un débogage en mode local, vous devez créer un fichier nommé odps.conf dans le chemin $SPARK_HOME/conf et y ajouter les configurations suivantes :

    odps.project.name = 
    odps.access.id = 
    odps.access.key =
    odps.end.point =

• Changements dans les paramètres de Spark 2.4.5

  • spark.sql.catalogImplementation : Ce paramètre est défini sur hive.

  • spark.sql.sources.default : Ce paramètre est défini sur hive.

  • spark.sql.odps.columnarReaderBatchSize : spécifie le nombre de lignes lues à la fois par le lecteur vectorisé. Valeur par défaut : 4096.

  • spark.sql.odps.enableVectorizedReader : spécifie s'il faut activer le lecteur vectorisé. Valeur par défaut : True.

  • spark.sql.odps.enableVectorizedWriter : spécifie s'il faut activer l'écriture vectorisée. Valeur par défaut : True.

  • spark.sql.odps.split.size : Ce paramètre permet d'ajuster la concurrence des opérations de lecture de données sur les tables MaxCompute. Par défaut, ce paramètre est défini sur 256 pour chaque partition. Unité : Mo.

Précautions d'utilisation de Spark 3.1.1

• Soumission de tâches avec Spark 3.1.1

  • Soumettez une tâche dans un cluster Yarn. Pour plus d'informations, consultez la section Mode cluster.

  • Si vous souhaitez soumettre des tâches Spark version 3.1.1 écrites en Scala ou Java, vous pouvez ajouter les configurations suivantes au fichier spark-defaults.conf :

    spark.hadoop.odps.cupid.resources = public.__spark_libs__3.1.1-odps0.33.0.zip,[projectname].[Main JAR Package],[projectname].[Other JAR Package]                 
    spark.driver.extraClassPath = ./public.__spark_libs__3.1.1-odps0.33.0.zip/*            
    spark.executor.extraClassPath = ./public.__spark_libs__3.1.1-odps0.33.0.zip/* 

    Remarque

    • Si vous souhaitez soumettre des tâches Spark version 3.1.1, vous devez spécifier toutes les ressources requises dans le paramètre spark.hadoop.odps.cupid.resources. Les ressources requises incluent le package JAR principal. Sinon, la classe Java concernée pourrait ne pas être trouvée.

    • Vous ne pouvez pas soumettre de tâches PySpark via les méthodes précédentes.

• Changements liés à l'utilisation de Spark 3.1.1

  • Si vous soumettez des tâches dans un cluster Yarn, vous devez exécuter la commande export HADOOP_CONF_DIR=$SPARK_HOME/conf pour ajouter la variable d'environnement SPARK_HOME.

  • Si vous soumettez des tâches PySpark dans un cluster Yarn, vous devez ajouter les configurations suivantes dans le fichier spark-defaults.conf pour utiliser Spark pour Python 3 :

    spark.hadoop.odps.cupid.resources = public.python-3.7.9-ucs4.tar.gz
    spark.pyspark.python = ./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3

  • Si vous effectuez un débogage en mode local, vous devez procéder comme suit :

    • Vous devez créer un fichier odps.conf dans le répertoire $SPARK_HOME/conf et y ajouter les configurations suivantes :

      odps.project.name = 
      odps.access.id = 
      odps.access.key =
      odps.end.point =

    • Vous devez ajouter spark.hadoop.fs.defaultFS = file:/// au code. Exemple de code :

      val spark = SparkSession
        .builder()
        .config("spark.hadoop.fs.defaultFS", "file:///")
        .enableHiveSupport()
        .getOrCreate()

• Changements dans les paramètres de Spark 3.1.1

  • spark.sql.defaultCatalog : Ce paramètre est défini sur odps.

  • spark.sql.catalog.odps : Ce paramètre est défini sur org.apache.spark.sql.execution.datasources.v2.odps.OdpsTableCatalog.

  • spark.sql.sources.partitionOverwriteMode : Ce paramètre est défini sur dynamic.

  • spark.sql.extensions : Ce paramètre est défini sur org.apache.spark.sql.execution.datasources.v2.odps.extension.OdpsExtensions.

  • spark.sql.odps.enableVectorizedReader : spécifie s'il faut activer le lecteur vectorisé. Valeur par défaut : True.

  • spark.sql.odps.enableVectorizedWriter : spécifie s'il faut activer l'écriture vectorisée. Valeur par défaut : True.

  • spark.sql.catalog.odps.splitSizeInMB : Ce paramètre permet d'ajuster la concurrence des opérations de lecture de données sur les tables MaxCompute. Par défaut, ce paramètre est défini sur 256 pour chaque partition. Unité : Mo.