:Questions fréquentes sur Spark

Comment vérifier le projet ?

Quelles sont les étapes pour exécuter un nœud ODPS Spark sur DataWorks ?

1. Modifiez le code Spark et empaquetez-le dans votre environnement Python local (Python 2.7 requis).

2. Téléchargez le package de ressources vers DataWorks. Pour plus d'informations, consultez Create and use MaxCompute resources.

3. Créez un nœud ODPS Spark sur DataWorks. Pour plus d'informations, consultez 创建ODPS Spark节点.

4. Écrivez le code et exécutez le nœud. Affichez les résultats d'exécution dans la console DataWorks.

Comment déboguer Spark on MaxCompute en local ?

Effectuez un débogage local avec IntelliJ IDEA. Pour plus d'informations, consultez Set up a Linux development environment.

Comment accéder aux services d'un environnement VPC via Spark ?

Pour accéder aux services d'un environnement VPC via Spark, consultez Spark访问VPC实例.

Comment référencer un fichier JAR en tant que ressource ?

spark.hadoop.odps.cupid.resources = projectname.xx0.jar,projectname.xx1.jar 

Comment transmettre des paramètres à Spark ?

Pour plus d'informations sur la transmission de paramètres, consultez Spark on DataWorks.

Comment écrire dans MaxCompute les données DataHub lues en flux par Spark ?

Consultez l'exemple de code sur DataHub.

Comment migrer du code Spark open source vers Spark on MaxCompute ?

Comment traiter les données de table MaxCompute avec Spark ?

Spark on MaxCompute prend en charge les modes d'exécution Local, Cluster et DataWorks. La configuration varie selon le mode. Pour plus d'informations, consultez 运行模式.

Comment définir le parallélisme des ressources Spark ?

Comment résoudre les problèmes de mémoire insuffisante ?

• Erreurs courantes :

  • java.lang.OutOfMemoryError: Java heap space.

  • java.lang.OutOfMemoryError: GC overhead limit exceeded.

  • Cannot allocate memory.

  • The job has been killed by "OOM Killer", please check your job's memory usage.

• Solutions :

  • Définissez la mémoire de l'executor.

    • Paramètre : spark.executor.memory.

    • Description : représente la mémoire allouée à chaque executor. Maintenez généralement un ratio de 1:4 avec spark.executor.cores. Par exemple, si spark.executor.cores est défini sur 1, définissez spark.executor.memory sur 4 GB. Augmentez cette valeur si l'executor génère l'exception java.lang.OutOfMemoryError.

  • Définissez la mémoire hors tas (off-heap) de l'executor.

    • Paramètre : spark.executor.memoryOverhead.

    • Description : représente la mémoire supplémentaire de chaque executor (JVM, chaînes, buffers NIO, etc.). La valeur par défaut est spark.executor.memory * 0.1 (minimum 384 Mo). Aucun réglage supplémentaire n'est généralement nécessaire. Augmentez cette valeur si les journaux de l'executor affichent l'erreur Cannot allocate memory ou une erreur OOM Killer.

  • Définissez la mémoire du driver.

    • Paramètre : spark.driver.memory.

    • Description : représente la taille de la mémoire du driver. Maintenez généralement un ratio de 1:4 avec spark.driver.cores. Augmentez cette valeur si le driver doit collecter un volume de données important ou s'il génère l'exception java.lang.OutOfMemoryError.

  • Définissez la mémoire hors tas (off-heap) du driver.

    • Paramètre : spark.driver.memoryOverhead.

    • Description : représente la mémoire supplémentaire du driver. La valeur par défaut est spark.driver.memory * 0.1 (minimum 384 Mo). Augmentez cette valeur si les journaux du driver affichent l'erreur Cannot allocate memory.

Comment résoudre les problèmes d'espace disque insuffisant ?

• Symptômes

  L'erreur suivante s'affiche : No space left on device.

• Cause : manque d'espace sur le disque local. Cette erreur survient généralement au niveau de l'executor et entraîne son arrêt.

• Solution :

  • Augmentez la taille du disque.

    • Paramètre : spark.hadoop.odps.cupid.disk.driver.device_size.

    • Valeur par défaut : 20 Go.

    • Description : par défaut, le driver et l'executor disposent chacun de 20 Go d'espace disque local. Augmentez ce paramètre si l'espace est insuffisant. Ce paramètre doit être configuré dans le fichier spark-defaults.conf ou dans les paramètres de DataWorks pour prendre effet.

  • Augmentez le nombre d'executors.

    Si l'erreur persiste après avoir augmenté la taille du disque local à 100 Go, les données de shuffle d'un seul executor ont dépassé la limite maximale. Il peut s'agir d'un déséquilibre des données (data skew) ; repartitionnez les données. Si le volume de données est simplement trop important, ajustez le paramètre spark.executor.instances pour augmenter le nombre d'executors.

Comment référencer les ressources d'un projet MaxCompute ?

Comment accéder au VPC ?

Comment accéder à Internet ?

Comment accéder à OSS ?

Comment référencer des bibliothèques Python tierces ?

• Symptôme : l'exécution de la tâche PySpark génère l'exception No module named 'xxx'.

• Cause : la tâche PySpark dépend de bibliothèques Python tierces non installées dans l'environnement Python par défaut de la plateforme MaxCompute.

• Solution : ajoutez les dépendances de bibliothèques tierces via l'une des méthodes suivantes.

  • Utilisez l'environnement Python public MaxCompute.

    Ajoutez la configuration suivante dans les paramètres de DataWorks ou dans le fichier spark-defaults.conf. Les configurations varient selon la version de Python :

    • Configuration pour Python 2

      ## Python 2.7.13 配置
      ## 以下配置必须在DataWorks配置项/spark-defaults.conf文件中添加
      spark.hadoop.odps.cupid.resources = public.python-2.7.13-ucs4.tar.gz
      spark.pyspark.python = ./public.python-2.7.13-ucs4.tar.gz/python-2.7.13-ucs4/bin/python
      
      ## 三方库列表
      https://odps-repo.oss-cn-hangzhou.aliyuncs.com/pyspark/py27/py27-default_req.txt

    • Configuration pour Python 3

      ## Python 3.7.9 配置
      ## 以下配置必须在DataWorks配置项/spark-defaults.conf文件中添加
      spark.hadoop.odps.cupid.resources = public.python-3.7.9-ucs4.tar.gz
      spark.pyspark.python = ./public.python-3.7.9-ucs4.tar.gz/python-3.7.9-ucs4/bin/python3
      
      ## 三方库列表
      https://odps-repo.oss-cn-hangzhou.aliyuncs.com/pyspark/py37/py37-default_req.txt

  • Téléchargez un seul package WHEEL.

    Cette solution convient aux cas simples avec peu de dépendances Python tierces. Exemple de commande.

    ##需要将wheel包重命名为zip包，例如将pymysql的wheel包重命名为pymysql.zip
    ##将重命名后的zip包上传（文件类型为archive）
    ##在Dataworks spark节点引用该zip包（archive类型）
    ##在spark-defaults.conf或dataworks配置项中添加以下配置后即可import
    ## 配置
    spark.executorEnv.PYTHONPATH=pymysql
    spark.yarn.appMasterEnv.PYTHONPATH=pymysql
    
    ## 上传代码
    import pymysql

  • Téléchargez un environnement Python personnalisé complet.

    Cette solution convient aux dépendances complexes ou aux versions Python personnalisées. Utilisez un conteneur Docker pour empaqueter et télécharger l'environnement Python complet. Pour plus d'informations, consultez Package依赖.

Comment résoudre les conflits de dépendances JAR ?

• Symptôme : l'exécution génère l'exception NoClassDefFoundError或NoSuchMethodError.

• Cause : conflit de version entre les dépendances tierces incluses dans le fichier JAR et les dépendances Spark. Vérifiez le fichier JAR principal et les bibliothèques de dépendances tierces, et excluez les dépendances conflictuelles.

• Solution :

  • Auto-vérification du fichier POM.

    • Définissez les dépendances de la version communautaire Spark avec la portée Provided.

    • Définissez les dépendances de la version communautaire Hadoop avec la portée Provided.

    • Définissez les dépendances Odps/Cupid avec la portée Provided.

  • Excluez les dépendances conflictuelles.

  • Utilisez maven-shade-plugin relocation pour résoudre les conflits de packages.

Comment utiliser le mode Local pour le débogage ?

• Spark 2.3.0

  1. Ajoutez la configuration suivante au fichier spark-defaults.conf.

     spark.hadoop.odps.project.name =<Yourprojectname>
     spark.hadoop.odps.access.id =<YourAccessKeyID>
     spark.hadoop.odps.access.key =<YourAccessKeySecret>
     spark.hadoop.odps.end.point =<endpoint>

  2. Exécutez la tâche en mode Local.

     ./bin/spark-submit --master local spark_sql.py

• Spark 2.4.5/Spark 3.1.1

  1. Créez un fichier odps.conf et ajoutez-y la configuration suivante.

     odps.access.id=<YourAccessKeyID>
     odps.access.key=<YourAccessKeySecret>
     odps.end.point=<endpoint>
     odps.project.name=<Yourprojectname>

  2. Ajoutez une variable d'environnement pointant vers l'emplacement du fichier odps.conf.

     export ODPS_CONF_FILE=/path/to/odps.conf

  3. Exécutez la tâche en mode Local.

     ./bin/spark-submit --master local spark_sql.py

• Erreurs courantes

  • Erreur 1 :

    • Message d'erreur :

      • Incomplete config, no accessId or accessKey.

      • Incomplete config, no odps.service.endpoint.

    • Cause : EventLog est activé en mode Local.

    • Solution : supprimez le paramètre spark.eventLog.enabled=true du fichier spark-defaults.conf.

  • Erreur 2 :

    • Message d'erreur : Cannot create CupidSession with empty CupidConf.

    • Cause : Spark 2.4.5 ou Spark 3.1.1 ne parvient pas à lire les informations telles que odps.access.id.

    • Solution : créez un fichier odps.conf, ajoutez la variable d'environnement, puis exécutez la tâche.

  • Erreur 3 :

    • Message d'erreur : java.util.NoSuchElementException: odps.access.id.

    • Cause : Spark 2.3.0 ne parvient pas à lire les informations telles que odps.access.id.

    • Solution : ajoutez les informations de configuration telles que spark.hadoop.odps.access.id dans le fichier spark-defaults.conf.

Lors de l'exécution d'une tâche Spark, l'erreur « User signature does not match » s'affiche. Comment la résoudre ?

• Symptôme

  Lors de l'exécution d'une tâche Spark, l'erreur suivante est renvoyée.

  Stack:
  com.aliyun.odps.OdpsException: ODPS-0410042:
  Invalid signature value - User signature does not match

• Cause

  Échec de l'authentification dû à un AccessKey ID ou un AccessKey Secret incorrect.

• Solution

  Vérifiez que l'AccessKey ID et l'AccessKey Secret fournis dans le fichier spark-defaults.conf correspondent à ceux indiqués dans la console Alibaba Cloud, sous Gestion des informations utilisateur, dans les champs AccessKey ID et AccessKey Secret. Corrigez-les s'ils diffèrent.

Lors de l'exécution d'une tâche Spark, l'erreur « You have NO privilege » s'affiche. Comment la résoudre ?

• Symptôme

  Lors de l'exécution d'une tâche Spark, l'erreur suivante est renvoyée.

  Stack:
  com.aliyun.odps.OdpsException: ODPS-0420095: 
  Access Denied - Authorization Failed [4019], You have NO privilege 'odps:CreateResource' on {acs:odps:*:projects/*}

• Cause

  Autorisations insuffisantes. Demandez les autorisations nécessaires.

• Solution

  Le propriétaire du projet doit accorder les autorisations Read et Create sur les ressources. Pour plus d'informations, consultez MaxCompute permissions.

Lors de l'exécution d'une tâche Spark, l'erreur « Access Denied » s'affiche. Comment la résoudre ?

• Symptôme

  Lors de l'exécution d'une tâche Spark, l'erreur suivante est renvoyée.

  Exception in thread "main" org.apache.hadoop.yarn.exceptions.YarnException: com.aliyun.odps.OdpsException: ODPS-0420095: Access Denied - The task is not in release range: CUPID

• Cause

  • Cause 1 : l'AccessKey ID ou l'AccessKey Secret configuré dans le fichier Spark-defaults.conf est incorrect.

  • Cause 2 : la région du projet ne fournit pas le service Spark on MaxCompute.

• Solution

  • Solution pour la cause 1 : vérifiez la configuration du fichier Spark-defaults.conf et corrigez l'AccessKey ID et l'AccessKey Secret. Pour plus d'informations, consultez Set up a Linux development environment.

  • Solution pour la cause 2 : vérifiez si la région du projet fournit le service Spark on MaxCompute, ou rejoignez le groupe DingTalk 21969532 (groupe de support Spark on MaxCompute) pour obtenir de l'aide.

Lors de l'exécution d'une tâche Spark, l'erreur « No space left on device » s'affiche. Comment la résoudre ?

Spark utilise un disque réseau pour le stockage local. Les données de shuffle et les données溢出的 de BlockManager y sont stockées. La taille du disque réseau est contrôlée par le paramètre spark.hadoop.odps.cupid.disk.driver.device_size (par défaut 20 Go, maximum 100 Go). Si l'erreur persiste après augmentation à 100 Go, analysez la cause précise. Une cause fréquente est le déséquilibre des données (data skew), où les données se concentrent sur certains blocs lors du shuffle ou du cache. Réduisez le nombre de cœurs par executor (paramètre spark.executor.cores) et augmentez le nombre d'executors (paramètre spark.executor.instances).

Lors de l'exécution d'une tâche Spark, l'erreur « Table or view not found » s'affiche. Comment la résoudre ?

• Symptôme

  Lors de l'exécution d'une tâche Spark, l'erreur suivante est renvoyée.

  Table or view not found:xxx

• Cause

  • Cause 1 : la table ou la vue n'existe pas.

  • Cause 2 : la configuration du catalogue Hive est activée.

• Solution

  • Solution pour la cause 1 : créez la table.

  • Solution pour la cause 2 : supprimez la configuration du catalogue. Comme illustré ci-dessous, retirez enableHiveSupport().

    spark = SparkSession.builder.appName(app_name).enableHiveSupport().getOrCreate()

Lors de l'exécution d'une tâche Spark, l'erreur « Shutdown hook called before final status was reported » s'affiche. Comment la résoudre ?

• Symptôme

  Lors de l'exécution d'une tâche Spark, l'erreur suivante est renvoyée.

  App Status: SUCCEEDED, diagnostics: Shutdown hook called before final status was reported.

• Cause

  La fonction principale de l'utilisateur soumise au cluster n'a pas demandé de ressources cluster via AM (ApplicationMaster). Par exemple, l'utilisateur n'a pas créé de nouveau SparkContext ou a défini spark.master sur local dans le code.

Lors de l'exécution d'une tâche Spark, des erreurs de conflit de version JAR surviennent. Comment les résoudre ?

• Symptôme

  Lors de l'exécution d'une tâche Spark, l'erreur suivante est renvoyée.

  User class threw exception: java.lang.NoSuchMethodError

• Cause

  Conflit de version de fichier JAR ou erreur de classe.

• Solution

  1. Identifiez le fichier JAR contenant la classe problématique dans le répertoire $SPARK_HOME/jars, puis exécutez la commande suivante pour localiser les coordonnées et la version de la bibliothèque tierce.

     grep <异常类类名> $SPARK_HOME/jars/*.jar

  2. Dans le répertoire racine de la tâche Spark, exécutez la commande suivante pour afficher toutes les dépendances du projet.

     mvn dependency:tree

  3. Une fois la dépendance concernée identifiée, exécutez la commande suivante pour exclure le package conflictuel.

     maven dependency exclusions

  4. Recompilez et soumettez à nouveau le code.

Lors de l'exécution d'une tâche Spark, l'erreur « ClassNotFound » s'affiche. Comment la résoudre ?

• Symptôme

  Lors de l'exécution d'une tâche Spark, l'erreur suivante est renvoyée.

  java.lang.ClassNotFoundException: xxxx.xxx.xxxxx

• Cause

  La classe n'existe pas ou la configuration des dépendances est incorrecte.

• Solution

  1. Exécutez la commande suivante pour vérifier si la définition de la classe existe dans le fichier JAR soumis.

     jar -tf <作业JAR包> | grep <类名称>

  2. Vérifiez que les dépendances dans le fichier pom.xml sont correctes.

  3. Soumettez le fichier JAR en utilisant la méthode Shade.

Lors de l'exécution d'une tâche Spark, l'erreur « The task is not in release range » s'affiche. Comment la résoudre ?

• Symptôme

  Lors de l'exécution d'une tâche Spark, l'erreur suivante est renvoyée.

  The task is not in release range: CUPID

• Cause

  Le service Spark on MaxCompute n'est pas activé dans la région du projet.

• Solution

  Sélectionnez une région où le service Spark on MaxCompute est activé.

Lors de l'exécution d'une tâche Spark, l'erreur « java.io.UTFDataFormatException » s'affiche. Comment la résoudre ?

• Symptôme

  Lors de l'exécution d'une tâche Spark, l'erreur suivante est renvoyée.

  java.io.UTFDataFormatException: encoded string too long: 2818545 bytes 

• Solution

  Ajustez la valeur du paramètre spark.hadoop.odps.cupid.disk.driver.device_size dans le fichier spark-defaults.conf. La valeur par défaut est de 20 Go, avec un maximum de 100 Go.

Lors de l'exécution d'une tâche Spark, les caractères chinois affichés sont illisibles. Comment résoudre ce problème ?

"--conf" "spark.executor.extraJavaOptions=-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8"
"--conf" "spark.driver.extraJavaOptions=-Dfile.encoding=UTF-8 -Dsun.jnu.encoding=UTF-8"

Spark renvoie une erreur lors de l'appel de tâches tierces externes. Comment la résoudre ?

Spark ne peut pas appeler directement des tâches tierces externes en raison de problèmes de connectivité réseau.

Configurez un proxy inverse Nginx dans le VPC pour accéder à Internet. Spark prend en charge l'accès direct au VPC. Pour plus d'informations, consultez Spark访问VPC实例.