Tous les produits
Search

Ce produit

    E-MapReduce:Utiliser JDK 11 avec Spark 3

    Centre de documentation

    E-MapReduce:Utiliser JDK 11 avec Spark 3

    Dernière mise à jour :Aug 09, 2026

    À partir des versions V3.45.0 et V5.11.0 d'E-MapReduce (EMR), Spark 3 prend en charge l'exécution de tâches avec Java Development Kit (JDK) 11. Vous pouvez basculer entre JDK 11 et le JDK 8 par défaut selon vos besoins.

    Remarques sur l'utilisation

    EMR Doctor ne prend pas en charge JDK 11. Lorsque vous exécutez une tâche Spark avec JDK 11, vous devez également modifier les paramètres spark.yarn.am.extraJavaOptions, spark.driver.extraJavaOptions et spark.executor.extraJavaOptions. Pour plus d'informations, consultez la section Utiliser JDK 11.

    Utiliser JDK 11

    Dans l'onglet Configure de la page du service Spark3, modifiez les éléments de configuration suivants. Pour plus d'informations, consultez la rubrique Gérer les éléments de configuration.

    Fichier de configuration

    Paramètre

    Valeur

    spark-env.sh

    spark_java_home

    /usr/lib/jvm/java-11

    spark-defaults.conf

    spark.yarn.appMasterEnv.JAVA_HOME

    /usr/lib/jvm/java-11

    spark.driverEnv.JAVA_HOME

    /usr/lib/jvm/java-11

    spark.executorEnv.JAVA_HOME

    /usr/lib/jvm/java-11

    spark.yarn.am.extraJavaOptions

    Supprimez -noverify -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark-3,2.

    spark.driver.extraJavaOptions

    Supprimez -noverify -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark-3,2.

    spark.executor.extraJavaOptions

    Supprimez -noverify -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark-3,2.

    Si vous utilisez Spark Thrift Server, vous devez également modifier les éléments de configuration suivants.

    Fichier de configuration

    Paramètre

    Valeur

    spark-thriftserver.conf

    spark.yarn.appMasterEnv.JAVA_HOME

    /usr/lib/jvm/java-11

    spark-thriftserver.conf

    spark.driverEnv.JAVA_HOME

    /usr/lib/jvm/java-11

    spark-thriftserver.conf

    spark.executorEnv.JAVA_HOME

    /usr/lib/jvm/java-11

    Revenir de JDK 11 à JDK 8

    Pour revenir au JDK 8 par défaut, annulez ou réinitialisez les éléments de configuration liés au JDK.

    Dans l'onglet Configure de la page du service Spark3, modifiez les éléments de configuration suivants. Pour plus d'informations, consultez la rubrique Gérer les éléments de configuration.

    Fichier de configuration

    Paramètre

    Valeur

    spark-env.sh

    spark_java_home

    /usr/lib/jvm/java-1.8.0

    spark-defaults.conf

    spark.yarn.appMasterEnv.JAVA_HOME

    /usr/lib/jvm/java-1.8.0

    spark.driverEnv.JAVA_HOME

    /usr/lib/jvm/java-1.8.0

    spark.executorEnv.JAVA_HOME

    /usr/lib/jvm/java-1.8.0

    spark.yarn.am.extraJavaOptions

    Ajoutez -noverify -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark-3,2.

    spark.driver.extraJavaOptions

    Ajoutez -noverify -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark-3,2.

    spark.executor.extraJavaOptions

    Ajoutez -noverify -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark-3,2.

    Si vous utilisez Spark Thrift Server, vous devez également annuler ou réinitialiser les éléments de configuration suivants.

    Fichier de configuration

    Paramètre

    Valeur

    spark-thriftserver.conf

    spark.yarn.appMasterEnv.JAVA_HOME

    /usr/lib/jvm/java-1.8.0

    spark-thriftserver.conf

    spark.driverEnv.JAVA_HOME

    /usr/lib/jvm/java-1.8.0

    spark-thriftserver.conf

    spark.executorEnv.JAVA_HOME

    /usr/lib/jvm/java-1.8.0