EMR-3.45.0及後續版本、EMR-5.11.0及後續版本的Spark 3，支援使用JDK 11運行作業。本文為您介紹如何使用JDK 11，以及使用JDK 11後如何切換為預設的JDK 8。
注意事項
目前EMR Doctor不支援JDK 11，當Spark作業使用JDK 11時，需要同時修改EMR Doctor相關的配置項spark.yarn.am.extraJavaOptions、spark.driver.extraJavaOptions和spark.executor.extraJavaOptions，具體修改請參見使用JDK 11。
使用JDK 11
在Spark服務的配置頁面，修改以下配置項。修改配置項的具體操作，請參見管理配置項。
|
設定檔 |
配置項 |
配置值 |
|
spark-env.sh |
spark_java_home |
/usr/lib/jvm/java-11 |
|
spark-defaults.conf |
spark.yarn.appMasterEnv.JAVA_HOME |
/usr/lib/jvm/java-11 |
|
spark.driverEnv.JAVA_HOME |
/usr/lib/jvm/java-11 |
|
|
spark.executorEnv.JAVA_HOME |
/usr/lib/jvm/java-11 |
|
|
spark.yarn.am.extraJavaOptions |
刪除 |
|
|
spark.driver.extraJavaOptions |
刪除 |
|
|
spark.executor.extraJavaOptions |
刪除 |
如果需要使用Spark Thrift Server，還需修改以下配置項。
|
設定檔 |
配置項 |
配置值 |
|
spark-thriftserver.conf |
spark.yarn.appMasterEnv.JAVA_HOME |
/usr/lib/jvm/java-11 |
|
spark-thriftserver.conf |
spark.driverEnv.JAVA_HOME |
/usr/lib/jvm/java-11 |
|
spark-thriftserver.conf |
spark.executorEnv.JAVA_HOME |
/usr/lib/jvm/java-11 |
JDK 11切換回JDK 8
如果您希望繼續使用EMR預設的JDK 8，則可以復原配置或者重新設定為JDK 8版本。
在Spark服務的配置頁面，修改以下配置項。修改配置項的具體操作，請參見管理配置項。
|
設定檔 |
配置項 |
配置值 |
|
spark-env.sh |
spark_java_home |
/usr/lib/jvm/java-1.8.0 |
|
spark-defaults.conf |
spark.yarn.appMasterEnv.JAVA_HOME |
/usr/lib/jvm/java-1.8.0 |
|
spark.driverEnv.JAVA_HOME |
/usr/lib/jvm/java-1.8.0 |
|
|
spark.executorEnv.JAVA_HOME |
/usr/lib/jvm/java-1.8.0 |
|
|
spark.yarn.am.extraJavaOptions |
添加 |
|
|
spark.driver.extraJavaOptions |
添加 |
|
|
spark.executor.extraJavaOptions |
添加 |
如果使用了Spark Thrift Server，還需復原配置或者重新設定以下配置項。
|
設定檔 |
配置項 |
配置值 |
|
spark-thriftserver.conf |
spark.yarn.appMasterEnv.JAVA_HOME |
/usr/lib/jvm/java-1.8.0 |
|
spark-thriftserver.conf |
spark.driverEnv.JAVA_HOME |
/usr/lib/jvm/java-1.8.0 |
|
spark-thriftserver.conf |
spark.executorEnv.JAVA_HOME |
/usr/lib/jvm/java-1.8.0 |