阿里雲EMR Serverless Spark是基於Apache Spark引擎構建的無伺服器化巨量資料處理服務。Spark應用在標準的Java虛擬機器（JVM）上運行，所有Spark任務都是通過Java或Scala代碼執行。
引擎版本號碼及其含義
引擎版本的格式為esr-** (Spark **, Scala **)。
您可以使用阿里雲Fusion Engine提供的運行時環境，利用向量化和原生庫等技術來加速SQL類應用的執行效能。Fusion引擎詳情請參見Fusion引擎。
|
內容 |
含義 |
|
esr-** |
EMR Serverless Spark版本號碼，例如esr-2.1。 |
|
Spark ** |
遵循的Apache Spark引擎版本號碼，例如Spark 3.3.1，表示基於Apache Spark 3.3.1構建。 |
|
Scala ** |
表示該引擎版本所支援的Scala程式設計語言的版本，例如Scala 2.12。 |
引擎版本與湖表格式映射
下表中 - 表示該引擎版本未支援該組件。
5.x系列
|
引擎版本 |
Spark 版本 |
Scala 版本 |
Delta 版本 |
Hudi 版本 |
Iceberg 版本 |
Paimon 版本 |
JDK版本 |
|
esr-5.3.0 |
4.1.1 |
2.13 |
4.2.0 |
- |
- |
1.4 |
JDK 17 |
|
esr-5.2.0 |
4.0.1 |
2.13 |
- |
- |
- |
1.3 |
JDK 17 |
|
esr-5.1.0 |
4.0.1 |
2.13 |
- |
- |
- |
1.3 |
JDK 17 |
|
esr-5.0.0 |
4.0.1 |
2.13 |
- |
- |
- |
1.3 |
JDK 17 |
4.x系列
|
引擎版本 |
Spark 版本 |
Scala 版本 |
Delta 版本 |
Hudi 版本 |
Iceberg 版本 |
Paimon 版本 |
JDK版本 |
|
esr-4.9.1 esr-4.9.0 |
3.5.2 |
2.12 |
3.3.2 |
0.15 |
1.10.1 |
1.4 |
JDK 17 |
|
esr-4.8.0 |
3.5.2 |
2.12 |
3.3.2 |
0.15 |
1.9.2 |
1.3 |
JDK 17 |
|
esr-4.7.0 |
3.5.2 |
2.12 |
3.2.1 |
0.15 |
1.9.2 |
1.3 |
JDK 17 |
|
esr-4.6.0 |
3.5.2 |
2.12 |
3.2.1 |
0.15 |
1.9.2 |
1.3 |
JDK 17 |
|
esr-4.5.1 esr-4.5.0 |
3.5.2 |
2.12 |
3.2.1 |
0.15 |
1.9.2 |
1.2 |
JDK 17 |
|
esr-4.4.1 esr-4.4.0 |
3.5.2 |
2.12 |
3.2.1 |
0.15 |
1.5.0 |
1.2 |
JDK 8 |
|
esr-4.3.0 |
3.5.2 |
2.12 |
3.2.1 |
0.15 |
1.5.0 |
1.1 |
JDK 8 |
|
esr-4.2.0 |
3.5.2 |
2.12 |
3.2.1 |
0.15 |
1.5.0 |
1.0 |
JDK 8 |
|
esr-4.1.1 esr-4.1.0 |
3.5.2 |
2.12 |
3.2.1 |
0.15 |
1.5.0 |
1.0 |
JDK 8 |
|
esr-4.0.0 |
3.5.2 |
2.12 |
3.2.1 |
0.15 |
1.5.0 |
1.0 |
JDK 8 |
3.x系列
|
引擎版本 |
Spark 版本 |
Scala 版本 |
Delta 版本 |
Hudi 版本 |
Iceberg 版本 |
Paimon 版本 |
JDK版本 |
|
esr-3.8.0 |
3.4.4 |
2.12 |
3.0.0 |
0.15 |
1.5.0 |
1.4 |
JDK 8 |
|
esr-3.7.0 |
3.4.4 |
2.12 |
3.0.0 |
0.15 |
1.5.0 |
1.3 |
JDK 8 |
|
esr-3.6.0 |
3.4.4 |
2.12 |
3.0.0 |
0.15 |
1.5.0 |
1.3 |
JDK 8 |
|
esr-3.5.0 |
3.4.4 |
2.12 |
3.0.0 |
0.15 |
1.5.0 |
1.3 |
JDK 8 |
|
esr-3.4.1 esr-3.4.0 |
3.4.4 |
2.12 |
3.0.0 |
0.15 |
1.5.0 |
1.2 |
JDK 8 |
|
esr-3.3.1 esr-3.3.0 |
3.4.4 |
2.12 |
3.0.0 |
0.15 |
1.5.0 |
1.1 |
JDK 8 |
|
esr-3.2.0 |
3.4.4 |
2.12 |
3.0.0 |
0.15 |
1.5.0 |
1.0 |
JDK 8 |
|
esr-3.1.1 esr-3.1.0 |
3.4.4 |
2.12 |
3.0.0 |
0.15 |
1.5.0 |
1.0 |
JDK 8 |
|
esr-3.0.1 esr-3.0.0 |
3.4.3 |
2.12 |
3.0.0 |
0.15 |
1.5.0 |
1.0 |
JDK 8 |
2.x系列
|
引擎版本 |
Spark 版本 |
Scala 版本 |
Delta 版本 |
Hudi 版本 |
Iceberg 版本 |
Paimon 版本 |
JDK版本 |
|
esr-2.9.0 |
3.3.1 |
2.12 |
2.2.0 |
0.15 |
1.5.0 |
1.3 |
JDK 8 |
|
esr-2.8.1 esr-2.8.0 |
3.3.1 |
2.12 |
2.2.0 |
0.15 |
1.5.0 |
1.2 |
JDK 8 |
|
esr-2.7.1 esr-2.7.0 |
3.3.1 |
2.12 |
2.2.0 |
0.15 |
1.1.0 |
1.1 |
JDK 8 |
|
esr-2.6.0 |
3.3.1 |
2.12 |
2.2.0 |
0.14 |
1.1.0 |
1.0 |
JDK 8 |
|
esr-2.5.1 esr-2.5.0 |
3.3.1 |
2.12 |
2.2.0 |
0.14 |
1.1.0 |
1.0 |
JDK 8 |
|
esr-2.4.1 esr-2.4.0 |
3.3.1 |
2.12 |
2.2.0 |
0.14 |
1.1.0 |
1.0 |
JDK 8 |
|
esr-2.2.3 esr-2.2.2 esr-2.2 |
3.3.1 |
2.12 |
2.2.0 |
0.14 |
1.1.0 |
0.9 |
JDK 8 |
|
esr-2.1 |
3.3.1 |
2.12 |
2.2.0 |
0.14 |
1.1.0 |
0.9 |
JDK 8 |
可能影響作業行為的預設參數調整
為提升效能與穩定性，EMR Serverless Spark 在引擎版本中對部分 Spark 預設配置進行了最佳化調整。這些調整可能導致作業行為與開源 Spark 不一致，請在使用前務必評估是否會影響您的商務邏輯。
|
esr版本 |
參數 |
Serverless Spark預設值 |
開源Spark預設值 |
|
|
|
|
|
|
|
|