阿里雲EMR Serverless Spark是基於Apache Spark引擎構建的無伺服器化巨量資料處理服務。Spark應用在標準的Java虛擬機器(JVM)上運行,所有Spark任務都是通過Java或Scala代碼執行。
引擎版本號碼及其含義
引擎版本的格式為esr-** (Spark **, Scala **)。
您可以使用阿里雲Fusion Engine提供的運行時環境,利用向量化和原生庫等技術來加速SQL類應用的執行效能。Fusion引擎詳情請參見Fusion引擎。
內容 | 含義 |
esr-** | EMR Serverless Spark版本號碼,例如esr-2.1。 |
Spark ** | 遵循的Apache Spark引擎版本號碼,例如Spark 3.3.1,表示基於Apache Spark 3.3.1構建。 |
Scala ** | 表示該引擎版本所支援的Scala程式設計語言的版本,例如Scala 2.12。 |
引擎版本與湖表格式映射
4.x系列
引擎版本 | Spark 版本 | Scala 版本 | Delta 版本 | Hudi 版本 | Iceberg 版本 | Paimon 版本 |
esr-4.3.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.1 |
esr-4.2.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.0 |
esr-4.1.1 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.0 |
esr-4.1.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.0 |
esr-4.0.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.0 |
3.x系列
引擎版本 | Spark 版本 | Scala 版本 | Delta 版本 | Hudi 版本 | Iceberg 版本 | Paimon 版本 |
esr-3.3.0 | 3.4.3 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.1 |
esr-3.2.0 | 3.4.3 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.0 |
esr-3.1.1 | 3.4.3 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.0 |
esr-3.1.0 | 3.4.3 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.0 |
esr-3.0.1 | 3.4.3 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.0 |
esr-3.0.0 | 3.4.3 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.0 |
2.x系列
引擎版本 | Spark 版本 | Scala 版本 | Delta 版本 | Hudi 版本 | Iceberg 版本 | Paimon 版本 |
esr-2.7.0 | 3.3.1 | 2.12 | 2.2.0 | 0.15 | 1.1.0 | 1.1 |
esr-2.6.0 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 1.0 |
esr-2.5.1 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 1.0 |
esr-2.5.0 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 1.0 |
esr-2.4.1 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 1.0 |
esr-2.4.0 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 1.0 |
esr-2.2.3 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 0.9 |
esr-2.2.2 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 0.9 |
esr-2.2 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 0.9 |
esr-2.1 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 0.9 |