Alibaba Cloud EMR Serverless Spark adalah layanan pemrosesan data besar berarsitektur tanpa server yang dibangun di atas engine Apache Spark. Aplikasi Spark berjalan pada Java Virtual Machine (JVM) standar, dan semua tugas Spark dieksekusi melalui kode Java atau Scala.
Nomor versi engine dan maknanya
Nomor versi engine menggunakan format esr-** (Spark **, Scala **).
Lingkungan runtime Alibaba Cloud Fusion Engine memungkinkan Anda memanfaatkan teknologi seperti vektorisasi dan pustaka native untuk mempercepat kinerja aplikasi SQL. Untuk informasi selengkapnya mengenai Fusion Engine, lihat Fusion Engine.
Content | Makna |
esr-** | Nomor versi untuk EMR Serverless Spark. Contohnya, esr-2.1. |
Spark ** | Versi engine Apache Spark yang digunakan. Misalnya, Spark 3.3.1 menunjukkan bahwa engine tersebut dibangun di atas Apache Spark 3.3.1. |
Scala ** | Versi bahasa pemrograman Scala yang didukung oleh versi engine tersebut. Contohnya, Scala 2.12. |
Pemetaan versi engine dan format lakehouse
Seri 4.x
Engine version | Spark version | Scala version | Delta version | Hudi version | Iceberg version | Paimon version | Versi JDK |
esr-4.6.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.9.2 | 1.3 | JDK 17 |
esr-4.5.1 esr-4.5.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.9.2 | 1.2 | JDK 17 |
esr-4.4.1 esr-4.4.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.2 | JDK 8 |
esr-4.3.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.1 | JDK 8 |
esr-4.2.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
esr-4.1.1 esr-4.1.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
esr-4.0.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
Seri 3.x
Engine version | Spark version | Scala version | Delta version | Hudi version | Iceberg version | Paimon version | Versi JDK |
esr-3.5.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.3 | JDK 8 |
esr-3.4.1 esr-3.4.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.2 | JDK 8 |
esr-3.3.1 esr-3.3.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.1 | JDK 8 |
esr-3.2.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
esr-3.1.1 esr-3.1.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
esr-3.0.1 esr-3.0.0 | 3.4.3 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
Seri 2.x
Engine version | Spark version | Scala version | Delta version | Hudi version | Iceberg version | Paimon version | Versi JDK |
esr-2.9.0 | 3.3.1 | 2.12 | 2.2.0 | 0.15 | 1.5.0 | 1.3 | JDK 8 |
esr-2.8.1 esr-2.8.0 | 3.3.1 | 2.12 | 2.2.0 | 0.15 | 1.5.0 | 1.2 | JDK 8 |
esr-2.7.1 esr-2.7.0 | 3.3.1 | 2.12 | 2.2.0 | 0.15 | 1.1.0 | 1.1 | JDK 8 |
esr-2.6.0 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 1.0 | JDK 8 |
esr-2.5.1 esr-2.5.0 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 1.0 | JDK 8 |
esr-2.4.1 esr-2.4.0 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 1.0 | JDK 8 |
esr-2.2.3 esr-2.2.2 esr-2.2 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 0.9 | JDK 8 |
esr-2.1 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 0.9 | JDK 8 |