Alibaba Cloud EMR Serverless Spark は、Apache Spark エンジンをベースに構築されたサーバーレスのビッグデータ処理サービスです。Spark アプリケーションは標準の Java 仮想マシン (JVM) 上で実行され、すべての Spark タスクは Java または Scala のコードを通じて実行されます。
エンジンバージョン番号とその意味
エンジンバージョンのフォーマットは esr-** (Spark **, Scala **) です。
Alibaba Cloud Fusion エンジンの実行環境で利用可能なベクターベースのテクノロジーとネイティブライブラリを使用して、SQL アプリケーションの実行パフォーマンスを向上させることができます。詳細については、「Fusion エンジン」をご参照ください。
内容 | 意味 |
esr-** | EMR Serverless Spark のバージョン番号です。例：esr-2.1。 |
Spark ** | Apache Spark エンジンのバージョン番号です。例：Spark 3.3.1 は、Apache Spark 3.3.1 をベースに構築されていることを意味します。 |
Scala ** | このエンジンバージョンでサポートされている Scala プログラミング言語のバージョンです。例：Scala 2.12。 |
エンジンバージョンとレイクテーブルフォーマットのマッピング
以下の表では、- は、このエンジンバージョンがこのコンポーネントをサポートしていないことを示します。
5.x シリーズ
エンジンバージョン | Spark バージョン | Scala バージョン | Delta バージョン | Hudi バージョン | Iceberg バージョン | Paimon バージョン | JDK バージョン |
esr-5.1.0 | 4.0.1 | 2.13 | - | - | - | 1.3 | JDK 17 |
esr-5.0.0 | 4.0.1 | 2.13 | - | - | - | 1.3 | JDK 17 |
4.x シリーズ
エンジンバージョン | Spark バージョン | Scala バージョン | Delta バージョン | Hudi バージョン | Iceberg バージョン | Paimon バージョン | JDK バージョン |
esr-4.7.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.9.2 | 1.3 | JDK 17 |
esr-4.6.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.9.2 | 1.3 | JDK 17 |
esr-4.5.1 esr-4.5.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.9.2 | 1.2 | JDK 17 |
esr-4.4.1 esr-4.4.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.2 | JDK 8 |
esr-4.3.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.1 | JDK 8 |
esr-4.2.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
esr-4.1.1 esr-4.1.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
esr-4.0.0 | 3.5.2 | 2.12 | 3.2.1 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
3.x シリーズ
エンジンバージョン | Spark バージョン | Scala バージョン | Delta バージョン | Hudi バージョン | Iceberg バージョン | Paimon バージョン | JDK バージョン |
esr-3.6.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.3 | JDK 8 |
esr-3.5.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.3 | JDK 8 |
esr-3.4.1 esr-3.4.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.2 | JDK 8 |
esr-3.3.1 esr-3.3.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.1 | JDK 8 |
esr-3.2.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
esr-3.1.1 esr-3.1.0 | 3.4.4 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
esr-3.0.1 esr-3.0.0 | 3.4.3 | 2.12 | 3.0.0 | 0.15 | 1.5.0 | 1.0 | JDK 8 |
2.x シリーズ
エンジンバージョン | Spark バージョン | Scala バージョン | Delta バージョン | Hudi バージョン | Iceberg バージョン | Paimon バージョン | JDK バージョン |
esr-2.9.0 | 3.3.1 | 2.12 | 2.2.0 | 0.15 | 1.5.0 | 1.3 | JDK 8 |
esr-2.8.1 esr-2.8.0 | 3.3.1 | 2.12 | 2.2.0 | 0.15 | 1.5.0 | 1.2 | JDK 8 |
esr-2.7.1 esr-2.7.0 | 3.3.1 | 2.12 | 2.2.0 | 0.15 | 1.1.0 | 1.1 | JDK 8 |
esr-2.6.0 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 1.0 | JDK 8 |
esr-2.5.1 esr-2.5.0 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 1.0 | JDK 8 |
esr-2.4.1 esr-2.4.0 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 1.0 | JDK 8 |
esr-2.2.3 esr-2.2.2 esr-2.2 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 0.9 | JDK 8 |
esr-2.1 | 3.3.1 | 2.12 | 2.2.0 | 0.14 | 1.1.0 | 0.9 | JDK 8 |
ジョブの動作に影響を与える可能性のあるデフォルトパラメータの調整
パフォーマンスと安定性を向上させるため、EMR Serverless Spark はエンジンバージョンで一部の Spark のデフォルト設定を最適化しています。これらの調整により、ジョブの動作がオープンソースの Spark と異なる場合があります。ご使用の前に、これらの変更がビジネスロジックに影響を与えるかどうかを評価してください。
ESR バージョン | パラメーター | Serverless Spark のデフォルト値 | オープンソース Spark のデフォルト値 |
|
|
|
|
|
|
|