E-MapReduce：2025-01-20 版本

功能分類

功能更新說明

售賣

新增隨用隨付下的計算資源抵扣包，價格更優惠。

穩定性

• 任務資源申請效率和運行穩定性提升。

• 全面支援跨可用性區域高可用。

生態對接

• 批/流任務支援對接外部Ranger服務。

• 通過Kyuubi Gateway，以相容開源Kyuubi的方式提交SQL任務。

資料目錄

• 支援使用RAM使用者（子帳號）身份訪問DLF。

• 支援訪問DLF 2.0 Hive Catalog。

資源觀測

支援觀測工作空間、隊列的資源消耗情況。

運行環境

Spark Submit工具支援通過配置參數--conf spark.emr.serverless.environmentId=<運行環境id>來指定運行環境。

版本號碼

說明

esr-4.0.0 (Spark 3.5.2, Scala 2.12)

esr-3.1.0 (Spark 3.4.3, Scala 2.12)

esr-2.5.0 (Spark 3.3.1, Scala 2.12)

• 引擎版本：正式支援Spark 3.5.2。

• Fusion 加速

  • CacheTable最佳化。

  • 支援讀CSV和TEXT格式的表。

  • 支援讀取和寫入複雜類型的ORC格式。

  • 支援讀Hudi格式的表。

  • 支援parse_url函數。

  • 支援concat_ws函數。

  • Window運算元最佳化。

  • Sort運算元最佳化。

• Java Runtime

  • 針對從Driver下載JAR檔案造成的效能問題進行了最佳化，以提升Executor的並發處理能力。

  • 增強了自訂JAR的隔離機制。

  • Insert外表支援插入空資料。

  • 簡化記憶體Committer的配置。

• Paimon

  • 支援自訂Paimon資料路徑。

  • 支援建立和使用視圖。

  • 支援 CREATE TABLE ... WITH LOCATION 文法。

  • 最佳化了SHOW TABLES效能。

Celeborn

支援多AZ高可用。