E-MapReduce：2025-09-17版本

功能分類

功能更新說明

相關文檔

密文管理

新增支援工作空間層級的密文管理，避免明文AccessKey、密碼等資訊帶來的安全風險。

通過密文管理敏感資訊

運行環境管理

新增支援按照指定Python版本配置運行環境。

管理運行環境

納管檔案目錄

新增功能支援在資料開發批任務中掛載納管檔案目錄。掛載後，使用者可以在批任務中對納管檔案目錄中的檔案進行讀寫操作。

納管檔案目錄

任務歷史

新增支援按照資源配置、Spark配置、運行參數篩選任務。

Kyuubi Gateway

• 單工作空間內支援建立多個Kyuubi Gateway。

• 在關聯 DLF 2.5 Catalog 下，Token 的建立支援使用者授權，並進行 Kyuubi 及 DLF 2.5 的認證與鑒權。

• 管理Kyuubi Gateway

• 管理資料目錄

Livy Gateway

支援配置啟用Ranger鑒權。

為Livy Gateway配置並啟用Ranger鑒權

Notebook

支援R語言。

版本號碼

說明

esr-2.7.1 (Spark 3.3.1, Scala 2.12)

esr-2.8.0 (Spark 3.3.1, Scala 2.12)

esr-3.3.1 (Spark 3.4.4, Scala 2.12)

esr-3.4.0 (Spark 3.4.4, Scala 2.12)

esr-4.3.1 (Spark 3.5.2, Scala 2.12)

esr-4.4.0 (Spark 3.5.2, Scala 2.12)

esr-4.5.0 (Spark 3.5.2, Scala 2.12)

• Fusion 加速

  • Sort運算元最佳化。

  • Spill最佳化。

  • Json Datasource最佳化。

  • Project合并最佳化。

  • 大模型文本去重情境最佳化。

  • Spark SQL支援OSS解凍文法。

  • Jindo SDK 升級至 6.10.0。

  • UDF細粒度fallback最佳化。

  • 最佳化regexp_replace。

  • Notebook內建DuckDB。

• 湖格式

  • 【DLF2.5】完整支援DLF2.5 PaimonCatalog和IcebergCatalog。

  • 【Paimon】最佳化讀寫。

  • 【Paimon】支援多Catalog聯邦查詢和寫入。

  • 【Paimon】最佳化file open cost配置。

  • 【Iceberg】支援多Catalog。

  • 【Lance】支援DLF Lance Table。

• Spark架構

  • esr-4.5.0升級到java17。

  • 最佳化insert overwrite非分區表。

  • 提升spark和hive相容性。

  • 最佳化MC Connector。

  • Executor連續失敗自動fail作業。

Celeborn

• Shuffle Write傾斜最佳化。

• 穩定性最佳化。

• 效能最佳化。