全部產品
Search

搜尋本產品

    E-MapReduce：EMR-5.x系列版本說明

    文件中心

    E-MapReduce：EMR-5.x系列版本說明

    更新時間：Apr 21, 2026

    本文介紹EMR-5.x系列的發布日期與更新詳情，關於各版本支援的組件，請參見發行版本。

    EMR-5.21.x

    發布日期

    版本

    日期

    EMR-5.21.0

    2025年10月27日

    更新內容

    服務

    變更點

    Hive

    • 新增 Profile 機制：自動識別湖隱藏檔格式（例如 ORC），並自動應用JindoSDK 最佳化的 Buffer 和預讀參數。

    • 引入 ORC Stripe 預取機制：在處理大中型 ORC 檔案時，實現計算與I/O的並行操作，即在處理當前 Stripe 的同時，非同步預取後續 Stripe，以提升吞吐率。

    • 支援 ORC 向量化讀取（Vectorized Read）：在讀取 ORC 檔案的索引資料或進行謂詞下推時，會產生大量分散、不連續的File Range。向量化讀取進行批量請求，可以顯著提升吞吐。

    • 整合 JindoSDK 批量中繼資料介面：通過批量處理 getFileStatus 等中繼資料請求，提升中繼資料請求吞吐。

    Spark

    • 新增 Profile 機制：自動識別湖隱藏檔格式（例如 ORC），並自動應用JindoSDK 最佳化的 Buffer 和預讀參數。

    • 引入 ORC Stripe 預取機制：在處理大中型 ORC 檔案時，實現計算與I/O的並行操作，即在處理當前 Stripe 的同時，非同步預取後續 Stripe，以提升吞吐率。

    • 支援小檔案並行預開啟（Pre-open）：自動識別小檔案查詢情境，並行預先開啟一批檔案，大幅降低因頻繁open 操作帶來的I/O延遲。

    • 支援 ORC 向量化讀取（Vectorized Read）：在讀取 ORC 檔案的索引資料或進行謂詞下推時，會產生大量分散、不連續的File Range。向量化讀取進行批量請求，可以顯著提升吞吐。

    Tez

    支援小檔案並行預開啟（Pre-open）：自動識別小檔案查詢情境，並行預先開啟一批檔案，大幅降低因頻繁open 操作帶來的I/O延遲。

    Ranger

    • Jindoauth Server 支援自訂用戶端使用者訪問OSS的Ram Role。

    • Ranger-yarn-plugin 修複依賴缺失。

    Paimon

    升級至1-ali-16.3版本。

    JindoCache

    升級至6.10.1版本。

    Deltalake

    新增組件。版本為3.2.1。

    發行版本資訊

    DataLake叢集

    服務

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    Hive

    3.1.3

    Spark2

    2.4.8

    Spark3

    3.5.3

    Tez

    0.10.2

    Trino

    422

    Deltalake

    3.2.1

    Hudi

    0.15.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.9.2

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    DLF-Auth

    2.0.2

    Presto

    0.283

    Zookeeper

    3.8.4

    Sqoop

    1.4.7

    Knox

    1.5.0

    Celeborn

    0.5.2

    JindoCache

    6.10.1

    Paimon

    1-ali-16.3

    OLAP叢集

    服務

    版本

    StarRocks2

    2.5.22

    StarRocks3

    3.2.11

    Doris

    2.1.4

    ClickHouse

    23.3.13.6

    Zookeeper

    3.8.4

    DataFlow叢集

    服務

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Zookeeper

    3.8.4

    Knox

    1.5.0

    Flink

    1.17.2

    Paimon

    1-ali-6.2

    DataServing叢集

    服務

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    Zookeeper

    3.8.4

    Knox

    1.5.0

    HBase

    2.6.3

    JindoCache

    6.8.2

    Phoenix

    5.2.1

    自訂叢集

    服務

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    Hive

    3.1.3

    Spark2

    2.4.8

    Spark3

    3.5.3

    Tez

    0.10.2

    Trino

    422

    Deltalake

    3.2.1

    Hudi

    0.15.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.9.2

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    DLF-Auth

    2.0.2

    Presto

    0.283

    StarRocks2

    2.5.22

    StarRocks3

    3.2.11

    Zookeeper

    3.8.4

    Sqoop

    1.4.7

    Knox

    1.5.0

    Celeborn

    0.5.2

    Flink

    1.17.2

    HBase

    2.6.3

    JindoCache

    6.10.1

    Paimon

    1-ali-16.3

    Phoenix

    5.2.1

    EMR-5.20.x

    發布日期

    版本

    日期

    EMR-5.20.0

    2025年07月10日

    更新內容

    服務

    變更點

    Hive

    最佳化分區表新增欄位效能。

    YARN

    最佳化全域調度效能，避免某些應用行為導致叢集調度效能下降。

    發行版本資訊

    DataLake叢集

    服務

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    Hive

    3.1.3

    Spark2

    2.4.8

    Spark3

    3.5.3

    Tez

    0.10.2

    Trino

    422

    Hudi

    0.15.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.9.2

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    DLF-Auth

    2.0.2

    Presto

    0.283

    Zookeeper

    3.8.4

    Sqoop

    1.4.7

    Knox

    1.5.0

    Celeborn

    0.5.2

    JindoCache

    6.8.2

    Paimon

    1-ali-6.2

    OLAP叢集

    服務

    版本

    StarRocks2

    2.5.22

    StarRocks3

    3.2.11

    Doris

    2.1.4

    ClickHouse

    23.3.13.6

    Zookeeper

    3.8.4

    DataFlow叢集

    服務

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Zookeeper

    3.8.4

    Knox

    1.5.0

    Flink

    1.17.2

    Paimon

    1-ali-6.2

    DataServing叢集

    服務

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    Zookeeper

    3.8.4

    Knox

    1.5.0

    HBase

    2.6.3

    JindoCache

    6.8.2

    Phoenix

    5.2.1

    自訂叢集

    服務

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    Hive

    3.1.3

    Spark2

    2.4.8

    Spark3

    3.5.3

    Tez

    0.10.2

    Trino

    422

    Hudi

    0.15.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.9.2

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    DLF-Auth

    2.0.2

    Presto

    0.283

    StarRocks2

    2.5.22

    StarRocks3

    3.2.11

    Zookeeper

    3.8.4

    Sqoop

    1.4.7

    Knox

    1.5.0

    Celeborn

    0.5.2

    Flink

    1.17.2

    HBase

    2.6.3

    JindoCache

    6.8.2

    Paimon

    1-ali-6.2

    Phoenix

    5.2.1

    EMR-5.19.x

    發布日期

    版本

    日期

    EMR-5.19.0

    2025年04月24日

    更新內容

    服務

    變更點

    Trino

    修複了LDAP停用問題。

    YARN

    • 通過全域調度最佳化，提高了資源分派效率。

    • 新增了HTTP服務相關指標監控。

    • 修複了開源缺陷 (YARN-10213)。

    HBase

    • 升級至2.6.3版本。

    • 修改為預設使用Java 11運行環境。

    • 修改為預設使用G1記憶體回收行程。

    Phoenix

    升級至5.2.1版本。

    JindoCache

    升級至6.8.2版本。

    StarRocks

    支援建立存算分離叢集。

    EMRHOOK

    • 新增對Spark 3.5的支援。

    • 支援Paimon表的血緣追蹤。

    • 穩定性增強。

    發行版本資訊

    DataLake叢集

    服務

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    Hive

    3.1.3

    Spark2

    2.4.8

    Spark3

    3.5.3

    Tez

    0.10.2

    Trino

    422

    Hudi

    0.15.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.9.2

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    DLF-Auth

    2.0.2

    Presto

    0.283

    Zookeeper

    3.8.4

    Sqoop

    1.4.7

    Knox

    1.5.0

    Celeborn

    0.5.2

    JindoCache

    6.8.2

    Paimon

    1-ali-6.2

    OLAP叢集

    服務

    版本

    StarRocks2

    2.5.22

    StarRocks3

    3.2.11

    Doris

    2.1.4

    ClickHouse

    23.3.13.6

    Zookeeper

    3.8.4

    DataFlow叢集

    服務

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Zookeeper

    3.8.4

    Knox

    1.5.0

    Flink

    1.17.2

    Paimon

    1-ali-6.2

    DataServing叢集

    服務

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    Zookeeper

    3.8.4

    Knox

    1.5.0

    HBase

    2.6.3

    JindoCache

    6.8.2

    Phoenix

    5.2.1

    自訂叢集

    服務

    版本

    Hadoop-Common

    3.2.1

    HDFS

    3.2.1

    OSS-HDFS

    1.0.0

    Hive

    3.1.3

    Spark2

    2.4.8

    Spark3

    3.5.3

    Tez

    0.10.2

    Trino

    422

    Hudi

    0.15.0

    Iceberg

    1.5.0

    Flume

    1.11.0

    Kyuubi

    1.9.2

    YARN

    3.2.1

    OpenLDAP

    2.4.46

    Ranger

    2.3.0

    Ranger-plugin

    1.0.0

    DLF-Auth

    2.0.2

    Presto

    0.283

    StarRocks2

    2.5.22

    StarRocks3

    3.2.11

    Zookeeper

    3.8.4

    Sqoop

    1.4.7

    Knox

    1.5.0

    Celeborn

    0.5.2

    Flink

    1.17.2

    HBase

    2.6.3

    JindoCache

    6.8.2

    Paimon

    1-ali-6.2

    Phoenix

    5.2.1

    EMR-5.18.x

    發布日期

    版本

    日期

    EMR-5.18.1

    2024年12月18日

    EMR-5.18.0（不支援新購）

    2024年12月4日

    更新內容

    服務

    變更點

    Spark3

    • 升級至3.5.3版本。

    • 修複了Spark在擴容過程中遇到的配置問題。

    Trino

    解決了LDAP啟用後無法串連的問題。

    Presto

    Zookeeper

    支援添加自訂配置。

    Ranger

    將現有的Spark 3 Ranger外掛程式替換為Kyuubi開源專案提供的版本。

    Hudi

    升級至0.15.0版本。

    Celeborn

    升級至0.5.2版本。

    Paimon

    升級至1.0-ali-1版本。

    JindoCache

    升級至6.5.3版本。

    StarRocks3

    升級至3.2.11版本。

    StarRocks2

    升級至2.5.22版本。

    Impala

    服務已下線。您可以選擇使用推薦的服務作為替代，或自行安裝相應的服務。

    Impala：建議您使用Presto、Trino、ClickHouse或StarRocks替代。

    Kudu

    Kafka

    Kafka-Manager

    EMR-5.17.x

    發布日期

    版本

    日期

    EMR-5.17.4

    2024年12月18日

    EMR-5.17.3（不支援新購）

    2024年11月29日

    EMR-5.17.2（不支援新購）

    2024年08月29日

    EMR-5.17.1（不支援新購）

    2024年06月21日

    EMR-5.17.0（不支援新購）

    2024年04月23日

    更新內容

    EMR-5.17.4

    服務

    變更點

    JindoCache

    升級至6.5.3版本。

    StarRocks2

    升級至2.5.22版本。

    StarRocks3

    升級至3.2.11版本。

    EMR-5.17.3

    服務

    變更點

    JindoSDK

    升級JindoSDK以解決死結問題。

    EMR-5.17.2

    服務

    變更點

    JindoCache

    • 升級至6.5.1版本。

    • 提升DHT（Distributed Hash Table）的讀寫效能。

    Spark

    • 修複了無法刪除分區目錄的問題。

    • 修複了Hive包依賴問題，確保用戶端操作不中斷與metaStoreClient的串連。

    Trino

    • 修複了擴容過程中可能導致部分已修改配置意外恢複的問題。

    • 支援查詢高安全OSS-HDFS上的資料。

    • 修複啟用DLF-AUTH後服務異常的問題。

    Presto

    支援查詢高安全OSS-HDFS上的資料。

    HDFS

    解決了無法修改NameNode和DataNode記憶體的問題。

    HBaseHDFS

    YARN

    • ResourceManager支援批量發送timeline事件，提升了處理能力。

    • 修複了ResourceManager中容器和資源處理的邏輯問題。

    Zookeeper

    • 解決了無法修改節點群組記憶體配置的問題。

    • 支援重構日誌設定檔。

    Impala

    修複了彈性擴容時修改客戶配置的問題。

    Ranger

    支援新版JindoSDK核心，有效降低了CPU使用率。

    Knox

    修複了僅有一個Master-Extend時組件URL訪問失效的問題。

    Kafka

    修複了Kafka Connect叢集啟動的問題。

    StarRocks

    修複了擴容後看不到新增BE的問題。

    Doris

    升級至2.1.4版本。

    Paimon

    升級至0.9-ali-7版本。

    EMRHOOK

    支援解析MaxCompute表的血緣資料。

    EMR-5.17.1

    服務

    變更點

    Spark

    支援部署Master-Extend節點群組。

    Hive

    Kyuubi

    Paimon

    將Flink依賴從VVR版本替換為社區版，並支援DLF Catalog。

    Knox

    使用JDK 8進行打包。

    Flink

    已恢複在EMR-5.17.0中移除的DLF配置和依賴項。

    EMR-5.17.0

    服務

    變更點

    Spark

    Spark3升級至3.4.2版本。

    Celeborn

    升級至0.4.0版本。

    Doris

    升級至2.1.0版本。

    StarRocks

    • StarRocks2升級至2.5.18版本。

    • StarRocks3升級至3.2.4版本。

    DeltaLake

    升級至3.0.0版本。

    Iceberg

    升級至1.5.0版本。

    Zookeeper

    升級至3.8.4版本。

    JindoCache

    升級至6.2.5版本。

    Flink

    升級至1.17.2版本。

    EMR-5.16.x

    發布日期

    版本

    日期

    EMR-5.16.0

    2024年02月19日

    更新內容

    服務

    變更點

    Hudi

    升級至0.14.0版本。

    Flume

    升級至1.11.0版本。

    Kyuubi

    升級至1.7.3版本。

    Impala

    升級至4.3.0版本。

    Celeborn

    升級至0.3.2版本。

    JindoCache

    升級至6.2.0版本。

    Paimon

    升級至0.7-ali-1版本。

    Kafka

    升級至3.6.1版本。

    StarRocks

    • StarRocks2升級至2.5.13版本。

    • StarRocks3升級至3.1.5版本。

    Spark

    修複了Commons Text漏洞。

    Ranger

    • 修複了Commons Text漏洞。

    • 修複了Spring Security路徑匹配許可權繞過漏洞。

    • 修複了Spring Security forward/include認證繞過漏洞。

    • 修複了Spring Framework特殊匹配模式下身份認證繞過漏洞。

    • 支援修改Ranger同步LDAP使用者周期。

    EMR-5.15.x

    發布日期

    版本

    日期

    EMR-5.15.1

    2023年11月16日

    EMR-5.15.0（不支援新購）

    2023年10月27日

    更新內容

    服務

    變更點

    JindoCache

    新增服務，版本為6.1.1。

    JindoData

    不支援選擇JindoData。您可以使用新增的JindoCache來實現緩衝功能，使用DLF-Auth來實現鑒權功能。

    Spark

    移除了hive-site.xml中與jdo相關的配置。

    HBase

    在配置中增加配置項，您可以根據自己的需求選擇HBase Thrift Server的版本，包括v1和v2。

    StarRocks

    升級StarRocks2至2.5.10版本。

    Doris

    升級Doris至1.2.7版本。

    Celeborn

    升級Celeborn至0.3.1版本。

    Paimon

    升級Paimon至0.6-ali-2版本。

    ClickHouse

    升級ClickHouse至23.3.13.6版本。

    EMR-5.14.x

    發布日期

    版本

    日期

    EMR-5.14.2

    2023年8月17日

    更新內容

    服務

    變更點

    Trino

    • 修複了Paimon連接器無法成功查詢HDFS表的問題。

    • 修複了無法讀取Worker監控指標的問題。

    Presto

    • 升級到0.283版本。

    • 修複了無法讀取Worker監控指標的問題。

    ClickHouse

    預設賦予default使用者所有許可權。

    StarRocks

    • 修改之前的StarRocks版本為StarRocks2。

    • 新增StarRocks3，版本為 3.1.2版本，預設建立為存算一體版本，暫不支援存算分離版本。

    Celeborn

    升級到0.3.0版本。

    EMR-5.13.x

    發布日期

    版本

    日期

    EMR-5.13.0

    2023年8月3日

    更新內容

    服務

    變更點

    Hudi

    升級到0.13.1版本。

    Paimon

    升級到0.5-ali-1版本。

    StarRocks

    升級到2.5.8版本。

    JindoData

    升級到4.6.11版本。

    Trino

    • 升級到422版本。

    • Hudi連接器支援查詢MOR（Merge On Read）表。

    • 最佳化了動態載入UDF時的錯誤提示。

    EMR-5.12.x

    發布日期

    版本

    日期

    EMR-5.12.1

    2023年7月13日

    EMR-5.12.0（不支援新購）

    2023年6月1日

    更新內容

    EMR-5.12.1

    服務

    變更點

    Spark

    • Spark History Server支援預設使用OSS-HDFS儲存。

    • Spark3 Native Engine支援使用OSS和OSS-HDFS儲存。

    Hive

    Hive warehouse支援預設使用OSS-HDFS儲存。

    OSS-HDFS

    新增服務。

    YARN

    支援預設使用OSS-HDFS儲存。

    HBase

    • HBase HFile資料支援預設使用OSS-HDFS儲存。

    • HBase WAL日誌支援使用OSS-HDFS儲存。

    EMR-5.12.0

    服務

    變更點

    Kyuubi

    升級到1.7.1版本。

    Celeborn

    升級到0.2.2版本。

    Paimon

    • Flink-Table-Store更名為Paimon。

    • 升級到0.4-ali-1版本。

    StarRocks

    升級到2.5.5版本。

    Doris

    升級到1.2.4版本。

    ClickHouse

    升級到23.3.2.37版本。

    Trino

    預設提供了一個簡單的Event Listener，可以擷取審計日誌。

    Phoenix

    支援Hive on Phoenix。

    EMR-5.11.x

    發布日期

    版本

    日期

    EMR-5.11.1

    2023年4月3日

    EMR-5.11.0（不支援新購）

    2023年2月28日

    更新內容

    EMR-5.11.1

    服務

    變更點

    ClickHouse

    升級到22.8.14.53版本。

    Trino

    新增odps.properties連接器，支援查詢MaxCompute。

    JindoData

    升級到4.6.5版本。

    JindoSDK

    升級到4.6.5版本。

    Flink-Table-Store

    升級到0.3-ali-2版本。

    YARN

    支援Node Labels功能管理。

    EMR-5.11.0

    服務

    變更點

    Iceberg

    升級到1.1.0版本。

    Hudi

    • 升級到0.12.2版本。

    • 支援CDC功能。

    DeltaLake

    • 升級到2.2.0版本。

    • 支援Vacuum記錄到交易記錄。

    Kudu

    升級到1.16.0版本。

    Clickhouse

    安裝ClickHouse服務時必須選擇ZooKeeper服務。

    Celeborn

    • RSS更名為Celeborn。

    • Celeborn的版本為0.2.0。

    Presto

    新增服務，核心為社區Facebook PrestoDB 0.278.3版本，預設HTTP連接埠號碼為8889，HTTPS連接埠號碼為7779。

    StarRocks

    升級到2.5.1版本。

    Doris

    升級到1.2.1版本。

    Kafka-Manager

    升級到3.0.0.6版本。

    Impala

    升級到4.2.0版本。

    OpenLDAP

    升級到2.4.46版本。

    HBase

    • 支援JDK 11。

    • 支援ThriftServer2。

    • 參數hbase.block.data.cachecompressed的預設值改為true。

    Flink-Table-Store

    新增服務，基於社區0.3版本。

    JindoData

    升級到4.6.4版本。

    EMR-5.10.x

    發布日期

    EMR-5.10.0 2022年12月1日

    更新內容

    服務

    變更點

    Iceberg

    升級到0.14.1版本。

    Flink

    升級到Flink1.15-vvr-6.0.2版本，對應社區Flink1.15大版本。

    Kafka

    • 支援LDAP使用者登入認證與鑒權。

    • 支援使用者組鑒權。

    Trino

    • EMR Presto改用社區正式名稱Trino。

    • 支援Ranger和DLF AUTH。

    • 修複了一鍵開啟LDAP後無法串連到Worker節點的問題。

    JindoSDK

    升級到4.6.2版本。

    JindoData

    升級到4.6.2版本。

    HBase

    • 支援Ranger。

    • 修複了添加服務時不能選擇OSS-HDFS作為儲存模式的問題。

    YARN

    高安全模式預設開啟ACL。

    Starrocks

    升級到2.4.1版本。

    Doris

    升級到1.1.5版本。

    Hudi

    控制台支援配置hudi-defaults.conf。

    Ranger

    • 升級到2.3.0版本。

    • 支援對接Trino、YARN、HBase、Kafka。

    DLF-Auth

    • 升級至2.0.2版本。

    • 支援Trino、Impala。

    OpenLDAP

    對接了Nslcd組件。

    Kudu

    Kudu Tserver不再允許安裝在Task節點群組中。

    Spark

    升級至3.3.1版本。

    Tez

    升級至0.10.2版本。

    Kyuubi

    升級至1.6.0版本。

    EMR-5.9.x

    發布日期

    版本

    日期

    EMR-5.9.1

    2022年11月08日

    EMR-5.9.0（不支援新購）

    2022年10月14日

    更新內容

    EMR-5.9.1

    服務

    變更點

    Kerberos

    支援在EMR上對接外部KDC。

    Kafka

    支援新增啟動命令配置項，允許使用者自訂設定服務的啟動參數。

    JindoData

    • 升級至4.6.0版本。

    • 支援改寫OSS-HDFS訪問路徑。

    Flink

    升級至1.13_vvr_4.0.15版本。

    RSS

    升級至0.1.4版本。

    EMR-5.9.0

    服務

    變更點

    Spark

    • 升級至3.3版本。

    • 支援開啟Kerberos身份認證。

    Hudi

    • 升級至0.12.0版本。

    • 支援Spark 3.3版本。

    • 支援使用雲上MetaStore受管理的中繼資料並開啟加速功能，詳情請參見Hudi MetaStore使用說明。

    Flink

    • 支援開啟Kerberos身份認證。

    • 支援與資料湖構建（DLF）自動連接。

    Iceberg

    • 升級至0.14.0版本。

    • 支援Spark 3.3版本。

    • 支援開啟Kerberos身份認證。

    JindoData

    • 升級至4.5.1版本。

    • 支援免AccessKey方式訪問阿里雲資源。

    Hadoop-Common和HDFS

    • 支援開啟Kerberos身份認證。

    • 修複安全性漏洞CVE-2022-25168。

    Knox

    接入Ranger，支援通過访问链接与端口頁簽訪問Ranger UI。

    HBase

    • 升級至2.4.9版本。

    • 支援開啟Kerberos身份認證。

    • 支援分組配置。

    RSS

    • 升級至0.1.2版本。

    • 支援開啟Kerberos身份認證。

    Doris

    • 升級至1.1.2版本。

    • 支援開啟Kerberos身份認證。

    StarRocks

    • 升級至2.3.2版本。

    • 支援開啟Kerberos身份認證。

    Kafka

    • 升級至2.13_3.2.1版本。

    • 支援開啟Kerberos身份認證。

    DeltaLake

    • 支援升級至2.1.0版本。

    • 支援Spark 3.3版本。

    • 支援開啟Kerberos身份認證。

    Impala

    • 支援DLF建立視圖。

    • 支援開啟Kerberos身份認證。

    Kudu

    新增組件。版本為1.14.0。

    YARN、Ranger、Hive、Kyuubi、Tez、Zookeeper、DLF-Auth、Phoenix、Sqoop、Presto

    支援開啟Kerberos身份認證。

    EMR-5.8.x

    發布日期

    EMR-5.8.0 2022年8月5日

    更新內容

    服務

    變更點

    Spark

    支援一鍵對接LDAP。

    Hive

    支援一鍵對接LDAP。

    Presto

    • 升級至社區389版本。

      使用社區提供的Delta Lake和Hudi獨立連接器。

      • 此版本Delta Lake連接器暫不支援Time Travel和Z-Order。

      • 此版本Hudi連接器暫不支援查詢MOR表。

    • 支援一鍵對接LDAP。

    DeltaLake

    • 對接了DLF自動化湖表管理。

    • 修複了CTAS情境不能自動同步分區資訊的問題。

    • 支援optimize和vacuum命令返回指標資訊。

    Hudi

    升級至0.11.1版本。

    HadoopCommon

    新增組件，解決了HDFS、YARN和JindoSDK配置相互覆蓋的問題。

    YARN

    彈性功能增強。

    Ranger

    • 同時支援Spark2和Spark3。

    • 支援Ranger Usersync一鍵對接LDAP。

    Kafka

    新增組件，版本為2.12-2.4.1。

    HBase

    新增組件，版本為2.3.4。

    Phoenix

    新增組件，版本為5.1.2。

    Doris

    升級至1.1.1版本。

    StarRocks

    • 升級至2.3.0版本。

    • 主鍵模型支援完整的DELETE WHERE文法、支援持久化主鍵索引以降低記憶體使用量等。

    ClickHouse

    • 升級為22.3.8.39版本。

    • 修複了讀OSS大檔案時記憶體溢出的問題。

    EMR-5.6.x

    發布日期

    EMR-5.6.0 2022年4月21日

    更新內容

    服務

    變更點

    JindoData

    新增組件，版本為4.3.0。

    JindoSDK

    升級至4.3.0版本。

    Spark

    升級至3.2.1版本。

    Hive

    修複了TEZ開啟Speculation後重複Commit的缺陷。

    Presto

    修複了Hadoop叢集初始化完成後，添加Presto服務後，Presto服務無法啟動的缺陷。

    DeltaLake

    DML支援SubQuery。

    Hudi

    升級至0.10.1版本。

    Iceberg

    升級至0.13.1版本。

    YARN

    增加了限制AM只運行在CORE組節點的功能配置。

    HBase

    修複了HBase2.3.4核心的缺陷。

    Zookeeper

    最佳化了JVM的參數配置。

    Impala

    適配JindoSDK 4.3.0。

    Sqoop

    升級PostgreSQL版本。

    Zeppelin

    解決了JDBC Interpreter啟動失敗的問題。

    Ranger

    Ranger 1.2.0版本Spark Plugin支援Delta和Hudi。

    Flume

    適配JindoSDK 4.3.0。

    Oozie

    升級Log4j至2.17.2版本。

    DLF-Auth

    升級至2.0.0版本。

    EMR-5.5.x

    發布日期

    版本

    日期

    EMR-5.5.1

    2022年3月25日

    EMR-5.5.0（不支援新購）

    2022年2月15日

    更新內容

    EMR-5.5.1

    說明

    僅新版控制台的OLAP叢集支援該版本。

    服務

    變更點

    Clickhouse

    修改了部分參數的預設值。

    StarRocks

    升級至2.1.1版本。

    EMR-5.5.0

    服務

    變更點

    SmartData

    組件下線。

    BIGBOOT

    RSS

    • 升級ESS服務為RSS。

    • 增強了服務的功能和穩定性。

    JindoSDK

    • 升級架構為JindoData。

    • EMR首次整合JindoSDK 4.0，支援OSS和OSS-HDFS服務等。

    Spark

    • COUNT DISTINCT函數支援IF語句以及最佳化Case when的用法。

      設定參數spark.sql.optimizer.rewriteConditionalDistinctAggregates為true。

    • Shuffle Hash Join支援fallback到Sort Merge Join。

      設定參數spark.sql.join.preferSortMergeJoin為false，設定參數spark.sql.join.enableShuffledHashJoinFallback為true。

    • 支援非動態分區自動合并小檔案。

      設定spark.sql.adaptive.merge.output.small.files.enabled參數為true。

    • GroupingSet以及Distinct等情境會自動調整並發度。

      設定參數spark.sql.execution.optimizeExpand為true。

    • 最佳化了Hive on Spark。

    • 支援Time Travel文法。

    • 適配JindoSDK。

    Tez

    適配JindoSDK。

    Hive

    • 最佳化了Hive Jindo大量刪除的問題。

    • 最佳化了HiveServer2 OOM問題。

    • 最佳化了Hive on Spark。

    • 適配JindoSDK。

    Presto

    • 升級Presto至社區358版本。

    • 預設增加MySQL、Iceberg、Hudi、Phoenix、Kudu和Delta連接器，並更新預設配置。

    • 支援資料湖分析。

    • 支援UDF動態載入功能。

    • 適配JindoSDK。

    Delta Lake

    • 版本升級

      • 升級至1.1.0版本，相容Spark 3.2.0。

      • 所有商業版功能遷移至1.1.0版本。

    • 中繼資料管理

      • 最佳化中繼資料修改同步到metastore的部分。

      • 自動上報表的統計資訊（dataProfiling）到metastore。

    • SQL

      • 支援Time Travel文法。

      • 支援DropPartition SQL文法。

      • 支援SQL動態分區覆蓋寫。

      • 支援指定位置（FIRST和AFTER）的ADD COLUMN操作。

    • 表管理能力增強

      • 支援並預設開啟可以根據表大小動態調整檔案大小。

      • 支援並預設開啟自動Vacuum，支援並發Vacuum。

      • 最佳化了自動Compaction的邏輯，預設關閉。

      • 新增Zorder文法，並加速了Zorder的處理過程。

    Hudi

    • 升級至0.10.0版本。

    • 支援Spark 3.2.0版本。

    • 支援JindoFS Block模式。

    HDFS

    適配JindoSDK。

    YARN

    • 適配RSS記憶體配置。

    • 適配JindoSDK。

    Flume

    適配JindoSDK。

    Impala

    適配JindoSDK。

    Ranger

    • 支援Spark 3.2.0版本。

    • 支援Presto 358版本。

    HBase

    • 修複了預設參數存在的問題。

    • 修複了GC日誌日期格式問題。

    Clickhouse

    Iceberg

    • 升級至0.13.0版本。

    • 支援Presto 358版本。

    DLF-Auth

    • 支援Spark 3.2.0版本。

    • 支援Presto 358版本。

    EMR-5.4.x

    發布日期

    版本

    日期

    EMR-5.4.3

    2021年12月

    EMR-5.4.2（不支援新購）

    2021年12月

    EMR-5.4.1（不支援新購）

    2021年11月

    EMR-5.4.0（不支援新購）

    2021年10月

    更新內容

    EMR-5.4.3

    修複了所有相關組件的Log4j安全性漏洞，詳細資料請參見漏洞公告 | Apache Log4j2遠程代碼執行漏洞。

    服務

    變更點

    Presto

    修複了Elasticsearch連接器的Log4j漏洞。

    DLF Metastore

    • 將Metastore log預設開啟改為關閉。

    • 修複了Metastore gettablestats URI超長出錯的問題。

    Delta Lake

    修複了變更Schema同步到Metastore的問題。

    Sqoop

    修複了Sqoop匯入HCatalog表時，Decimal類型精度丟失的問題。

    EMR-5.4.2

    服務

    變更點

    SmartData

    • 升級SmartData至3.8.0版本，詳情請參見SmartData 3.8.x版本簡介。

    • 支援OSS基於Kerberos和Ranger的認證和授權管理。

    EMR-5.4.1

    服務

    變更點

    SmartData

    升級SmartData至3.7.3版本，詳情請參見SmartData 3.7.x版本簡介。

    Oozie

    修複了HA情況下Oozie的Jetty Server依賴JAR包衝突，導致Jetty Server無法啟動的問題。

    Impala

    修複了查詢DLF中繼資料表時提示no such method error的問題。

    DLF-Auth

    升級DLF-Auth至1.0.1版本。

    EMR-5.4.0

    服務

    變更點

    SmartData

    升級SmartData至3.7.2版本，詳情請參見SmartData 3.7.x版本簡介。

    Spark

    • 升級Spark至3.1.2版本。

    • Spark 3.x系列，SparkSQL最佳化了Distinct計算效能，即當彙總運算元中包含多個count(distinct case ... when ...)時會觸發最佳化功能。

    • 修複了AQE在Stats缺失情況下數組越界的問題。

    • 修複了AQE和Cache在特定情境下報錯的問題。

    Hive

    Hive on JindoFS（Block）支援批量中繼資料最佳化功能，預設未開啟。

    Presto

    Delta表支援StorageHandler查詢。

    DeltaLake

    • 升級DeltaLake至1.0.0版本。

    • 統一Hive 2和Hive 3的delta-connectors。

    • 修複了delta-connectors查詢多級分區表時的報錯問題。

    • 支援多個功能的SQL文法。例如，DataSkipping、Optimize和Zorder。

    • 支援同步Meta到MetaStore。

    Hudi

    • 升級Hudi至0.9.0版本。

    • 修複了DeltaLake和Hudi的sql.extension的相容性問題。

    說明

    支援Spark 3.1.2版本。

    HDFS

    NameNode預留空間預設參數自適應增加，保證磁碟空間不足時， NameNode及時進入SafeMode。

    Storm

    組件下線。

    Zeppelin

    升級Zeppelin至社區0.10.0版本。

    Hue

    • 修複YARN Job Browser在部分情況下無法正常展示和終止作業的問題。

    • 預設配置中放開YARN Job Browser。

    • 預設配置中支援Presto協議。

    Druid

    修複了伺服器掉電時Pid檔案殘留，導致節點重啟失敗的問題。

    ClickHouse

    • 更新了預設配置。

    • 支援叢集擴容。

    • 支援MetaChecker功能。

    • 支援OSS表引擎和OSS表函數讀資料。

    Iceberg

    • 升級Iceberg至0.12.0-1.0.1版本。

    • 修改了Hive Runtime依賴報錯問題。

    Knox

    修複了Spark Task第一次訪問時失敗的問題。

    DLF-Auth

    新增組件。

    支援DLF許可權，可以控制Hive和Spark許可權。版本為1.0.0。

    EMR-5.3.x

    發布日期

    版本

    日期

    EMR-5.3.1

    2021年9月

    EMR-5.3.0（不支援新購）

    2021年8月

    更新內容

    EMR-5.3.1

    服務

    變更點

    SmartData

    升級SmartData至3.7.1版本。

    Hue

    修複了高安全叢集無法使用Impala的問題。

    Kudu

    支援Kerberos。

    HBase

    • 修複了高安全叢集重啟HBase耗時過長的問題。

    • 修複了Spark 3.1.1版本與HBase整合使用時失敗的問題。

    • 最佳化了Graceful Stop流程。

    EMR-5.3.0

    服務

    變更點

    SmartData

    升級SmartData至3.7.0版本。

    Spark

    修複了與Delta Lake相容性的問題。

    Hive

    Hive on JindoFS（Block模式）支援批量中繼資料最佳化功能。

    預設未開啟此功能。

    DeltaLake

    • 支援DeltaLake的分區特性。

    • 修複了desc detail命令和Spark 3.1.1版本不相容的問題。

    YARN

    • 節點Containers REST API增加了appId，CPU和Memory資源使用資訊。

    • 修複了Auto Scaling釋放節點上AM日誌無法查看的問題。

    • 修複了State Store歷史資料造成叢集停用問題。

    • 支援Auto ScalingDecommission後清理釋放的節點。

    • 完善了Auto ScalingGraceful Decommission的操作邏輯，待NM進程結束後再標記下線完成。

    Zookeeper

    升級至社區3.6.3版本。

    Flink

    • 新增了SmartData組件。

    • 修複了SSH到DataFlow-Flink叢集中提交作業時，無法免密訪問OSS的問題。

    Impala

    修複了直接刪除OSS分區目錄出現list目錄迴圈的問題。

    Hue

    修複了Hue與Oozie整合使用時介面顯示的問題。

    Kudu

    升級至社區1.14.0版本。

    Clickhouse

    組件版本為21.3.13.9。

    Iceberg

    新增Iceberg組件，組件版本為0.12.0。

    EMR-5.2.x

    發布日期

    EMR-5.2.1 2021年7月16日

    更新內容

    服務

    變更點

    SmartData

    升級SmartData至3.6.1版本。版本詳情，請參見SmartData 3.6.x版本簡介。

    Hive

    • 修複使用DLF中繼資料執行show create table命令，結果顯示不正確的問題。

    • 最佳化Hive預設參數，以提升作業效能。

    • 修改E-MapReduce控制台上，Hive服務配置頁面的hive-env頁簽的配置項名稱為大寫，便於使用者使用。

    • 修複UDF（User Define Function）導致HiveServer2記憶體泄露的問題。

    • 最佳化檔案系統與MetaStore不一致時寫Hive表的報錯資訊。

    HDFS

    支援ZSTD（Zstandard）壓縮格式。

    Delta Lake

    • 升級Delta Lake至0.8.0版本。

    • 支援Spark 3。

    Flink

    升級Flink至1.12-vvr-3.0.2版本。

    Hudi

    • 升級Hudi至0.8.0版本。

    • 支援和Spark SQL整合。

    Spark
    重要

    EMR-5.2.1版本的Spark（3.1.1）與Kudu（1.11.1）不相容。

    • 支援資料湖格式Delta Lake和Hudi。

    • 支援Remote Shuffle Service。

    • 支援Livy 。

    • 最佳化E-MapReduce控制台上，Spark服務配置頁面的spark-defaults頁簽的配置項名稱。

    • 最佳化CBO（Cost-Based Optimization）、DPP（DynamicPartitionPruning）以及Z-Order等功能，效能比開源Spark 3版本提升50%。

    • 支援阿里雲Log Service、DataHub和訊息佇列RocketMQ版（簡稱ONS）等資料來源。

    Tez

    最佳化Tez預設參數，以提升作業效能。

    Ranger

    • 修複Ranger啟用Spark日誌中的Warning報錯。

    • 修複對接LDAP後，自動同步處理的使用者失敗的問題。

    Knox

    • 適配Kudu組件。

    • 適配Hbase組件。

    Kafka

    • 支援Cruise Control組件，提供Kafka叢集Balance功能。

    • Kafka上線熱換盤功能，在不啟停Broker前提下，可以更換壞盤。

    • 修改部分參數的預設值。

    Phoenix

    修複Hive和Spark SQL訪問Phoenix表時，報未找到JDBC Driver的問題。

    ESS（EMR Remote Shuffle Service）

    支援Spark 3。