E-MapReduce：EMR-5.x系列版本說明

服務

變更點

JindoCache

升級至6.5.3版本。

StarRocks2

升級至2.5.22版本。

StarRocks3

升級至3.2.11版本。

服務

變更點

JindoSDK

升級JindoSDK以解決死結問題。

服務

變更點

JindoCache

• 升級至6.5.1版本。

• 提升DHT（Distributed Hash Table）的讀寫效能。

Spark

• 修複了無法刪除分區目錄的問題。

• 修複了Hive包依賴問題，確保用戶端操作不中斷與metaStoreClient的串連。

Trino

• 修複了擴容過程中可能導致部分已修改配置意外恢複的問題。

• 支援查詢高安全OSS-HDFS上的資料。

• 修複啟用DLF-AUTH後服務異常的問題。

Presto

支援查詢高安全OSS-HDFS上的資料。

HDFS

解決了無法修改NameNode和DataNode記憶體的問題。

HBaseHDFS

YARN

• ResourceManager支援批量發送timeline事件，提升了處理能力。

• 修複了ResourceManager中容器和資源處理的邏輯問題。

Zookeeper

• 解決了無法修改節點群組記憶體配置的問題。

• 支援重構日誌設定檔。

Impala

修複了彈性擴容時修改客戶配置的問題。

Ranger

支援新版JindoSDK核心，有效降低了CPU使用率。

Knox

修複了僅有一個Master-Extend時組件URL訪問失效的問題。

Kafka

修複了Kafka Connect叢集啟動的問題。

StarRocks

修複了擴容後看不到新增BE的問題。

Doris

升級至2.1.4版本。

Paimon

升級至0.9-ali-7版本。

EMRHOOK

支援解析MaxCompute表的血緣資料。

服務

變更點

Spark

支援部署Master-Extend節點群組。

Hive

Kyuubi

Paimon

將Flink依賴從VVR版本替換為社區版，並支援DLF Catalog。

Knox

使用JDK 8進行打包。

Flink

已恢複在EMR-5.17.0中移除的DLF配置和依賴項。

服務

變更點

Spark

Spark3升級至3.4.2版本。

Celeborn

升級至0.4.0版本。

Doris

升級至2.1.0版本。

StarRocks

• StarRocks2升級至2.5.18版本。

• StarRocks3升級至3.2.4版本。

DeltaLake

升級至3.0.0版本。

Iceberg

升級至1.5.0版本。

Zookeeper

升級至3.8.4版本。

JindoCache

升級至6.2.5版本。

Flink

升級至1.17.2版本。

服務

變更點

Spark

• Spark History Server支援預設使用OSS-HDFS儲存。

• Spark3 Native Engine支援使用OSS和OSS-HDFS儲存。

Hive

Hive warehouse支援預設使用OSS-HDFS儲存。

OSS-HDFS

新增服務。

YARN

支援預設使用OSS-HDFS儲存。

HBase

• HBase HFile資料支援預設使用OSS-HDFS儲存。

• HBase WAL日誌支援使用OSS-HDFS儲存。

服務

變更點

Kyuubi

升級到1.7.1版本。

Celeborn

升級到0.2.2版本。

Paimon

• Flink-Table-Store更名為Paimon。

• 升級到0.4-ali-1版本。

StarRocks

升級到2.5.5版本。

Doris

升級到1.2.4版本。

ClickHouse

升級到23.3.2.37版本。

Trino

預設提供了一個簡單的Event Listener，可以擷取審計日誌。

Phoenix

支援Hive on Phoenix。

服務

變更點

ClickHouse

升級到22.8.14.53版本。

Trino

新增odps.properties連接器，支援查詢MaxCompute。

JindoData

升級到4.6.5版本。

JindoSDK

升級到4.6.5版本。

Flink-Table-Store

升級到0.3-ali-2版本。

YARN

支援Node Labels功能管理。

服務

變更點

Iceberg

升級到1.1.0版本。

Hudi

• 升級到0.12.2版本。

• 支援CDC功能。

DeltaLake

• 升級到2.2.0版本。

• 支援Vacuum記錄到交易記錄。

Kudu

升級到1.16.0版本。

Clickhouse

安裝ClickHouse服務時必須選擇ZooKeeper服務。

Celeborn

• RSS更名為Celeborn。

• Celeborn的版本為0.2.0。

Presto

新增服務，核心為社區Facebook PrestoDB 0.278.3版本，預設HTTP連接埠號碼為8889，HTTPS連接埠號碼為7779。

StarRocks

升級到2.5.1版本。

Doris

升級到1.2.1版本。

Kafka-Manager

升級到3.0.0.6版本。

Impala

升級到4.2.0版本。

OpenLDAP

升級到2.4.46版本。

HBase

• 支援JDK 11。

• 支援ThriftServer2。

• 參數hbase.block.data.cachecompressed的預設值改為true。

Flink-Table-Store

新增服務，基於社區0.3版本。

JindoData

升級到4.6.4版本。

服務

變更點

Kerberos

支援在EMR上對接外部KDC。

Kafka

支援新增啟動命令配置項，允許使用者自訂設定服務的啟動參數。

JindoData

• 升級至4.6.0版本。

• 支援改寫OSS-HDFS訪問路徑。

Flink

升級至1.13_vvr_4.0.15版本。

RSS

升級至0.1.4版本。

服務

變更點

Spark

• 升級至3.3版本。

• 支援開啟Kerberos身份認證。

Hudi

• 升級至0.12.0版本。

• 支援Spark 3.3版本。

• 支援使用雲上MetaStore受管理的中繼資料並開啟加速功能，詳情請參見Hudi MetaStore使用說明。

Flink

• 支援開啟Kerberos身份認證。

• 支援與資料湖構建（DLF）自動連接。

Iceberg

• 升級至0.14.0版本。

• 支援Spark 3.3版本。

• 支援開啟Kerberos身份認證。

JindoData

• 升級至4.5.1版本。

• 支援免AccessKey方式訪問阿里雲資源。

Hadoop-Common和HDFS

• 支援開啟Kerberos身份認證。

• 修複安全性漏洞CVE-2022-25168。

Knox

接入Ranger，支援通過訪問連結與連接埠頁簽訪問Ranger UI。

HBase

• 升級至2.4.9版本。

• 支援開啟Kerberos身份認證。

• 支援分組配置。

RSS

• 升級至0.1.2版本。

• 支援開啟Kerberos身份認證。

Doris

• 升級至1.1.2版本。

• 支援開啟Kerberos身份認證。

StarRocks

• 升級至2.3.2版本。

• 支援開啟Kerberos身份認證。

Kafka

• 升級至2.13_3.2.1版本。

• 支援開啟Kerberos身份認證。

DeltaLake

• 支援升級至2.1.0版本。

• 支援Spark 3.3版本。

• 支援開啟Kerberos身份認證。

Impala

• 支援DLF建立視圖。

• 支援開啟Kerberos身份認證。

Kudu

新增組件。版本為1.14.0。

YARN、Ranger、Hive、Kyuubi、Tez、Zookeeper、DLF-Auth、Phoenix、Sqoop、Presto

支援開啟Kerberos身份認證。

服務

變更點

Clickhouse

修改了部分參數的預設值。

StarRocks

升級至2.1.1版本。

服務

變更點

SmartData

組件下線。

BIGBOOT

RSS

• 升級ESS服務為RSS。

• 增強了服務的功能和穩定性。

JindoSDK

• 升級架構為JindoData。

• EMR首次整合JindoSDK 4.0，支援OSS和OSS-HDFS服務等。

Spark

• COUNT DISTINCT函數支援IF語句以及最佳化Case when的用法。

  設定參數spark.sql.optimizer.rewriteConditionalDistinctAggregates為true。

• Shuffle Hash Join支援fallback到Sort Merge Join。

  設定參數spark.sql.join.preferSortMergeJoin為false，設定參數spark.sql.join.enableShuffledHashJoinFallback為true。

• 支援非動態分區自動合并小檔案。

  設定spark.sql.adaptive.merge.output.small.files.enabled參數為true。

• GroupingSet以及Distinct等情境會自動調整並發度。

  設定參數spark.sql.execution.optimizeExpand為true。

• 最佳化了Hive on Spark。

• 支援Time Travel文法。

• 適配JindoSDK。

Tez

適配JindoSDK。

Hive

• 最佳化了Hive Jindo大量刪除的問題。

• 最佳化了HiveServer2 OOM問題。

• 最佳化了Hive on Spark。

• 適配JindoSDK。

Presto

• 升級Presto至社區358版本。

• 預設增加MySQL、Iceberg、Hudi、Phoenix、Kudu和Delta連接器，並更新預設配置。

• 支援資料湖分析。

• 支援UDF動態載入功能。

• 適配JindoSDK。

Delta Lake

• 版本升級

  • 升級至1.1.0版本，相容Spark 3.2.0。

  • 所有商業版功能遷移至1.1.0版本。

• 中繼資料管理

  • 最佳化中繼資料修改同步到metastore的部分。

  • 自動上報表的統計資訊（dataProfiling）到metastore。

• SQL

  • 支援Time Travel文法。

  • 支援DropPartition SQL文法。

  • 支援SQL動態分區覆蓋寫。

  • 支援指定位置（FIRST和AFTER）的ADD COLUMN操作。

• 表管理能力增強

  • 支援並預設開啟可以根據表大小動態調整檔案大小。

  • 支援並預設開啟自動Vacuum，支援並發Vacuum。

  • 最佳化了自動Compaction的邏輯，預設關閉。

  • 新增Zorder文法，並加速了Zorder的處理過程。

Hudi

• 升級至0.10.0版本。

• 支援Spark 3.2.0版本。

• 支援JindoFS Block模式。

HDFS

適配JindoSDK。

YARN

• 適配RSS記憶體配置。

• 適配JindoSDK。

Flume

適配JindoSDK。

Impala

適配JindoSDK。

Ranger

• 支援Spark 3.2.0版本。

• 支援Presto 358版本。

HBase

• 修複了預設參數存在的問題。

• 修複了GC日誌日期格式問題。

Clickhouse

• 新增HDFS和OSS磁碟類型， 支援資料冷熱分離，詳情請參見使用HDFS進行資料冷熱分離和使用OSS進行資料冷熱分離。

• 在Replicated*MergeTree情況下，支援的磁碟類型為OSS、HDFS和S3的Zero Copy。

• 最佳化了ClickHouse組件Stop時的處理邏輯。

Iceberg

• 升級至0.13.0版本。

• 支援Presto 358版本。

DLF-Auth

• 支援Spark 3.2.0版本。

• 支援Presto 358版本。

服務

變更點

SmartData

• 升級SmartData至3.8.0版本，詳情請參見SmartData 3.8.x版本簡介。

• 支援OSS基於Kerberos和Ranger的認證和授權管理。

服務

變更點

SmartData

升級SmartData至3.7.3版本，詳情請參見SmartData 3.7.x版本簡介。

Oozie

修複了HA情況下Oozie的Jetty Server依賴JAR包衝突，導致Jetty Server無法啟動的問題。

Impala

修複了查詢DLF中繼資料表時提示no such method error的問題。

DLF-Auth

升級DLF-Auth至1.0.1版本。

服務

變更點

SmartData

升級SmartData至3.7.2版本，詳情請參見SmartData 3.7.x版本簡介。

Spark

• 升級Spark至3.1.2版本。

• Spark 3.x系列，SparkSQL最佳化了Distinct計算效能，即當彙總運算元中包含多個count(distinct case ... when ...)時會觸發最佳化功能。

• 修複了AQE在Stats缺失情況下數組越界的問題。

• 修複了AQE和Cache在特定情境下報錯的問題。

Hive

Hive on JindoFS（Block）支援批量中繼資料最佳化功能，預設未開啟。

Presto

Delta表支援StorageHandler查詢。

DeltaLake

• 升級DeltaLake至1.0.0版本。

• 統一Hive 2和Hive 3的delta-connectors。

• 修複了delta-connectors查詢多級分區表時的報錯問題。

• 支援多個功能的SQL文法。例如，DataSkipping、Optimize和Zorder。

• 支援同步Meta到MetaStore。

Hudi

• 升級Hudi至0.9.0版本。

• 修複了DeltaLake和Hudi的sql.extension的相容性問題。

HDFS

NameNode預留空間預設參數自適應增加，保證磁碟空間不足時， NameNode及時進入SafeMode。

Storm

組件下線。

Zeppelin

升級Zeppelin至社區0.10.0版本。

Hue

• 修複YARN Job Browser在部分情況下無法正常展示和終止作業的問題。

• 預設配置中放開YARN Job Browser。

• 預設配置中支援Presto協議。

Druid

ClickHouse

• 更新了預設配置。

• 支援叢集擴容。

• 支援MetaChecker功能。

• 支援OSS表引擎和OSS表函數讀資料。

Iceberg

• 升級Iceberg至0.12.0-1.0.1版本。

• 修改了Hive Runtime依賴報錯問題。

Knox

DLF-Auth

服務

變更點

SmartData

升級SmartData至3.7.1版本。

Hue

修複了高安全叢集無法使用Impala的問題。

Kudu

支援Kerberos。

HBase

• 修複了高安全叢集重啟HBase耗時過長的問題。

• 修複了Spark 3.1.1版本與HBase整合使用時失敗的問題。

• 最佳化了Graceful Stop流程。

服務

變更點

SmartData

升級SmartData至3.7.0版本。

Spark

修複了與Delta Lake相容性的問題。

Hive

Hive on JindoFS（Block模式）支援批量中繼資料最佳化功能。

預設未開啟此功能。

DeltaLake

• 支援DeltaLake的分區特性。

• 修複了desc detail命令和Spark 3.1.1版本不相容的問題。

YARN

• 節點Containers REST API增加了appId，CPU和Memory資源使用資訊。

• 修複了Auto Scaling釋放節點上AM日誌無法查看的問題。

• 修複了State Store歷史資料造成叢集停用問題。

• 支援Auto ScalingDecommission後清理釋放的節點。

• 完善了Auto ScalingGraceful Decommission的操作邏輯，待NM進程結束後再標記下線完成。

Zookeeper

升級至社區3.6.3版本。

Flink

• 新增了SmartData組件。

• 修複了SSH到DataFlow-Flink叢集中提交作業時，無法免密訪問OSS的問題。

Impala

修複了直接刪除OSS分區目錄出現list目錄迴圈的問題。

Hue

修複了Hue與Oozie整合使用時介面顯示的問題。

Kudu

升級至社區1.14.0版本。

Clickhouse

組件版本為21.3.13.9。

Iceberg

新增Iceberg組件，組件版本為0.12.0。