E-MapReduce：EMR-3.x系列版本說明

版本

日期

EMR-3.55.0

2025年10月27日

服務

變更點

Ranger

• Jindoauth Server 支援自訂用戶端使用者訪問OSS的Ram Role。

• Ranger-yarn-plugin 修複依賴缺失。

Paimon

升級至1-ali-16.3版本。

JindoCache

升級至6.10.1版本。

版本

日期

EMR-3.54.0

2025年07月10日

服務

變更點

Hive

修複了部分已知Bug。

Tez

社區Bug修複，最佳化效能與穩定性。

版本

日期

EMR-3.53.0

2025年04月24日

服務

變更點

Trino

修複了LDAP停用問題。

YARN

修複了開源缺陷 (YARN-10213、YARN-6207和YARN-9339)。

StarRocks

支援建立存算分離叢集。

JindoCache

升級至6.8.2版本。

EMRHOOK

穩定性增強。

版本

日期

EMR-3.52.1

2024年12月18日

EMR-3.52.0（不支援新購）

2024年12月4日

服務

變更點

Spark

• 修複了在擴容過程中遇到的配置問題。

• 修複了Kerberos叢集中偶發的SASL串連失敗問題。

Hive

修複了在擴容過程中遇到的配置問題。

Trino

解決了LDAP啟用後無法串連的問題。

Presto

Zookeeper

支援添加自訂配置。

Ranger

將現有的Spark 3 Ranger外掛程式替換為Kyuubi開源專案提供的版本。

Hudi

升級至0.15.0版本。

Celeborn

升級至0.5.2版本。

JindoCache

升級至6.5.3版本。

StarRocks3

升級至3.2.11版本。

Kyuubi

升級至1.9.2版本。

StarRocks2

升級至2.5.22版本。

Impala

Kudu

Kafka

Kafka-Manager

版本

日期

EMR-3.51.4

2024年12月18日

EMR-3.51.3（不支援新購）

2024年11月29日

EMR-3.51.2（不支援新購）

2024年08月29日

EMR-3.51.1（不支援新購）

2024年06月21日

EMR-3.51.0（不支援新購）

2024年04月23日

版本

日期

EMR-3.50.0

2024年02月19日

服務

變更點

Hudi

升級至0.14.0版本。

Flume

升級至1.11.0版本。

Kyuubi

升級至1.7.3版本。

Impala

升級至4.3.0版本。

Celeborn

升級至0.3.2版本。

JindoCache

升級至6.2.0版本。

Paimon

升級至0.7-ali-1版本。

Kafka

• 升級至3.6.1版本。

• 修複了Kafka Connect組件中存在的SASL安全認證漏洞。

Spark

修複了Commons Text漏洞。

StarRocks

• StarRocks2升級至2.5.13版本。

• StarRocks3升級至3.1.5版本。

Ranger

• 修複了Commons Text漏洞。

• 修複了Spring Security路徑匹配許可權繞過漏洞。

• 修複了Spring Security forward/include認證繞過漏洞。

• 修複了Spring Framework特殊匹配模式下身份認證繞過漏洞。

• 支援修改Ranger同步LDAP使用者周期。

版本

日期

EMR-3.49.1

2023年11月16日

EMR-3.49.0（不支援新購）

2023年10月27日

服務

變更點

JindoCache

新增組件，版本為6.1.1。

JindoData

不支援選擇JindoData。您可以使用新增的JindoCache來實現緩衝功能，使用DLF-Auth來實現鑒權功能。

Spark

移除了hive-site.xml中與jdo相關的配置。

HBase

在配置中增加配置項，您可以根據自己的需求選擇HBase Thrift Server的版本，包括v1和v2。

StarRocks

升級StarRocks2至2.5.10版本。

Doris

升級Doris至1.2.7版本。

Celeborn

升級Celeborn至0.3.1版本。

Paimon

升級Paimon至0.6-ali-2版本。

ClickHouse

升級ClickHouse至23.8.2.7版本。

版本

日期

EMR-3.48.2

2023年8月17日

服務

變更點

Trino

• 修複了Paimon連接器無法成功查詢HDFS表的問題。

• 修複了無法讀取Worker監控指標的問題。

Presto

• 升級到0.283版本。

• 修複了無法讀取Worker監控指標的問題。

ClickHouse

預設賦予default使用者所有許可權。

StarRocks

• 修改之前的StarRocks為StarRocks2。

• 新增StarRocks3，版本為 3.1.2版本，預設建立為存算一體版本，暫不支援存算分離版本。

Celeborn

升級到0.3.0版本。

版本

日期

EMR-3.47.0

2023年8月3日

服務

變更點

Hudi

升級到0.13.1版本。

Paimon

升級到0.5-ali-1版本。

StarRocks

升級到2.5.8版本。

JindoData

升級到4.6.11版本。

Trino

• 升級到422版本。

• Hudi連接器支援查詢MOR（Merge On Read）表。

• 最佳化了動態載入UDF時的錯誤提示。

版本

日期

EMR-3.46.1

2023年7月13日

EMR-3.46.0（不支援新購）

2023年6月1日

版本

日期

EMR-3.45.1

2023年4月3日

EMR-3.45.0（不支援新購）

2023年2月28日

服務

變更點

Iceberg

升級到0.14.1版本。

Flink

升級到Flink1.15-vvr-6.0.2版本，對應社區Flink1.15大版本。

Kafka

• 支援LDAP使用者登入認證與鑒權。

• 支援使用者組鑒權。

Trino

• EMR Presto改用社區正式名稱Trino。

• 支援Ranger和DLF AUTH。

• 修複了一鍵開啟LDAP後無法串連到Worker節點的問題。

JindoSDK

升級到4.6.2版本。

JindoData

升級到4.6.2版本。

HBase

• 支援Ranger。

• 修複了添加服務時不能選擇OSS-HDFS作為儲存模式的問題。

YARN

高安全模式預設開啟ACL。

Starrocks

升級到2.3.4版本。

Doris

升級到1.1.5版本。

Hudi

控制台支援配置hudi-defaults.conf。

Ranger

支援對接Trino、YARN、HBase、Kafka。

DLF-Auth

• 升級至2.0.2版本。

• 支援Trino、Impala。

OpenLDAP

對接了Nslcd組件。

Kudu

Kudu Tserver不再允許安裝在Task節點群組中。

Spark

升級至3.3.1版本。

Tez

升級至0.10.2版本。

Kyuubi

升級至1.6.0版本。

版本

日期

EMR-3.43.1

2022年11月08日

EMR-3.43.0（不支援新購）

2022年10月14日

服務

變更點

Hive

支援一鍵對接LDAP。

Presto

• 升級至社區389版本。

  使用社區提供的Delta Lake和Hudi獨立連接器。

  • 此版本Delta Lake連接器暫不支援Time Travel和Z-Order。

  • 此版本Hudi連接器暫不支援查詢MOR表。

• 支援一鍵對接LDAP。

DeltaLake

• 對接了DLF自動化湖表管理。

• 支援Ranger鑒權。

• 修複了timestamp欄位無法收集統計資訊的問題。

• 支援optimize和vacuum命令返回指標資訊。

Hudi

升級至0.11.1版本。

HadoopCommon

新增組件，解決HDFS、YARN和JindoSDK配置相互覆蓋的問題。

YARN

彈性功能增強。

Ranger

• 同時支援Spark2和Spark3。

• 支援Ranger Usersync一鍵對接LDAP。

Kafka

CruiseControl啟動時會自動建立相關的Topic。

HBase

新增組件，版本為1.4.9。

Phoenix

新增組件，版本為4.14.1。

Doris

升級至1.1.1版本。

StarRocks

升級至2.2.3版本。

ClickHouse

修複了讀OSS大檔案時記憶體溢出的問題。

服務

變更點

JindoData

新增組件，版本為4.3.0。

JindoSDK

升級至4.3.0版本。

Spark

升級至3.2.1版本。

Hive

• 修複了TEZ開啟Speculation後重複Commit的缺陷。

• 修複了必須Reload Function才能調用UDF的缺陷。

Presto

修複了Hadoop叢集初始化完成後，添加Presto服務後，Presto服務無法啟動的缺陷。

DeltaLake

修複了與Streaming SQL的相容性問題。

Hudi

升級至0.10.1版本。

Iceberg

升級至0.13.1版本。

YARN

• 增加了限制AM只運行在CORE組節點的功能配置。

• 修複了mareduce.map.java.opts配置缺少taihaodoctor的問題。

Zookeeper

最佳化了JVM的參數配置。

Flink

適配JindoSDK 4.3.0。

Impala

Flume

Druid

Sqoop

升級PostgreSQL版本。

Zeppelin

解決了JDBC Interpreter啟動失敗的問題。

Ranger

Ranger 1.2.0版本Spark Plugin支援Hudi。

Oozie

升級Log4j至2.17.2版本。

HBase

修複了HBase 1.4.9版本RegionServer無法啟動的問題。

DLF-Auth

升級至2.0.0版本。

版本

日期

EMR-3.39.2

2022年3月25日

EMR-3.39.1（不支援新購）

2022年2月15日

版本

日期

EMR-3.38.3

2021年12月

EMR-3.38.2（不支援新購）

2021年12月

EMR-3.38.1（不支援新購）

2021年11月

EMR-3.38.0（不支援新購）

2021年10月

版本

日期

EMR-3.37.1

2021年9月

EMR-3.37.0（不支援新購）

2021年8月

服務

變更點

SmartData

升級SmartData至3.6.1版本。

版本詳情，請參見SmartData 3.6.x版本簡介。

Hive

• 升級Hive至2.3.8版本。

• 修複使用DLF（DataLakeFormation）中繼資料執行show create table命令時，結果顯示不正確的問題。

• 最佳化Hive預設參數，以提升作業效能。

• 修改E-MapReduce控制台上，Hive服務配置頁面的hive-env頁簽的配置項名稱為大寫，便於使用者使用。

• 最佳化檔案系統與MetaStore不一致時寫Hive表的報錯資訊。

HDFS

支援ZSTD（Zstandard）壓縮格式。

Flink

升級Flink至1.12-vvr-3.0.2版本。

Hudi

• 升級Hudi至0.8.0版本。

• 支援和Spark SQL整合。

Spark

• 最佳化E-MapReduce控制台上，Spark服務配置頁面的spark-defaults頁簽的配置項名稱。

• 最佳化輸出日誌效能。

• 支援ZSTD（Zstandard）壓縮格式。

Impala

修複使用HDFS時報錯提示Core Dump的問題。

Tez

最佳化Tez預設參數，以提升作業效能。

Knox

• 適配Kudu組件。

• 適配Impala組件。

• 適配Hbase組件。

Phoenix

修複Hive和Spark SQL訪問Phoenix表時，報未找到JDBC Driver的問題。

ClickHouse

上線APM監控警示。

服務

變更點

SmartData

升級至3.5.0版本。

版本詳情，請參見SmartData 3.5.x版本簡介。

Spark

• 修複Adaptive Execution部分情境無法生效的問題。

• 修複統計彙總函式行為和Hive不一致的問題。

• 修複讀取Hive ORC表char類型資料正確性的問題。

HDFS

支援國密SM4密碼編譯演算法。

Hue

升級Hue至4.9.0版本。

Alluxio

升級Alluxio至2.5.0版本。

Druid

• 升級Druid至0.20.1版本。

• 增強了安全性。

Livy

升級Livy至0.7.1版本。

服務

變更點

SmartData

升級至3.4.0版本。

版本詳情，請參見SmartData 3.4.x版本簡介。

Spark

• 最佳化了部分預設配置。
• 效能最佳化：支援Window TopK下推。
• 增強Hive讀寫CSV或JSON表的相容性。
• ANALYZE語句支援省略全表列名。
• 支援一鍵開啟或關閉LDAP功能。
• 改進Spark Beeline工具的易用性。

Hive

• 最佳化了部分預設配置。

• 效能最佳化：增強CBO。

• 支援一鍵開啟或關閉LDAP功能。

• 升級Calcite版本至1.12.0。

• 增加參數hive.security.authorization.sqlstd.confwhitelist.append。

Presto

支援一鍵開啟或關閉LDAP功能。

YARN

修複了Hadoop未授權訪問Web UI時的高危風險問題。即通過SSH Tunnel方式訪問YARN WebUI時，需要在URL裡顯式指定user.name=name的問題。

Zookeeper

升級至3.6.2版本。

Flink

初始化時更新config.sh檔案，修複HADOOP_CLASSPATH的問題。

Impala

• 升級Impala至3.4.0版本。

• 升級Shiro至1.7.0版本。

• 支援DLF中繼資料。

• 支援查詢Delta格式的資料。

• 支援一鍵開啟或關閉LDAP功能。

Tez

最佳化了預設配置。

HAS

修複在HAS的install流程中產生錯誤後admin.keytab無法重新init問題。

Ranger

• 修複Spark中Filter函數的下推問題。

• 修複Ranger Disable Presto後，Presto無法啟動的問題。

• 支援一鍵開啟或關閉LDAP功能。

Knox

修複Druid 0.20.0版本Knox連結的問題。

Hue

支援一鍵開啟或關閉LDAP功能。

Hudi

• 支援SQL on Hudi功能。
• 修複了查詢部分資料時準確性的問題。
• 在Spark查詢Hudi的Copy On Write表時，支援分區裁剪。
• 支援分桶索引機制，提高寫入效能。

Delta Lake

• 修複基於已存在Delta表無法同步中繼資料至Hive Metastore的問題。
• 修複Merge命令無法解析*的問題。
• 修複基於Parquet格式的資料轉換成Delta表，且建立表中繼資料時報錯的問題。
• 修複當沒有待compact的檔案時，執行Optimize命令異常的問題。
• 支援Merge文法使用子查詢作為source命令。
• 使用Presto查詢Delta表時，引入緩衝機制，以提升查詢效率。
• 支援Impala查詢Delta表。

Superset

• 修複admin使用者無法登入Web UI的問題。

• 資料集相容Druid叢集模式。

• 不再支援SparkSQL資料集。

Sqoop

支援匯入Parquet格式的檔案至OSS。

Alluxio

升級至2.4.1版本。

Phoenix

Hive on Phoenix支援欄位設定。

Pig

已移除。

服務

變更點

SmartData

升級至3.2.0版本。

詳情請參見SmartData 3.2.x版本簡介。

Spark

• 升級至2.4.7版本。

• 升級jQuery至3.5.1版本。

• 相容Hive方式，自動更新表和分區大小。

• 支援Spark中繼資料和作業運行資訊輸出至DataWorks。

Hive

• 升級至2.3.7版本。

• HCatalog支援Data Lake Formation。

• 支援Hive中繼資料和作業運行資訊輸出至DataWorks。

Metastore

• 新增Hive Statistics功能。

• HCatalog支援Data Lake Formation。

• 最佳化STSToken的擷取方式。

HDFS

升級jQuery至3.5.1版本。

YARN

• 升級jQuery至3.5.1版本。

• 調整Fair Scheduler配置。

• 最佳化了Timeline Server。

Zeppelin

升級至0.9.0版本。

Ranger

• 增加Hive的Audit日誌配置。

• 增加Log4j Audit的配置。

OpenLDAP

• 增加審計功能。

• 預設開啟SSL連接埠（10636）。

• 支援一鍵開啟Presto。

Knox

• 修複Spring漏洞。

• 修複Spark UI中查看Executors頁面的問題。

• 修複Oozie的Job狀態頁面的問題。

Hue

支援Presto。

Druid

升級至0.20.0版本。

EMRHook

• 新增軟體服務。

• hive-hook：支援Hive中繼資料和作業運行資訊輸出至DataWorks。

• spark-hook：支援Spark中繼資料和作業運行資訊輸出至DataWorks。

服務

變更點

SmartData

升級至3.1.0版本。

詳情請參見SmartData 3.1.x版本簡介。

Alluxio

• 支援Alluxio 2.4.0版本。

• 預設的參數配置，可以根據叢集節點大小調整。

• 預設使用EMR叢集內的HDFS作為底層的UnderFS，開箱即用。

• 增強Alluxio OSS UnderFS，適配OSS多版本等新功能。

• 適配Hadoop、Hive、Spark和Presto等引擎。

HUDI

支援HUDI 0.6.0版本。

Spark

JindoTable支援開啟或關閉資料擷取功能。

Hive

• 修複了HiveServer串連池泄漏的問題。

• JindoTable支援開啟或關閉資料擷取功能。

• 最佳化ADD COLUMN的效能。

• 修複了讀取HUDI表時資料不正確的問題。

• 預設的參數配置，可以根據叢集節點大小調整。

HDFS

支援了更高數量級的Snapshot。

YARN

預設的參數配置，可以根據叢集節點大小調整。

Tez

預設的參數配置，可以根據叢集節點大小調整。

Sqoop

修複了Avro格式的檔案匯入問題。

服務

變更點

SmartData

升級至3.0.0。

詳情請參見SmartData 3.0.x版本簡介

Spark

• 支援阿里雲DLF（Data Lake Formation）中繼資料。

• 升級HAS依賴至2.0.1。

• 修複Streaming SQL反引號問題。

• 移除Delta的JAR包，修改為Delta單獨部署。

• 修改日誌路徑統一寫至HDFS下。

Hive

• 支援阿里雲DLF（Data Lake Formation）中繼資料。

• 解決了讀Delta表空目錄時寫DUMMY檔案問題。

• 升級HAS依賴至2.0.1。

Presto

• 支援阿里雲DLF（Data Lake Formation）中繼資料。

• 解決讀Delta表的限制問題。

• 修複高安全模式下JVM配置缺失問題。

• 升級HAS依賴至2.0.1。

HDFS

• 支援熱交換磁碟模式。

• 升級HAS依賴至2.0.1。

YARN

• 修複YARN RMZKStateStore的問題。

• 支援SLS輸出的SNAPPY檔案。

• 修改MapReduce Local模式目錄配置，解決目錄許可權檢查問題。

• 支援熱交換磁碟模式。

• 日誌路徑統一寫到HDFS下。

• 升級HAS依賴至2.0.1。

Zookeeper

• 支援綁定內網IP啟動服務連接埠。

• 升級HAS依賴至2.0.1。

Flink-Vvp

• 升級至1.11-2.2.2版本。

• 支援SQL和Autopilot功能。

Flink

• 支援緩衝模式寫入OSS，結合Flink的Checkpoint與可重發的Source實現EXACTLY_ONCE語義。

• 同步了Flink社區1.11.1功能，SQL支援多路輸出（MULTI INSERT）。

• 升級HAS依賴至2.0.1。

Impala

• 支援自訂配置catalogd.flgs、impalad.flgs和statestored.flgs。

• 升級Shiro至1.6.0版本。

• 升級HAS依賴至2.0.1。

Tez

• 最佳化AM的預設記憶體參數。

• 升級HAS依賴至2.0.1。

HAS

升級HAS依賴至2.0.1。

Storm

Zeppelin

Ranger

OpenLDAP

Oozie

Knox

Kafka

HUE

HBase

Druid

服務

變更點

Bigboot

• 升級至2.7.301版本。

• Jindo DistCp支援寫入時按OSS歸檔或低頻寫入。

• 增強Fuse功能，支援多Namespaces。

• 完善Cache模式的中繼資料快取功能。

Spark

• Spark升級至2.4.5.2.0。

• 支援第三方Metastore的功能。

• 增加datalake metastore-client。

Hive

• Hive升級至2.3.5.6.0。

• 支援第三方Metastore的功能。

• 增加datalake metastore-client。

Presto

升級至338版本。

Ranger

• 升級軟體包至1.2.0-1.5.0。

• 支援Presto 338。

• 設定檔增加Description。

HDFS

自適應配置datanode reserved空間大小。

Knox

適配Impala、高版本Flink和PAI。

Druid

升級至0.18.1版本。

SmartData

升級至2.7.301版本。

服務

變更點

Bigboot

• 發布首個JindoTable版本，基於表或分區的熱度統計。

• 支援Block模式上完整的儲存策略，支援階層式存放區策略，包括低頻和歸檔等。

• 增加資料移轉工具Jindo DistCp。

• 完善和修複Jindo Fuse。

• 完善Cache模式中JFS Scheme在Hive引擎和Jindo JobCommitter上的整合。

• Block模式讀路徑上，設定比重可以直接讀OSS，用來緩解和分攤讀本機快取的開銷。

• JindoFS軟體模組解耦，分為Bigboot（管控層）、Smartdata（分布式服務）和JindoFS SDK。每塊獨立升級維護。

服務

變更點

Flink

已將開源Flink升級為企業版Ververica Platform，基於開源Flink 1.10深度定製，提供自研儲存引擎Gemini等增值功能。

Bigboot

升級至2.7.0版本。

Delta

• 升級至0.6.0版本。

• 解耦Delta與Spark代碼。

Spark

• 升級至2.4.5版本。

• 相容DataFactory的streaming-sql指令碼。

• 支援Delta 0.6.0版本。

Hive

支援Delta 0.6.0版本。

Ranger

• 支援HDFS、Hive和Spark自訂部署。

• 支援在控制台配置ranger-admin-site和ranger-ugsync-site。

HDFS

針對HDFS寫入時無可用DataNode節點的異常，列印對應DataNode異常資訊（HDFS-9023）。

Hue

• 支援Gateway叢集安裝Hue組件。

• 支援在單個節點部署多個Hue執行個體。

DataFactory

支援Delta 0.6.0版本。

Druid

升級至0.18.0版本。

Knox

• 升級至1.1.0-1.0.7版本。

• 適配HBase UI。

版本

日期

EMR-3.27.0

2020年4月29日

EMR-3.27.1（不支援新購）

2020年5月8日

EMR-3.27.2（不支援新購）

2020年5月20日

功能

變更點

組件自訂部署

支援對Master節點上的組件進行自訂部署，目前支援以下組件：

• Hadoop

• Spark

• Hive

• Zookeeper

• Presto

Auto Scaling功能支援優雅下線

開啟優雅下線後，節點不會被立即釋放，而是在設定的時間段內等待任務執行完成後釋放。

服務

變更點

Spark

• CUBE中支援日期類型分區欄位。

• 調大Spark-Submit的stack深度。

Delta

• DDL相關文法增強，包括CREATE、SHOW、DESCRIBE等相關命令。

• 支援帶ZOrder的Optimize文法。

Knox

• 適配Druid UI。

• 支援多Master部署。

Hive

• hcatalog表支援magic committer。

• 移除一些過時的預設配置。

Bigboot

• 升級至2.6.3版本。

• 支援多Master部署。

SmartData

• 升級至2.6.3版本。

• 支援多Master部署。

Ranger

• 支援Solr組件。

• 支援PrestoSQL 311版本。

Tez

支援scratchdir設定在OSS上。

Presto

升級至331版本。

Druid

升級至0.17.1版本。

Superset

升級至0.35.2版本。

Sqoop

• MySql JDBC JAR包升級至5.1.48版本。

• MySql direct匯出模式支援通過--mysql-charset設定自訂編碼。

版本

日期

EMR-3.26.3（不支援新購）

2020年4月16日

服務

變更點

Bigboot

• 升級到2.6.3版本。

• 支援OTS中繼資料和Namespace HA。

SmartData

Hive

hcatalog表支援direct committer。

YARN

配置預設的committer為JindoOssCommitter。

HDFS

升級JindoFS相關配置。

Spark

配置預設的committer為JindoOssCommitter。

服務

變更點

Ranger

• 初始化HA叢集RangerAdmin資料庫。

• 修複RangerUserSync啟動指令碼時的安全性問題。

Spark

• 支援在控制台配置spark.sql.extensions等Delta相關參數。

• 支援Hive讀取Delta table，避免set inputformat。

• 支援ALTER TABLE SET TBLPROPERTIES和UNSET TBLPROPERTIES語句。

Delta

Hive

修複自動LOCAL模式下MR任務執行失敗的問題。

Presto

• 升級至310版本。

• 升級joda-time版本至2.10.5。

Tez

• 升級至0.9.2版本。

• 修複tez-ui application進度無法正常顯示的問題。

• 修複tez-ui application history無法查看的問題。

Impala

修複Impala無法訪問lzo表的問題。

HDFS

移除mongo-hadoop的相關JAR包。

Zookeeper

升級至3.5.6版本。

YARN

適配tez-ui，yarn-site頁簽支援添加配置項yarn.resourcemanager.system-metrics-publisher.enabled=true。

Bigboot

• 升級至2.2.3版本。

• OSS Cache模式下支援rename操作。

SmartData

Knox

升級依賴包版本。

Oozie

升級依賴包版本。

服務

變更點

Delta

• 支援SQL文法，包括ALTER、CONVERT、CREATE、CTAS、DELETE、DESC、INSERT、MERGE、OPTIMIZE、UPDATE和VACUUM。

• 內建並最佳化Optimize。

• 支援Hive connector。

• 支援其他開源已有特性。

Grafana

新增組件（Flink獨立叢集），版本6.4.2。

Prometheus

新增組件（Flink獨立叢集），版本2.13.0。

AlertManager

新增組件（Flink獨立叢集），版本0.19.0。

TensorFlow on spark

• 支援TensorFlow架構置於Spark之上，使得Spark與深度學習架構深度結合，包括了任務調度和資料交換最佳化方案等，為您提供從資料預先處理到深度學習訓練任務的一整套流程。

• 支援Streaming類型任務。

服務

變更點

SmartData

• 最佳化JindoFS使用模式：Block模式使用方式不變；Cache模式不僅支援原有用法，還相容了原有OSS檔案系統的使用方式，支援資料緩衝和中繼資料快取，並可以通過配置分別控制開關（預設均關閉）。

• 最佳化Block模式和Cache模式讀寫效能。

• 最佳化磁碟清理，對本地磁碟上緩衝的熱資料實現更精確的統計和更及時的清理，並且能夠嚴格保證磁碟使用率不會超過配額。

• 完善對Gateway叢集的支援，能夠在Gateway上使用Block模式和Cache模式。

• 支援一個儲存叢集與多個計算叢集分離的部署方式。

Spark

• 增加Delta相關參數支援。

• 增加對Ranger spark plugin配置的支援。

• JindoCube升級到0.3.0版本。

Hive

• 增加SQL相容性檢查功能邏輯。

• Hive2.3.5+Hadoop2.8.5組合發布。

• 重啟組件時不同步hiveserver2-site.xml中的內容至spark-conf下的hive-site.xml。

• 支援使用MSCK命令添加增量目錄。

• 修複Hive複用tez container時出現的bug。

• 支援使用MSCK命令最佳化列目錄。

Bigboot

升級至2.2.1，修複Native代碼支援在部分機型上的問題。

Ranger

• Spark plugin部署方式重構。

• 修複HA叢集header2沒有擷取keytab的bug。

Kudu

修複啟動邏輯。

Zookeeper

增加四字命令配置，預設開啟。

HDFS

適配JindoFS。

YARN

• 修改預設配置yarn.scheduler.capacity.node-locality-delay為-1。

• 適配JindoFS。

Has

對接OpenLDAP做後端。

OpenLDAP

適配Has。

Presto

升級版本到0.228。

Kafka

移除D1壞盤。

Druid

升級至0.16.0。

Flume

升級至1.9.0。

Flink

• 升級至1.9.1。

• 支援Flink獨立叢集（白名單發布）。

服務

變更點

Druid

• 升級至0.15.1。

• 增加router組件。

• 升級fastjson。

Spark

• 更新spark thriftserver，解決class loader問題。

• 重構spark事務相關代碼，提升穩定性。

• 解決升builtin hive至2.3版本後orc格式讀寫問題。

• 支援merge into文法。

• 支援scan和stream文法。

• Structured Streaming Kafka sink支援EOS。

• delta更新至0.4.0。

Hive

• 刪除老版本的hive hook。

• 添加支援多個count distinct欄位的資料扭曲處理最佳化。

• 解決join不同bucketversion的表時丟資料的問題。

Flink

升級至1.8.2。

Bigboot

• 更新小檔案工具。

• 更新OSS JAR，解決非daemon線程問題。

Kafka

• 新增感知Deployment Set特性。

• 去掉fastjson依賴。

HDFS

• 最佳化SmartData OSS JAR包部署邏輯。

• 更新SmartData OSS JAR包。

Flume

升級fastjson。

Tensorflow on Spark

新增服務。

Has

升級fastjson。

Livy

升級fastjson。

服務

變更點

Kudu

• 新增組件，Kudu填補Hadoop生態圈的功能空白，可提供類似HBase快速資料插入以及隨機存取的功能，允許使用者進行資料修改，同時還提供類似HDFS或Parquet超大規模的資料分析以及查詢的功能。

  • 提供C++和Java API，以便使用者進行二次開發。

  • 提供Impala、Spark以及Hive Metastore的整合。

• Kudu版本基於開源社區Apache Kudu1.10.0版本。

OpenLDAP

• 新增組件，取代ApacheDS，ApacheDS下線。

• 高可用。

組件

詳細資料

JindoFileSystem

• 多種儲存模式

  • Block模式：資料以Block形式儲存在後端儲存OSS上，本地Namespace服務維護中繼資料資訊。在中繼資料效能和資料效能上，Block模式較優。Block模式支援不同的儲存策略，包括WARM儲存策略（本地-副本，OSS-副本）、COLD（僅OSS-副本）、 HOT（本地多副本、OSS-副本）、TEMP（僅本地-副本）和ALL_HDD（本地多副本），預設為WARM，使用者可以根據不同的應用情境對目錄設定不同的儲存策略。

  • Cache模式： 該模式主要相容現有OSS儲存方式。在Cache模式下，檔案以對象的形式儲存在OSS上，每個檔案根據實際訪問情況會在本地進行資料和中繼資料的緩衝，從而提高訪問資料以及中繼資料的效能。Cache模式提供不同中繼資料同步策略以滿足使用者在不同情境下的需求。

• 外部客戶端支援

  • 用戶端SDK提供了E-MapReduce叢集外訪問E-MapReduce JindoFS 的檔案系統的能力，通過用戶端可以訪問Block模式的Namespace，但外部客戶端不能利用到E-MapReduce JindoFS在E-MapReduce叢集內部構建的資料緩衝，效能上相對於E-MapReduce叢集內部使用也有一定的差距。

  • Cache模式則保留了原有OSS儲存的語義，通過JindoFS在E-MapReduce叢集內部實現了資料緩衝加速，因此，E-MapReduce 叢集外部可以直接通過OSS用戶端訪問資料，例如，OSS SDK或者E-MapReduce的OssFileSystem等。

• 生態組件支援

  • JindoFS目前已經支援E-MapReduce上的眾多計算引擎，例如，Spark、Flink、Hive、MapReduce、Impala和Presto等。

  • 針對計算和儲存分離的情境，也可以把作業日誌儲存在JindoFS上，例如，YARN Container log和Spark Event log。

  • JindoFS可以作為HBase的HFile後端儲存，擴充HBase的儲存能力。

OssFileSystem

• OssFileSystem增加自動檢測壞盤邏輯，修複OSS寫入時，由於坏盤導致緩衝寫入失敗的問題。

• 補全OssFileSystem相關配置。

Bigboot

• 升級到2.0.0版本。

• 包括多Namespace支援、本機資料塊以大檔案形式儲存、多模儲存支援和外部客戶端支援等多項重大更新。

• 解決機器重啟過程中Bigboot monitor狀態不正確問題。

• 增加Kudu組件的服務spec。

• 增加各個服務spec的正確性檢驗。

Hadoop

• HDFS

  • HDFS Federation適配，支援通過自訂配置和API建立HDFS Federation叢集，避免建立Federation叢集時的二次Format。

  • 最佳化壞盤檢測邏輯，針對本地碟情境，可以通過dfsadmin觸發DataNode blockreport時進行壞盤檢測。

• YARN

  修複MR作業Container日誌存在JindoFS或OSS時， MapReduce JobHistory作業列表不更新的問題。

Spark

• Relational Cache

  支援Relational Cache，Relational Cache通過預計算加速使用者查詢。使用者可以建立Relational Cache對資料進行預計算，在執行使用者查詢時，Spark Optimizer自動探索合適的Cache，並改寫SQL執行計畫，基於Cache的資料繼續計算，從而提升查詢速度，適用於報表、Dashboard、資料同步和多維分析等情境。

  • 通過DDL，進行CACHE、UNCACHE、ALTER、SHOW等操作，Cache的資料支援Spark的所有資料來源和資料格式。

  • 支援自動的Cache資料更新以及通過REFRESH命令更新Cache資料，支援基於分區的累加式更新。

  • 支援基於Relational Cache的執行計畫最佳化。

• Streaming SQL

  • 規範Stream Query Writer的參數配置。

  • 最佳化Kafka資料表Schema相容性檢查。

  • Kafka資料表Schema不存在時自動建立到SchemaRegistry。

  • 最佳化Kafka Schema不相容時的日誌資訊。

  • 修複查詢結果寫Kafka表時必須顯式指定列名的問題。

  • 去掉流式SQL查詢只支援Kafka和Loghub資料輸入源的限制。

• Delta

  新增Delta，使用者可使用Spark建立Delta datasource，以支援流式資料寫入、事務性讀寫、資料校正和資料回溯等應用情境。詳情請參見Delta詳細資料。

  • 支援使用DataFrame API從Delta讀取資料或者寫入資料到Delta。

  • 支援使用Structured Streaming API以Delta作為source或者sink進行資料的讀或寫。

  • 支援使用Delta API對資料進行update、delete、merge、vacuum、optimize等操作。

  • 支援使用SQL建立基於Delta的表、匯入資料到Delta和讀取Delta表等操作。

• Others

  • constraint feature，支援主鍵和外鍵。

  • 解決servlet等jar衝突問題。

Flink

log4j日誌復原。

Kafka

• log4j日誌復原。

• 升級fastjson。

Zeppelin

升級依賴的commons-lang3包到3.7版本，修複pyspark無法寫OSS的問題，詳情請參見Spark 2.4 incompatibility with commons-lang3 in Zeppelin。

Ranger

增加Show grants支援。

Analytics-Zoo

修複NumPy安裝錯誤問題。

Impala

相容Apache Kudu 1.10.0版本。

Presto

升級到0.221版本。

ZooKeeper

升級到3.5.5版本。