本文介绍EMR-5.3.x版本的发布日期、更新内容和发行版本信息。

发布日期

版本 日期
EMR-5.3.1 2021年9月
EMR-5.3.0 2021年8月

更新内容

  • EMR-5.3.1
    服务 变更点
    SmartData 升级SmartData至3.7.1版本。
    Hue 修复了高安全集群无法使用Impala的问题。
    Kudu 支持Kerberos。
    HBase
    • 修复了高安全集群重启HBase耗时过长的问题。
    • 修复了Spark 3.1.1版本与HBase集成使用时失败的问题。
    • 优化了Graceful Stop流程。
  • EMR-5.3.0
    服务 变更点
    SmartData 升级SmartData至3.7.0版本。
    Spark 修复了与Delta Lake兼容性的问题。
    Hive Hive on JindoFS(Block模式)支持批量元数据优化功能。

    默认未开启此功能。

    DeltaLake
    • 支持DeltaLake的分区特性。
    • 修复了desc detail命令和Spark 3.1.1版本不兼容的问题。
    YARN
    • 节点Containers REST API增加了appId,CPU和Memory资源使用信息。
    • 修复了弹性伸缩释放节点上AM日志无法查看的问题。
    • 修复了State Store历史数据造成集群不可用的问题。
    • 支持弹性伸缩Decommission后清理释放的节点。
    • 完善了弹性伸缩Graceful Decommission的操作逻辑,待NM进程结束后再标记下线完成。
    Zookeeper 升级至社区3.6.3版本。
    Flink
    • 新增了SmartData组件。
    • 修复了SSH到DataFlow-Flink集群中提交作业时,无法免密访问OSS的问题。
    Impala 修复了直接删除OSS分区目录出现list目录循环的问题。
    Hue 修复了Hue与Oozie集成使用时界面显示的问题。
    Kudu 升级至社区1.14.0版本。
    Clickhouse 组件版本为21.3.13.9。
    Iceberg 新增Iceberg组件,组件版本为0.12.0。

发行版本信息

服务 版本
HDFS 3.2.1
YARN 3.2.1
Hive 3.1.2
Spark 3.1.1
Knox 1.1.0
Tez 0.9.2
Ganglia 3.7.2
Sqoop 1.4.7
SmartData
EMR-5.3.0版本:3.7.0
EMR-5.3.1版本:3.7.1
Bigboot
Iceberg 0.12.0
Hudi 0.8.0
DeltaLake 0.8.0
OpenLDAP 2.4.44
Hue 4.9.0
HBase 2.3.4
Zookeeper 3.6.3
Presto 338
Impala 3.4.0
Zeppelin 0.9.0
Flume 1.9.0
Livy 0.7.1
Superset 0.36.0
Ranger 2.1.0
Storm 1.2.2
ESS 1.2.0
Alluxio 2.5.0
Kudu 1.14.0
Oozie 5.2.1
服务 版本
Zookeeper 3.6.3
Ganglia 3.7.2
ClickHouse 21.3.13.9
服务 版本
ESS 1.2.0
服务 版本
Zookeeper 3.6.3
Ganglia 3.7.2
Kafka 2.4.1
Kafka-Manager 1.3.3.16
OpenLDAP 2.4.44
knox 1.1.0
Ranger 2.1.0