本文介绍EMR-5.3.x版本的发布日期、更新内容和发行版本信息。
发布日期
版本 | 日期 |
---|---|
EMR-5.3.1 | 2021年9月 |
EMR-5.3.0 | 2021年8月 |
更新内容
- EMR-5.3.1
服务 变更点 SmartData 升级SmartData至3.7.1版本。 Hue 修复了高安全集群无法使用Impala的问题。 Kudu 支持Kerberos。 HBase - 修复了高安全集群重启HBase耗时过长的问题。
- 修复了Spark 3.1.1版本与HBase集成使用时失败的问题。
- 优化了Graceful Stop流程。
- EMR-5.3.0
服务 变更点 SmartData 升级SmartData至3.7.0版本。 Spark 修复了与Delta Lake兼容性的问题。 Hive Hive on JindoFS(Block模式)支持批量元数据优化功能。 默认未开启此功能。
DeltaLake - 支持DeltaLake的分区特性。
- 修复了
desc detail
命令和Spark 3.1.1版本不兼容的问题。
YARN - 节点Containers REST API增加了appId,CPU和Memory资源使用信息。
- 修复了弹性伸缩释放节点上AM日志无法查看的问题。
- 修复了State Store历史数据造成集群不可用的问题。
- 支持弹性伸缩Decommission后清理释放的节点。
- 完善了弹性伸缩Graceful Decommission的操作逻辑,待NM进程结束后再标记下线完成。
Zookeeper 升级至社区3.6.3版本。 Flink - 新增了SmartData组件。
- 修复了SSH到DataFlow-Flink集群中提交作业时,无法免密访问OSS的问题。
Impala 修复了直接删除OSS分区目录出现list目录循环的问题。 Hue 修复了Hue与Oozie集成使用时界面显示的问题。 Kudu 升级至社区1.14.0版本。 Clickhouse 组件版本为21.3.13.9。 Iceberg 新增Iceberg组件,组件版本为0.12.0。
发行版本信息
服务 | 版本 |
---|---|
HDFS | 3.2.1 |
YARN | 3.2.1 |
Hive | 3.1.2 |
Spark | 3.1.1 |
Knox | 1.1.0 |
Tez | 0.9.2 |
Ganglia | 3.7.2 |
Sqoop | 1.4.7 |
SmartData |
EMR-5.3.0版本:3.7.0
EMR-5.3.1版本:3.7.1
|
Bigboot | |
Iceberg | 0.12.0 |
Hudi | 0.8.0 |
DeltaLake | 0.8.0 |
OpenLDAP | 2.4.44 |
Hue | 4.9.0 |
HBase | 2.3.4 |
Zookeeper | 3.6.3 |
Presto | 338 |
Impala | 3.4.0 |
Zeppelin | 0.9.0 |
Flume | 1.9.0 |
Livy | 0.7.1 |
Superset | 0.36.0 |
Ranger | 2.1.0 |
Storm | 1.2.2 |
ESS | 1.2.0 |
Alluxio | 2.5.0 |
Kudu | 1.14.0 |
Oozie | 5.2.1 |
服务 | 版本 |
---|---|
Zookeeper | 3.6.3 |
Ganglia | 3.7.2 |
ClickHouse | 21.3.13.9 |
服务 | 版本 |
---|---|
ESS | 1.2.0 |
服务 | 版本 |
---|---|
Zookeeper | 3.6.3 |
Ganglia | 3.7.2 |
Kafka | 2.4.1 |
Kafka-Manager | 1.3.3.16 |
OpenLDAP | 2.4.44 |
knox | 1.1.0 |
Ranger | 2.1.0 |