本文介绍EMR-5.8.x版本的发布日期、更新内容和发行版本信息。

发布日期

EMR-5.8.0 2022年8月5日

更新内容

服务 变更点
Spark 支持一键对接LDAP。
Hive 支持一键对接LDAP。
Presto
  • 升级至社区389版本。
    使用社区提供的Delta Lake和Hudi独立连接器。
    • 此版本Delta Lake连接器暂不支持Time Travel和Z-Order。
    • 此版本Hudi连接器暂不支持查询MOR表。
  • 支持一键对接LDAP。
DeltaLake
  • 对接了DLF自动化湖表管理。
  • 修复了CTAS场景不能自动同步分区信息的问题。
  • 支持optimize和vacuum命令返回指标信息。
Hudi 升级至0.11.1版本。
HadoopCommon 新增组件,解决了HDFS、YARN和JindoSDK配置相互覆盖的问题。
YARN 弹性功能增强。
Ranger
  • 同时支持Spark2和Spark3。
  • 支持Ranger Usersync一键对接LDAP。
Kafka 新增组件,版本为2.12-2.4.1。
HBase 新增组件,版本为2.3.4。
Phoenix 新增组件,版本为5.1.2。
Doris 升级至1.1.1版本。
StarRocks
  • 升级至2.3.0版本。
  • 主键模型支持完整的DELETE WHERE语法、支持持久化主键索引以降低内存使用等。
ClickHouse
  • 升级为22.3.8.39版本。
  • 修复了读OSS大文件时内存溢出的问题。

发行版本信息

组件
版本
HDFS 3.2.1
YARN 3.2.1
Hive 3.1.3
Spark2 2.4.8
Spark3 3.2.1
TEZ 0.10.1
Presto 389
DeltaLake 1.1.0
Hudi 0.11.1
Iceberg 0.13.1
JindoData 4.4.2
Kyuubi 1.5.2
Knox 1.5.0
Impala 3.4.0
OpenLDAP 2.4.44
Ranger 2.1.0
Sqoop 1.4.7
DLF-Auth 2.0.0
Zookeeper 3.6.3
RSS 0.1.1
组件
版本
Zookeeper 3.6.3
ClickHouse 22.3.8.39
Doris 1.1.1
StarRocks 2.3.0
组件
版本
HDFS 3.2.1
YARN 3.2.1
Knox 1.5.0
OpenLDAP 2.4.44
Zookeeper 3.6.3
Flink 1.13-vvr-4.0.13
Kafka 2.12-2.4.1
Kafka-Manager 2.0.0.2
组件
版本
HDFS 3.2.1
JindoData 4.4.2
Zookeeper 3.6.3
HBase 2.3.4
Phoenix 5.1.2