全部产品
Search
文档中心

开源大数据平台E-MapReduce:EMR-5.8.x版本说明

更新时间:Apr 27, 2023

本文介绍EMR-5.8.x版本的发布日期、更新内容和发行版本信息。

发布日期

EMR-5.8.0 2022年8月5日

更新内容

服务

变更点

Spark

支持一键对接LDAP。

Hive

支持一键对接LDAP。

Presto

  • 升级至社区389版本。

    使用社区提供的Delta Lake和Hudi独立连接器。

    • 此版本Delta Lake连接器暂不支持Time Travel和Z-Order。

    • 此版本Hudi连接器暂不支持查询MOR表。

  • 支持一键对接LDAP。

DeltaLake

  • 对接了DLF自动化湖表管理。

  • 修复了CTAS场景不能自动同步分区信息的问题。

  • 支持optimize和vacuum命令返回指标信息。

Hudi

升级至0.11.1版本。

HadoopCommon

新增组件,解决了HDFS、YARN和JindoSDK配置相互覆盖的问题。

YARN

弹性功能增强。

Ranger

  • 同时支持Spark2和Spark3。

  • 支持Ranger Usersync一键对接LDAP。

Kafka

新增组件,版本为2.12-2.4.1。

HBase

新增组件,版本为2.3.4。

Phoenix

新增组件,版本为5.1.2。

Doris

升级至1.1.1版本。

StarRocks

  • 升级至2.3.0版本。

  • 主键模型支持完整的DELETE WHERE语法、支持持久化主键索引以降低内存使用等,详细信息请参见StarRocks version 2.3

ClickHouse

  • 升级为22.3.8.39版本。

  • 修复了读OSS大文件时内存溢出的问题。

发行版本信息

DataLake集群

服务

版本

HDFS

3.2.1

YARN

3.2.1

Hive

3.1.3

Spark2

2.4.8

Spark3

3.2.1

TEZ

0.10.1

Presto

389

DeltaLake

1.1.0

Hudi

0.11.1

Iceberg

0.13.1

JindoData

4.4.2

Kyuubi

1.5.2

Knox

1.5.0

Impala

3.4.0

OpenLDAP

2.4.44

Ranger

2.1.0

Sqoop

1.4.7

DLF-Auth

2.0.0

Zookeeper

3.6.3

RSS

0.1.1

OLAP集群

组件

版本

Zookeeper

3.6.3

ClickHouse

22.3.8.39

Doris

1.1.1

StarRocks

2.3.0

DataFlow集群

组件

版本

HDFS

3.2.1

YARN

3.2.1

Knox

1.5.0

OpenLDAP

2.4.44

Zookeeper

3.6.3

Flink

1.13-vvr-4.0.13

Kafka

2.12-2.4.1

Kafka-Manager

2.0.0.2

DataServing集群

组件

版本

HDFS

3.2.1

JindoData

4.4.2

Zookeeper

3.6.3

HBase

2.3.4

Phoenix

5.1.2