全部产品
Search
文档中心

开源大数据平台E-MapReduce:EMR-5.4.x版本说明

更新时间:Apr 27, 2023

本文介绍EMR-5.4.x版本的发布日期、更新内容和发行版本信息。

发布日期

版本

日期

EMR-5.4.3

2021年12月

EMR-5.4.2

2021年12月

EMR-5.4.1

2021年11月

EMR-5.4.0

2021年10月

更新内容

EMR-5.4.3

修复了所有相关组件的Log4j安全漏洞,详细信息请参见漏洞公告 | Apache Log4j2远程代码执行漏洞

服务

变更点

Presto

修复了Elasticsearch连接器的Log4j漏洞。

DLF Metastore

  • 将Metastore log默认开启改为关闭。

  • 修复了Metastore gettablestats URI超长出错的问题。

Delta Lake

修复了变更Schema同步到Metastore的问题。

Sqoop

修复了Sqoop导入HCatalog表时,Decimal类型精度丢失的问题。

EMR-5.4.2

服务

变更点

SmartData

  • 升级SmartData至3.8.0版本,详情请参见SmartData 3.8.x版本简介

  • 支持OSS基于Kerberos和Ranger的认证和授权管理。

EMR-5.4.1

服务

变更点

SmartData

升级SmartData至3.7.3版本,详情请参见SmartData 3.7.x版本简介

Oozie

修复了HA情况下Oozie的Jetty Server依赖JAR包冲突,导致Jetty Server无法启动的问题。

Impala

修复了查询DLF元数据表时提示no such method error的问题。

DLF-Auth

升级DLF-Auth至1.0.1版本。

EMR-5.4.0

服务

变更点

SmartData

升级SmartData至3.7.2版本,详情请参见SmartData 3.7.x版本简介

Spark

  • 升级Spark至3.1.2版本。

  • Spark 3.x系列,SparkSQL优化了Distinct计算性能,即当聚合算子中包含多个count(distinct case ... when ...)时会触发优化功能。

  • 修复了AQE在Stats缺失情况下数组越界的问题。

  • 修复了AQE和Cache在特定场景下报错的问题。

Hive

Hive on JindoFS(Block)支持批量元数据优化功能,默认未开启。

Presto

Delta表支持StorageHandler查询。

DeltaLake

  • 升级DeltaLake至1.0.0版本。

  • 统一Hive 2和Hive 3的delta-connectors。

  • 修复了delta-connectors查询多级分区表时的报错问题。

  • 支持多个功能的SQL语法。例如,DataSkipping、Optimize和Zorder。

  • 支持同步Meta到MetaStore。

Hudi

  • 升级Hudi至0.9.0版本。

  • 修复了DeltaLake和Hudi的sql.extension的兼容性问题。

说明

支持Spark 3.1.2版本。

HDFS

NameNode预留空间默认参数自适应增加,保证磁盘空间不足时, NameNode及时进入SafeMode。

Storm

组件下线。

Zeppelin

升级Zeppelin至社区0.10.0版本。

Hue

  • 修复YARN Job Browser在部分情况下无法正常展示和终止作业的问题。

  • 默认配置中放开YARN Job Browser。

  • 默认配置中支持Presto协议。

Druid

修复了服务器掉电时Pid文件残留,导致节点重启失败的问题。

ClickHouse

  • 更新了默认配置。

  • 支持集群扩容。

  • 支持MetaChecker功能。

  • 支持OSS表引擎和OSS表函数读数据。

Iceberg

  • 升级Iceberg至0.12.0-1.0.1版本。

  • 修改了Hive Runtime依赖报错问题。

Knox

修复了Spark Task第一次访问时失败的问题。

DLF-Auth

新增组件。

支持DLF权限,可以控制Hive和Spark权限。版本为1.0.0。

发行版本信

Hadoop集群

服务

版本

HDFS

3.2.1

YARN

3.2.1

Hive

3.1.2

Spark

3.1.2

Knox

1.1.0

Tez

0.9.2

Ganglia

3.7.2

Sqoop

1.4.7

SmartData

EMR-5.4.0版本:3.7.2

EMR-5.4.1版本:3.7.3

EMR-5.4.2版本:3.8.0

Bigboot

Iceberg

0.12.0

DLF-Auth

1.0.0

Hudi

0.9.0

DeltaLake

1.0.0

OpenLDAP

2.4.44

Hue

4.9.0

HBase

2.3.4

Zookeeper

3.6.3

Presto

338

Impala

3.4.0

Zeppelin

0.10.0

Flume

1.9.0

Livy

0.7.1

Superset

0.36.0

Ranger

2.1.0

ESS

1.2.0

Alluxio

2.5.0

Kudu

1.14.0

Oozie

5.2.1

Kafka集群

服务

版本

Zookeeper

3.6.3

Ganglia

3.7.2

Kafka

2.4.1

Kafka-Manager

1.3.3.16

OpenLDAP

2.4.44

knox

1.1.0

Ranger

2.1.0

ClickHouse集群

服务

版本

Zookeeper

3.6.3

Ganglia

3.7.2

Clickhouse

21.3.13.9