全部产品
Search
文档中心

开源大数据平台E-MapReduce:EMR-3.39.x版本说明

更新时间:Apr 27, 2023

本文介绍EMR-3.39.x版本的发布日期、更新内容和发行版本信息。

发布日期

版本

日期

EMR-3.39.2

2022年3月25日

EMR-3.39.1

2022年2月15日

更新内容

EMR-3.39.2

说明

新版控制台的OLAP集群和DataFlow集群支持该版本。

服务

变更点

Flink

  • 完善APM监控大盘,新增了部分监控指标。例如,sourceIdleTime。

  • 支持云监控报警。

Kafka

  • 支持SSL和SASL配置。

  • 修改了部分参数的默认值。

Clickhouse

修改了部分参数的默认值。

EMR-3.39.1

服务

变更点

SmartData

组件下线。

BIGBOOT

RSS

  • 升级ESS服务为RSS,文档详情请参见RSS

  • 增强了服务的功能和稳定性。

JindoSDK

  • 升级架构为JindoData。

  • EMR首次集成JindoSDK 4.0,支持OSS和OSS-HDFS服务等。

Spark

  • 优化了Hive on Spark。

  • 适配JindoSDK。

Tez

适配JindoSDK。

Hive

适配JindoSDK。

Presto

  • 支持UDF动态加载功能。

  • Delta Lake表支持for ... as of语法的Time Travel查询。

  • 增加独立的Delta Lake Catalog,提供默认的Delta连接器配置,并支持基于独立Catalog的ZOrder Dataskip优化。

  • 修复了Hudi连接器无法查询Hudi MOR表的问题,Hive连接器暂不支持查询Hudi MOR表。

  • 适配JindoSDK。

Delta Lake

  • 元数据管理

    • 使用Spark内置Catalog替代Hive CLI API同步元数据及分区信息。

    • 自动上报表的统计信息(dataProfiling)到MetaStore。

  • SQL

    • 支持Time Travel语法。

    • 支持DropPartition SQL语法。

    • 支持指定位置(FIRST和AFTER)的ADD COLUMN操作。

  • 表管理能力增强

    • 支持并默认开启可以根据表大小动态调整filesize。

    • 支持并默认开启自动Vacuum,支持并发Vacuum。

    • 优化了自动Compaction的逻辑,默认关闭。

    • 新增Zorder语法,并加速了Zorder的处理过程。

Hudi

升级至0.10.0版本。

HDFS

适配JindoSDK。

YARN

适配JindoSDK。

Flume

适配JindoSDK。

Flink

  • 默认将Flink的lib目录上传到HDFS集群,方便用户通过yarn.provided.lib.dirs参数使用。

  • 适配JindoSDK。

Impala

适配JindoSDK。

Ranger

  • 修复Spark History Server启动失败的问题。

  • 适配JindoSDK。

HBase

  • 修复了默认参数存在的问题。

  • 修复了GC日志日期格式问题。

  • 修复了RS使用IP时存在的重启问题。

Druid

适配JindoSDK。

Clickhouse

优化了ClickHouse组件Stop时的处理逻辑。

Iceberg

  • 升级至0.13.0版本。

  • 隐藏默认配置项,提升用户使用体验。

DLF-Auth

修复了Spark History Server启动失败的问题。

StarRocks

新版控制台新增服务。

2.0.1版本上线。

发行版本信息

说明

OLAP集群需要在新版控制台查看。

Hadoop集群

服务

版本

HDFS

2.8.5

YARN

2.8.5

Hive

2.3.9

Spark

2.4.8

Knox

1.1.0

Tez

0.9.2

Ganglia

3.7.2

Sqoop

1.4.7

Iceberg

0.13.0

DLF-Auth

1.0.4

Hudi

0.10.0

DeltaLake

0.6.1

OpenLDAP

2.4.44

Hue

4.9.0

JindoSDK

4.0.0

Spark

3.2.0

HBase

1.4.9

Zookeeper

3.6.3

Presto

358

Impala

3.4.0

Zeppelin

0.10.2

Flume

1.9.0

Livy

0.7.1

Superset

0.36.0

Ranger

1.2.0

Phoenix

4.14.1

RSS

1.0.0

Alluxio

2.5.0

Kudu

1.14.0

Oozie

5.2.1

Druid集群

服务

版本

HDFS

2.8.5

Druid

0.20.1

Zookeeper

3.6.3

Knox

1.1.0

Ganglia

3.7.2

OpenLDAP

2.4.44

JindoSDK

4.0.0

YARN

2.8.5

Superset

0.36.0

Dataflow集群

服务

版本

HDFS

2.8.5

YARN

2.8.5

Zookeeper

3.6.3

Knox

1.1.0

Flink

1.13-vvr-4.0.11

OpenLDAP

2.4.44

JindoSDK

4.0.0

Ganglia

3.7.2

Kafka

1.1.1

Kafka-Manager

1.3.3.16

ClickHouse集群

服务

版本

Zookeeper

3.6.3

Ganglia

3.7.2

Clickhouse

20.8.12.2

Presto集群

服务

版本

Knox

1.1.0

Presto

358

Ganglia

3.7.2

Iceberg

0.13.0

Hudi

0.10.0

DeltaLake

0.6.1

OpenLDAP

2.4.44

Hue

4.9.0

JindoSDK

4.0.0

Alluxio

2.5.0

OLAP集群

服务

版本

ClickHouse

20.8.12.2.2.17

StarRocks

2.0.1

Zookeeper

3.6.3