本文介绍EMR-3.36.x版本的发布日期、更新内容和发行版本信息。

发布日期

EMR-3.36.1 2021年7月16日

更新内容

服务 变更点
SmartData 升级SmartData至3.6.1版本。

版本详情，请参见SmartData 3.6.x版本简介。

Hive
  • 升级Hive至2.3.8版本。
  • 修复使用DLF（DataLakeFormation）元数据执行show create table命令时，结果显示不正确的问题。
  • 优化Hive默认参数，以提升作业性能。
  • 修改E-MapReduce控制台上，Hive服务配置页面的hive-env页签的配置项名称为大写，便于用户使用。
  • 优化文件系统与MetaStore不一致时写Hive表的报错信息。
HDFS 支持ZSTD（Zstandard）压缩格式。
Flink 升级Flink至1.12-vvr-3.0.2版本。
说明 Hadoop集群中的Flink已移除。
Hudi
  • 升级Hudi至0.8.0版本。
  • 支持和Spark SQL集成。
Spark
  • 优化E-MapReduce控制台上，Spark服务配置页面的spark-defaults页签的配置项名称。
  • 优化输出日志性能。
  • 支持ZSTD（Zstandard）压缩格式。
Impala 修复使用HDFS时报错提示Core Dump的问题。
Tez 优化Tez默认参数，以提升作业性能。
Knox
  • 适配Kudu组件。
  • 适配Impala组件。
  • 适配Hbase组件。
Phoenix 修复Hive和Spark SQL访问Phoenix表时，报未找到JDBC Driver的问题。
ClickHouse 上线APM监控报警。

发行版本信息

服务 版本
HDFS 2.8.5
YARN 2.8.5
Hive 2.3.8
Spark 2.4.7
Knox 1.1.0
Tez 0.9.2
Ganglia 3.7.2
Sqoop 1.4.7
SmartData 3.6.1
Bigboot 3.6.1
Hudi 0.8.0
OpenLDAP 2.4.44
Hue 4.9.0
HBase 1.4.9
Zookeeper 3.6.2
Presto 338
Impala 3.4.0
Zeppelin 0.9.0
Flume 1.9.0
Livy 0.7.1
Superset 0.36.0
Ranger 1.2.0
Storm 1.2.2
Phoenix 4.14.1
ESS 1.0.0
Alluxio 2.5.0
Kudu 1.10.0
Oozie 5.2.1
服务 版本
HDFS 2.8.5
Druid 0.20.1
Zookeeper 3.6.2
Knox 1.1.0
Ganglia 3.7.2
SmartData 3.6.1
Bigboot 3.6.1
OpenLDAP 2.4.44
YARN 2.8.5
Superset 0.36.0
服务 版本
HDFS 2.8.5
YARN 2.8.5
Zookeeper 3.6.2
Knox 1.1.0
Flink 1.12-vvr-3.0.2
OpenLDAP 2.4.44
服务 版本
Zookeeper 3.6.2
Ganglia 3.7.2
Kafka 1.1.1
Kafka-Manager 1.3.3.16
OpenLDAP 2.4.44
Knox 1.1.0
Ranger 1.2.0
服务 版本
Zookeeper 3.6.2
Ganglia 3.7.2
Clickhouse 20.8.12.2