本文介绍EMR-3.38.x版本的发布日期、更新内容和发行版本信息。
发布日期
版本 | 日期 |
---|---|
EMR-3.38.3 | 2021年12月 |
EMR-3.38.2 | 2021年12月 |
EMR-3.38.1 | 2021年11月 |
EMR-3.38.0 | 2021年10月 |
更新内容
- EMR-3.38.3
修复了所有相关组件的Log4j安全漏洞,详细信息请参见漏洞公告 | Apache Log4j2远程代码执行漏洞。
服务 变更点 Presto - 修复了高可用集群Presto查询Hudi表报错的问题。
- 修复了Elasticsearch连接器的Log4j漏洞。
DLF Metastore - 将Metastore log默认开启改为关闭。
- 修复了Metastore gettablestats URI超长出错的问题。
Delta Lake 修复了变更Schema同步到Metastore的问题。 Flink - 升级VVR到4.0.11版本,该版本支持了如下功能:
- 发布Flink CDC商业功能:
- 支持Schema Evolution。
- 支持整库同步的Flink SQL语义。
- 支持Gemini Statebackend将State存储到OSS上。
- 发布Flink CDC商业功能:
- 提供了企业版Hudi Connector,内置DLF作为元数据管理。
Sqoop 修复了Sqoop导入HCatalog表时,Decimal类型精度丢失的问题。 - EMR-3.38.2
服务 变更点 SmartData - 升级SmartData至3.8.0版本,详情请参见SmartData 3.8.x版本简介。
- 支持OSS基于Kerberos和Ranger的认证和授权管理。
- EMR-3.38.1
服务 变更点 SmartData 升级SmartData至3.7.3版本,详情请参见SmartData 3.7.x版本简介。 Spark - 移除了无效配置Log4j MetricsAppender。
- 修复了SparkContext启动过程中空指针异常的问题。
Presto - 修复了Hadoop高可用集群,Presto需要配置host才能查询Hive表的问题。
- 修复了内存较小时,默认配置下Presto无法启动的问题。
- 修复了修改worker-jvm配置无法生效的问题。
- 支持Ranger。
Impala 修复了查询DLF元数据表时,提示 no such method error
的问题。Ranger - 支持Presto。
- 修复了Ranger Spark insert ORC和PARQUET表的权限问题。
- 修复了Ranger Hive role权限在开启Kerberos后无法生效的问题。
DLF-Auth - 升级DLF-Auth至1.0.1版本。
- 支持DLF权限,可以控制Presto权限。
- 修复了RAM用户缓存的问题。
- EMR-3.38.0
服务 变更点 SmartData 升级SmartData至3.7.2版本,详情请参见SmartData 3.7.x版本简介。 Spark - 升级Spark至2.4.8版本。
- 同时支持Spark 2.4.8和Spark 3.1.2。
说明 Spark3暂不支持Delta和Remote Shuffle Service。
- Spark 3.x系列,SparkSQL优化了Distinct计算性能,即当聚合算子中包含多个count(distinct case ... when ...)时会触发优化功能。
- 修复了AQE在Stats缺失情况下数组越界的问题。
- 修复了AQE和Cache在特定场景下报错的问题。
Hive 升级Hive至2.3.9版本。 Presto - 发布成独立的Presto集群。
- 升级Presto至社区358版本。
重要 此版本暂不支持Ranger。
- 默认支持Hudi和MySQL等连接器,并更新了默认配置。
- Presto集群支持弹性伸缩。
- 支持数据湖分析。
DeltaLake - 统一Hive 2和Hive 3的delta-connectors。
- 修复了delta-connectors查询多级分区表时的报错问题。
Hudi - 升级Hudi至0.9.0版本。
- 修复了DeltaLake和Hudi的sql.extension的兼容性问题。
HDFS NameNode预留空间默认参数自适应增加,保证磁盘空间不足时, NameNode及时进入SafeMode。 Flink - 升级Flink至1.13-vvr-4.0.10版本,对应社区Flink 1.13.1。
- 添加了商业化的Flink Connector。例如,Hologres。
- 添加了相应的Metric Reporter,对接了APM大盘的监控。
- 针对Kafka Connector,添加了基于SchemaRegistry的Kafka Catalog,支持直接读写已存在的Kafka Topic,无需DDL。
Storm 组件下线。 Zeppelin 升级Zeppelin至社区0.10.0版本。 Ranger 当Presto为社区358版本时,该版本Ranger暂不支持Presto权限控制。 Hue - 修复YARN Job Browser在部分情况下无法正常展示和终止作业的问题。
- 默认配置中放开YARN Job Browser。
- 默认配置中支持Presto协议。
Druid 修复了服务器掉电时Pid文件残留,导致节点重启失败的问题。 ClickHouse - 更新了默认配置。
- 支持集群扩容。
- 支持MetaChecker功能。
- 支持OSS表引擎和OSS表函数读数据。
- 支持表级别自定义ZooKeeper地址。
Iceberg 新增组件。 版本为0.12.0-1.0.1。
Knox 修复了Spark Task第一次访问时失败的问题。 DLF-Auth 新增组件。 支持DLF权限,可以控制Hive和Spark权限。版本为1.0.0。
ESS 升级ESS至1.2.0版本。
发行版本信息
服务 | 版本 |
---|---|
HDFS | 2.8.5 |
YARN | 2.8.5 |
Hive | 2.3.9 |
Spark | 2.4.8 |
Knox | 1.1.0 |
Tez | 0.9.2 |
Ganglia | 3.7.2 |
Sqoop | 1.4.7 |
SmartData |
EMR-3.38.0版本:3.7.2
EMR-3.38.1版本:3.7.3
EMR-3.38.2版本:3.8.0
|
Bigboot | |
Iceberg | 0.12.0 |
DLF-Auth | 1.0.0 |
Hudi | 0.9.0 |
DeltaLake | 0.6.1 |
OpenLDAP | 2.4.44 |
Hue | 4.9.0 |
Spark | 3.1.2 |
HBase | 1.4.9 |
Zookeeper | 3.6.3 |
Presto | 358 |
Impala | 3.4.0 |
Zeppelin | 0.10.0 |
Flume | 1.9.0 |
Livy | 0.7.1 |
Superset | 0.36.0 |
Ranger | 1.2.0 |
Phoenix | 4.14.1 |
ESS | 1.2.0 |
Alluxio | 2.5.0 |
Kudu | 1.14.0 |
Oozie | 5.2.1 |
服务 | 版本 |
---|---|
HDFS | 2.8.5 |
Druid | 0.20.1 |
Zookeeper | 3.6.3 |
Knox | 1.1.0 |
Ganglia | 3.7.2 |
SmartData | 3.7.2 |
Bigboot | |
OpenLDAP | 2.4.44 |
YARN | 2.8.5 |
Superset | 0.36.0 |
集群模式
|
组件
|
版本
|
Flink | HDFS | 2.8.5 |
YARN | 2.8.5 | |
Zookeeper | 3.6.3 | |
Knox | 1.1.0 | |
Flink |
EMR-3.38.0版本:1.13-vvr-4.0.10
EMR-3.38.3版本:1.13-vvr-4.0.11
|
|
SmartData |
EMR-3.38.0版本:3.7.2
EMR-3.38.3版本:3.8.0
|
|
Bigboot | ||
OpenLDAP | 2.4.44 | |
Kafka | Zookeeper | 3.6.3 |
Ganglia | 3.7.2 | |
Kafka | 1.1.1 | |
Kafka-Manager | 1.3.3.16 | |
OpenLDAP | 2.4.44 | |
Knox | 1.1.0 | |
Ranger | 1.2.0 |
服务 | 版本 |
---|---|
Zookeeper | 3.6.3 |
Ganglia | 3.7.2 |
Clickhouse | 20.8.12.2 |
组件
|
版本
|
Knox | 1.1.0 |
Presto | 358 |
Ganglia | 3.7.2 |
SmartData |
EMR-3.38.0版本:3.7.2
EMR-3.38.1版本:3.7.3
EMR-3.38.2版本:3.8.0
|
Bigboot | |
Hudi | 0.9.0 |
DeltaLake | 0.6.1 |
OpenLDAP | 2.4.44 |
Hue | 4.9.0 |
Alluxio | 2.5.0 |