本文介绍EMR-3.38.x版本的发布日期、更新内容和发行版本信息。

发布日期

版本 日期
EMR-3.38.3 2021年12月
EMR-3.38.2 2021年12月
EMR-3.38.1 2021年11月
EMR-3.38.0 2021年10月

更新内容

  • EMR-3.38.3

    修复了所有相关组件的Log4j安全漏洞,详细信息请参见漏洞公告 | Apache Log4j2远程代码执行漏洞

    服务 变更点
    Presto
    • 修复了高可用集群Presto查询Hudi表报错的问题。
    • 修复了Elasticsearch连接器的Log4j漏洞。
    DLF Metastore
    • 将Metastore log默认开启改为关闭。
    • 修复了Metastore gettablestats URI超长出错的问题。
    Delta Lake 修复了变更Schema同步到Metastore的问题。
    Flink
    • 升级VVR到4.0.11版本,该版本支持了如下功能:
      • 发布Flink CDC商业功能:
        • 支持Schema Evolution。
        • 支持整库同步的Flink SQL语义。
      • 支持Gemini Statebackend将State存储到OSS上。
    • 提供了企业版Hudi Connector,内置DLF作为元数据管理。
    Sqoop 修复了Sqoop导入HCatalog表时,Decimal类型精度丢失的问题。
  • EMR-3.38.2
    服务 变更点
    SmartData
    • 升级SmartData至3.8.0版本,详情请参见SmartData 3.8.x版本简介
    • 支持OSS基于Kerberos和Ranger的认证和授权管理。
  • EMR-3.38.1
    服务 变更点
    SmartData 升级SmartData至3.7.3版本,详情请参见SmartData 3.7.x版本简介
    Spark
    • 移除了无效配置Log4j MetricsAppender。
    • 修复了SparkContext启动过程中空指针异常的问题。
    Presto
    • 修复了Hadoop高可用集群,Presto需要配置host才能查询Hive表的问题。
    • 修复了内存较小时,默认配置下Presto无法启动的问题。
    • 修复了修改worker-jvm配置无法生效的问题。
    • 支持Ranger。
    Impala 修复了查询DLF元数据表时,提示no such method error的问题。
    Ranger
    • 支持Presto。
    • 修复了Ranger Spark insert ORC和PARQUET表的权限问题。
    • 修复了Ranger Hive role权限在开启Kerberos后无法生效的问题。
    DLF-Auth
    • 升级DLF-Auth至1.0.1版本。
    • 支持DLF权限,可以控制Presto权限。
    • 修复了RAM用户缓存的问题。
  • EMR-3.38.0
    服务 变更点
    SmartData 升级SmartData至3.7.2版本,详情请参见SmartData 3.7.x版本简介
    Spark
    • 升级Spark至2.4.8版本。
    • 同时支持Spark 2.4.8和Spark 3.1.2。
      说明 Spark3暂不支持Delta和Remote Shuffle Service。
    • Spark 3.x系列,SparkSQL优化了Distinct计算性能,即当聚合算子中包含多个count(distinct case ... when ...)时会触发优化功能。
    • 修复了AQE在Stats缺失情况下数组越界的问题。
    • 修复了AQE和Cache在特定场景下报错的问题。
    Hive 升级Hive至2.3.9版本。
    Presto
    • 发布成独立的Presto集群。
    • 升级Presto至社区358版本。
      注意 此版本暂不支持Ranger。
    • 默认支持Hudi和MySQL等连接器,并更新了默认配置。
    • Presto集群支持弹性伸缩。
      说明 如果需要弹性伸缩功能,可以提交工单处理。
    • 支持数据湖分析。
    DeltaLake
    • 统一Hive 2和Hive 3的delta-connectors。
    • 修复了delta-connectors查询多级分区表时的报错问题。
    Hudi
    • 升级Hudi至0.9.0版本。
    • 修复了DeltaLake和Hudi的sql.extension的兼容性问题。
    HDFS NameNode预留空间默认参数自适应增加,保证磁盘空间不足时, NameNode及时进入SafeMode。
    Flink
    • 升级Flink至1.13-vvr-4.0.10版本,对应社区Flink 1.13.1。
    • 添加了商业化的Flink Connector。例如,Hologres。
    • 添加了相应的Metric Reporter,对接了APM大盘的监控。
    • 针对Kafka Connector,添加了基于SchemaRegistry的Kafka Catalog,支持直接读写已存在的Kafka Topic,无需DDL。
    Storm 组件下线。
    Zeppelin 升级Zeppelin至社区0.10.0版本。
    Ranger 当Presto为社区358版本时,该版本Ranger暂不支持Presto权限控制。
    Hue
    • 修复YARN Job Browser在部分情况下无法正常展示和终止作业的问题。
    • 默认配置中放开YARN Job Browser。
    • 默认配置中支持Presto协议。
    Druid 修复了服务器掉电时Pid文件残留,导致节点重启失败的问题。
    ClickHouse
    • 更新了默认配置。
    • 支持集群扩容。
    • 支持MetaChecker功能。
    • 支持OSS表引擎和OSS表函数读数据。
    • 支持表级别自定义ZooKeeper地址。
    Iceberg 新增组件。

    版本为0.12.0-1.0.1。

    Knox 修复了Spark Task第一次访问时失败的问题。
    DLF-Auth 新增组件。

    支持DLF权限,可以控制Hive和Spark权限。版本为1.0.0。

    ESS 升级ESS至1.2.0版本。

发行版本信息

服务 版本
HDFS 2.8.5
YARN 2.8.5
Hive 2.3.9
Spark 2.4.8
Knox 1.1.0
Tez 0.9.2
Ganglia 3.7.2
Sqoop 1.4.7
SmartData
EMR-3.38.0版本:3.7.2
EMR-3.38.1版本:3.7.3
EMR-3.38.2版本:3.8.0
Bigboot
Iceberg 0.12.0
DLF-Auth 1.0.0
Hudi 0.9.0
DeltaLake 0.6.1
OpenLDAP 2.4.44
Hue 4.9.0
Spark 3.1.2
HBase 1.4.9
Zookeeper 3.6.3
Presto 358
Impala 3.4.0
Zeppelin 0.10.0
Flume 1.9.0
Livy 0.7.1
Superset 0.36.0
Ranger 1.2.0
Phoenix 4.14.1
ESS 1.2.0
Alluxio 2.5.0
Kudu 1.14.0
Oozie 5.2.1
服务 版本
HDFS 2.8.5
Druid 0.20.1
Zookeeper 3.6.3
Knox 1.1.0
Ganglia 3.7.2
SmartData 3.7.2
Bigboot
OpenLDAP 2.4.44
YARN 2.8.5
Superset 0.36.0
集群模式
组件
版本
Flink HDFS 2.8.5
YARN 2.8.5
Zookeeper 3.6.3
Knox 1.1.0
Flink
EMR-3.38.0版本:1.13-vvr-4.0.10
EMR-3.38.3版本:1.13-vvr-4.0.11
SmartData
EMR-3.38.0版本:3.7.2
EMR-3.38.3版本:3.8.0
Bigboot
OpenLDAP 2.4.44
Kafka Zookeeper 3.6.3
Ganglia 3.7.2
Kafka 1.1.1
Kafka-Manager 1.3.3.16
OpenLDAP 2.4.44
Knox 1.1.0
Ranger 1.2.0
服务 版本
Zookeeper 3.6.3
Ganglia 3.7.2
Clickhouse 20.8.12.2
组件
版本
Knox 1.1.0
Presto 358
Ganglia 3.7.2
SmartData
EMR-3.38.0版本:3.7.2
EMR-3.38.1版本:3.7.3
EMR-3.38.2版本:3.8.0
Bigboot
Hudi 0.9.0
DeltaLake 0.6.1
OpenLDAP 2.4.44
Hue 4.9.0
Alluxio 2.5.0