开源大数据平台E-MapReduce：EMR-3.38.x版本说明

发布日期

更新内容

• EMR-3.38.3

  修复了所有相关组件的Log4j安全漏洞，详细信息请参见漏洞公告 | Apache Log4j2远程代码执行漏洞。

  服务	变更点
  Presto	修复了高可用集群Presto查询Hudi表报错的问题。 修复了Elasticsearch连接器的Log4j漏洞。
  DLF Metastore	将Metastore log默认开启改为关闭。 修复了Metastore gettablestats URI超长出错的问题。
  Delta Lake	修复了变更Schema同步到Metastore的问题。
  Flink	升级VVR到4.0.11版本，该版本支持了如下功能： 发布Flink CDC商业功能： 支持Schema Evolution。 支持整库同步的Flink SQL语义。 支持Gemini Statebackend将State存储到OSS上。 提供了企业版Hudi Connector，内置DLF作为元数据管理。
  Sqoop	修复了Sqoop导入HCatalog表时，Decimal类型精度丢失的问题。

• EMR-3.38.2

  服务	变更点
  SmartData	升级SmartData至3.8.0版本，详情请参见SmartData 3.8.x版本简介。 支持OSS基于Kerberos和Ranger的认证和授权管理。

• EMR-3.38.1

  服务	变更点
  SmartData	升级SmartData至3.7.3版本，详情请参见SmartData 3.7.x版本简介。
  Spark	移除了无效配置Log4j MetricsAppender。 修复了SparkContext启动过程中空指针异常的问题。
  Presto	修复了Hadoop高可用集群，Presto需要配置host才能查询Hive表的问题。 修复了内存较小时，默认配置下Presto无法启动的问题。 修复了修改worker-jvm配置无法生效的问题。 支持Ranger。
  Impala	修复了查询DLF元数据表时，提示no such method error的问题。
  Ranger	支持Presto。 修复了Ranger Spark insert ORC和PARQUET表的权限问题。 修复了Ranger Hive role权限在开启Kerberos后无法生效的问题。
  DLF-Auth	升级DLF-Auth至1.0.1版本。 支持DLF权限，可以控制Presto权限。 修复了RAM用户缓存的问题。

• EMR-3.38.0

  服务	变更点
  SmartData	升级SmartData至3.7.2版本，详情请参见SmartData 3.7.x版本简介。
  Spark	升级Spark至2.4.8版本。 同时支持Spark 2.4.8和Spark 3.1.2。 说明 Spark3暂不支持Delta和Remote Shuffle Service。 Spark 3.x系列，SparkSQL优化了Distinct计算性能，即当聚合算子中包含多个count(distinct case ... when ...)时会触发优化功能。 修复了AQE在Stats缺失情况下数组越界的问题。 修复了AQE和Cache在特定场景下报错的问题。
  Hive	升级Hive至2.3.9版本。
  Presto	发布成独立的Presto集群。 升级Presto至社区358版本。 重要 此版本暂不支持Ranger。 默认支持Hudi和MySQL等连接器，并更新了默认配置。 Presto集群支持弹性伸缩。 支持数据湖分析。
  DeltaLake	统一Hive 2和Hive 3的delta-connectors。 修复了delta-connectors查询多级分区表时的报错问题。
  Hudi	升级Hudi至0.9.0版本。 修复了DeltaLake和Hudi的sql.extension的兼容性问题。
  HDFS	NameNode预留空间默认参数自适应增加，保证磁盘空间不足时， NameNode及时进入SafeMode。
  Flink	升级Flink至1.13-vvr-4.0.10版本，对应社区Flink 1.13.1。 添加了商业化的Flink Connector。例如，Hologres。 添加了相应的Metric Reporter，对接了APM大盘的监控。 针对Kafka Connector，添加了基于SchemaRegistry的Kafka Catalog，支持直接读写已存在的Kafka Topic，无需DDL。
  Storm	组件下线。
  Zeppelin	升级Zeppelin至社区0.10.0版本。
  Ranger	当Presto为社区358版本时，该版本Ranger暂不支持Presto权限控制。
  Hue	修复YARN Job Browser在部分情况下无法正常展示和终止作业的问题。 默认配置中放开YARN Job Browser。 默认配置中支持Presto协议。
  Druid	修复了服务器掉电时Pid文件残留，导致节点重启失败的问题。
  ClickHouse	更新了默认配置。 支持集群扩容。 支持MetaChecker功能。 支持OSS表引擎和OSS表函数读数据。 支持表级别自定义ZooKeeper地址。
  Iceberg	新增组件。 版本为0.12.0-1.0.1。
  Knox	修复了Spark Task第一次访问时失败的问题。
  DLF-Auth	新增组件。 支持DLF权限，可以控制Hive和Spark权限。版本为1.0.0。
  ESS	升级ESS至1.2.0版本。

发行版本信息