开源大数据平台E-MapReduce：EMR-5.4.x版本说明

发布日期

更新内容

• EMR-5.4.3
  修复了所有相关组件的Log4j安全漏洞，详细信息请参见漏洞公告 | Apache Log4j2远程代码执行漏洞。

  服务	变更点
  Presto	修复了Elasticsearch连接器的Log4j漏洞。
  DLF Metastore	将Metastore log默认开启改为关闭。 修复了Metastore gettablestats URI超长出错的问题。
  Delta Lake	修复了变更Schema同步到Metastore的问题。
  Sqoop	修复了Sqoop导入HCatalog表时，Decimal类型精度丢失的问题。

• EMR-5.4.2

  服务	变更点
  SmartData	升级SmartData至3.8.0版本，详情请参见SmartData 3.8.x版本简介。 支持OSS基于Kerberos和Ranger的认证和授权管理。

• EMR-5.4.1

  服务	变更点
  SmartData	升级SmartData至3.7.3版本，详情请参见SmartData 3.7.x版本简介。
  Oozie	修复了HA情况下Oozie的Jetty Server依赖JAR包冲突，导致Jetty Server无法启动的问题。
  Impala	修复了查询DLF元数据表时提示no such method error的问题。
  DLF-Auth	升级DLF-Auth至1.0.1版本。

• EMR-5.4.0

  服务	变更点
  SmartData	升级SmartData至3.7.2版本，详情请参见SmartData 3.7.x版本简介。
  Spark	升级Spark至3.1.2版本。 Spark 3.x系列，SparkSQL优化了Distinct计算性能，即当聚合算子中包含多个count(distinct case ... when ...)时会触发优化功能。 修复了AQE在Stats缺失情况下数组越界的问题。 修复了AQE和Cache在特定场景下报错的问题。
  Hive	Hive on JindoFS（Block）支持批量元数据优化功能，默认未开启。
  Presto	Delta表支持StorageHandler查询。
  DeltaLake	升级DeltaLake至1.0.0版本。 统一Hive 2和Hive 3的delta-connectors。 修复了delta-connectors查询多级分区表时的报错问题。 支持多个功能的SQL语法。例如，DataSkipping、Optimize和Zorder。 支持同步Meta到MetaStore。
  Hudi	升级Hudi至0.9.0版本。 修复了DeltaLake和Hudi的sql.extension的兼容性问题。 说明 支持Spark 3.1.2版本。
  HDFS	NameNode预留空间默认参数自适应增加，保证磁盘空间不足时， NameNode及时进入SafeMode。
  Storm	组件下线。
  Zeppelin	升级Zeppelin至社区0.10.0版本。
  Hue	修复YARN Job Browser在部分情况下无法正常展示和终止作业的问题。 默认配置中放开YARN Job Browser。 默认配置中支持Presto协议。
  Druid	修复了服务器掉电时Pid文件残留，导致节点重启失败的问题。
  ClickHouse	更新了默认配置。 支持集群扩容。 支持MetaChecker功能。 支持OSS表引擎和OSS表函数读数据。
  Iceberg	升级Iceberg至0.12.0-1.0.1版本。 修改了Hive Runtime依赖报错问题。
  Knox	修复了Spark Task第一次访问时失败的问题。
  DLF-Auth	新增组件。 支持DLF权限，可以控制Hive和Spark权限。版本为1.0.0。

发行版本信息