服务 | 变更点 |
SmartData | 升级至3.0.0。 |
Spark | - 支持阿里云DLF(Data Lake Formation)元数据。
- 升级HAS依赖至2.0.1。
- 修复Streaming SQL反引号问题。
- 移除Delta的JAR包,修改为Delta单独部署。
- 修改日志路径统一写至HDFS下。
|
Hive | - 支持阿里云DLF(Data Lake Formation)元数据。
- 解决了读Delta表空目录时写DUMMY文件问题。
- 升级HAS依赖至2.0.1。
|
Presto | - 支持阿里云DLF(Data Lake Formation)元数据。
- 解决读Delta表的限制问题。
- 修复高安全模式下JVM配置缺失问题。
- 升级HAS依赖至2.0.1。
|
HDFS | |
YARN | - 修复YARN RMZKStateStore的问题。
- 支持SLS输出的SNAPPY文件。
- 修改MapReduce Local模式目录配置,解决目录权限检查问题。
- 支持热交换磁盘模式。
- 日志路径统一写到HDFS下。
- 升级HAS依赖至2.0.1。
|
Zookeeper | - 支持绑定内网IP启动服务端口。
- 升级HAS依赖至2.0.1。
|
Flink-Vvp | - 升级至1.11-2.2.2版本。
- 支持SQL和Autopilot功能。
说明 仅Dataflow集群支持Flink-Vvp,Hadoop集群暂不支持Flink-Vvp。 |
Flink | - 支持缓存模式写入OSS,结合Flink的Checkpoint与可重发的Source实现EXACTLY_ONCE语义。
- 同步了Flink社区1.11.1功能,SQL支持多路输出(MULTI INSERT)。
- 升级HAS依赖至2.0.1。
|
Impala | - 支持自定义配置catalogd.flgs、impalad.flgs和statestored.flgs。
- 升级Shiro至1.6.0版本。
- 升级HAS依赖至2.0.1。
|
Tez | - 优化AM的默认内存参数。
- 升级HAS依赖至2.0.1。
|
HAS | 升级HAS依赖至2.0.1。 |
Storm |
Zeppelin |
Ranger |
OpenLDAP |
Oozie |
Knox |
Kafka |
HUE |
HBase |
Druid |