开源大数据平台E-MapReduce：2026-04-15版本

功能分类

功能更新说明

相关文档

数据目录

新增支持对接StarRocks。用户可以在数据目录中添加StarRocks，实现对相关数据的访问和查询。

管理数据目录

通过Livy提交的任务支持访问数据目录中已添加的所有DLF Catalog，简化多数据源场景下的任务配置流程。

数据开发

支持设置任务优先级，用户可以为关键业务任务配置更高的优先级，确保重要任务在资源紧张时优先获得调度，保障核心业务稳定运行。

任务优先级

AI中心

AI Function 新增支持qwen3.5-plus、qwen3.6-plus、tongyi-embedding-vision-plus模型，拓展多模态数据处理能力，支持图片、视频、文本等多种输入模态的推理与向量化以及智能分析。

AI中心（Beta）

会话管理

新增支持DuckDB会话，用户可以在平台中直接使用DuckDB进行轻量级数据查询与分析，适用于交互式探索和中小规模数据集的快速分析场景。

管理DuckDB会话

集群管理

新增Ray集群资源形态，支持用户创建和管理Ray集群，满足多模态数据处理，以及分布式 Python 并行计算。

使用Ray集群

Skills

新增发布 EMR Serverless Spark 管理 Skill，用户可通过自然语言交互方式完成工作空间管理及 Spark 作业的提交、查询与管理操作，降低使用门槛，提升数据开发效率。

alibabacloud-emr-spark-manage

其余优化

SparkSQL查询结果支持双击/右键快捷复制。

版本号

说明

esr-5.2.0 (Spark 4.0.1, Scala 2.13)

esr-4.8.0 (Spark 3.5.2, Scala 2.12)

esr-3.7.0 (Spark 3.4.4, Scala 2.12)

• Fusion

  • 基于Hybrid Shuffle优化稳定性和性能。

  • 支持Scan Sharing。

  • 优化Window算子。

  • 支持DS V2 Update，Delete。

  • 支持写表按文件大小切分。

  • 支持DuckDB会话。

• 数据湖

  • 【DLF】支持行权限。

  • 【Paimon】支持Variant。

  • 【Delta】支持Delta Sharing，升级到3.3.2。

  • 【Fluss】支持Spark Batch&Streaming读写。

• Spark框架&生态

  • 支持Starrocks Catalog。

  • Spark4支持Starrocks Connector。

  • 提升Holo Connector稳定性。

  • DML返回Affected Rows。

  • distcp支持commit job时删除目标旧文件。

  • Spark Streaming支持读写Fluss。

Ray引擎 err-1.0.0 (Ray 2.47.1, Python 3.12)

• Ray

  • 支持DLF。

  • 支持Auto Scaling。

  • 支持Kerberos，Ranger认证鉴权。

  • 支持GPU。

• Daft

  • 支持Daft on Ray。

Celeborn

• 稳定性优化

  • 优化扩缩容策略。

  • 修复极端场景下线程异常退出。