全部产品
Search
文档中心

开源大数据平台E-MapReduce:新功能发布记录

更新时间:Dec 01, 2023

本文介绍阿里云E-MapReduce每次发布涉及的功能变更及对应的文档,帮助您了解E-MapReduce的发布动态。

版本说明详情,请参见版本概述

2023年

2023年10月

功能名称

功能概述

发布时间

相关文档

弹性伸缩规则推荐功能优化

弹性伸缩模块新增集群资源概览内容,能够分析您的集群资源利用情况,并对符合条件的集群推荐弹性伸缩规则。您可以开启弹性伸缩功能,提升集群资源弹性能力。

2023-10-24

查看集群资源概览

新增报警管理功能

集群管理新增了报警管理功能,该功能是基于云监控服务的。在EMR控制台上,您可以创建和查看集群的报警规则。如果资源的监控指标达到了报警条件,云监控将自动发送报警通知,帮助您及时了解集群的异常情况,并迅速采取相应措施。

2023-10-24

管理报警

新增节点健康状态

节点健康状态展示了当前节点的运行状态是否正常。您可以在节点管理页面查看节点的健康状态,及时发现异常节点。

2023-10-24

查看节点健康状态

支持设置云盘性能级别参数

在创建集群和新增节点组时,您可以为ESSD云盘设置不同的性能级别(PL级别),以满足不同集群性能需求。

2023-10-24

创建集群

2023年8月

功能名称

功能概述

发布时间

相关文档

新增集群模板功能

集群模板是一项持久化EMR实例配置功能,可用于快速创建EMR集群。

2023-08-29

新增集群资源概览

弹性伸缩模块新增集群资源概览内容,该内容能够分析用户集群资源利用情况,并为符合条件的集群推荐弹性伸缩规则。用户可以使用该功能开启弹性伸缩,以提升集群资源的弹性能力。

2023-08-29

查看集群资源概览

新增查看配置项

如果某个配置项在节点组或节点级别进行了修改,则该配置项将在集群级别展示多层级的配置信息,包括节点组配置和名称,或者独立节点配置和名称。

2023-08-29

管理配置项

2023年7月

功能名称

功能概述

发布时间

相关文档

新增弹性伸缩管理模块

为了更方便地管理集群弹性功能,EMR新增了专属管理模块,您可以在该模块中便捷地管理伸缩规则、查看集群弹性资源用量和费用成本,以评估集群弹性成本节省效果,优化集群资源利用率。

2023-07-12

优化集群自动补偿功能

自动补偿提供替换异常节点的能力。

本次优化增加了信息提示和事件通知能力,让您可以快速了解自动补偿行为发生的过程。

说明

从2023年7月10日18:00(UTC+8)开始,新建按量付费的Task节点组时默认开启自动补偿开关。

2023-07-12

管理自动补偿

优化服务配置

新增待下发和待生效提示灯,可以更好的引导用户进行配置修改后的操作,避免配置修改不生效的情况。

2023-07-12

管理配置项

支持无状态集群

提供默认的数据湖架构,无需依赖HDFS。此外,在不使用必须依赖Core节点的服务时,您可以去掉Core节点组,构建完全无状态的集群,以进一步降低集群的运维成本。

2023-07-12

创建集群

支持YARN分区和队列关联

您可以直接在控制台完成分区和队列的关联管理,以及容量分配等操作,无需手动进行繁琐的配置。

2023-07-12

编辑资源队列

按量部分支持秒级计费

通过更精细的计费粒度,可以实现更加精确的计费,有效地降低用户的使用成本。

2023-07-12

2023年6月

功能名称

功能概述

发布时间

相关文档

版本升级

  • EMR-5.x系列:升级至EMR-5.12.0

  • EMR-3.x系列:升级至EMR-3.46.0

2023-06-01

新增Paimon组件

Apache Paimon是一种流批统一的湖存储格式,支持高吞吐的写入和低延迟的查询。

2023-06-01

新增Presto组件

Presto(即PrestoDB)是一款灵活、可扩展的分布式SQL查询引擎。

2023-06-07

2023年4月

功能名称

功能概述

发布时间

相关文档

版本升级

  • EMR-5.x系列:升级至EMR-5.11.1

  • EMR-3.x系列:升级至EMR-3.45.1

2023-04-03

湖仓一体新能力

EMR支持Spark、Trino计算引擎直接访问Hologres和MaxCompute表。

2023-04-03

湖仓一体新能力:EMR支持Hologres和MaxCompute数据源

Spark支持对接Hologres

Spark如何读取Hologres表数据。

2023-04-03

Spark对接Hologres

升级节点的配置

通过配置升级功能可以提升ECS实例规格。

2023-04-03

升级节点配置

支持在控制台管理YARN分区

支持在控制台上通过可视化UI管理YARN分区,同时可以批量建立节点组与分区的映射,方便操作。

2023-04-13

EMR控制台管理YARN分区

2023年3月

功能名称

功能概述

发布时间

相关文档

新增Flink Table Store组件

Flink Table Store是一个流批统一的湖存储格式,支持高吞吐的写入和低延迟的查询。

2023-03-03

支持导出和导入服务配置

阿里云E-MapReduce(简称EMR)提供的导出服务配置功能,支持以XML或JSON格式导出服务配置,便于备份、迁l移和恢复EMR服务的配置。

2023-03-02

导出和导入服务配置

2023年2月

功能名称

功能概述

发布时间

相关文档

版本升级

  • EMR-5.x系列:升级至EMR-5.11.0

  • EMR-3.x系列:升级至EMR-3.45.0

2023-02-28

2022年

2022年12月

功能名称

功能概述

发布时间

相关文档

版本升级

  • EMR-5.x系列:升级至EMR-5.10.0

  • EMR-3.x系列:升级至EMR-3.44.0

2022-12-01

YARN Node Labels特性

YARN Node Labels特性支持将YARN NodeManager节点进行分区管理。

2022-12-14

Node Labels特性使用

2022年11月

功能名称

功能概述

发布时间

相关文档

版本升级

  • EMR-5.x系列:升级至EMR-5.9.1

  • EMR-3.x系列:升级至EMR-3.43.1

2022-11-08

管理日志

支持在EMR控制台直接查询开源组件的日志。

2022-11-29

管理日志

2022年10月

功能名称

功能概述

发布时间

相关文档

版本升级

  • EMR-5.x系列:升级至EMR-5.9.0

  • EMR-3.x系列:升级至EMR-3.43.0

2022-10-14

使用HBase Shell

可以使用HBase Shell连接HBase。

2022-10-21

使用HBase Shell

数据服务集群

DataServing是阿里云E-MapReduce提供的基于Apache HBase的数据服务集群类型。

2022-10-28

数据服务集群

2022年9月

功能名称

功能概述

发布时间

相关文档

自动补偿

开启自动补偿功能后,当E-MapReduce(简称EMR)监测到您集群的ECS实例无法维持EMR上的引擎服务正常工作时,EMR的自动补偿功能会尝试为您新购ECS实例替换掉异常的ECS实例。

2022-09-07

开启自动补偿

克隆集群

可以基于已有集群快速创建一个新的集群。

2022-09-09

克隆集群

2022年8月

功能名称

功能概述

发布时间

相关文档

版本升级

  • EMR-5.x系列:升级至EMR-5.8.0

  • EMR-3.x系列:升级至EMR-3.42.0

2022-08-05

部署集

部署集是阿里云ECS(Elastic Compute Service)提供的能力,用于控制ECS实例分布的策略,从而提升ECS实例的容灾能力和可用性。

2022-08-05

开启部署集

使用EMR-CLI自定义部署Gateway环境

E-MapReduce提供基于阿里云ECS部署Gateway环境的工具EMR-CLI,您可以灵活创建ECS实例并基于EMR-CLI快速部署Gateway环境。

2022-08-05

使用EMR-CLI自定义部署Gateway环境

2022年7月

功能名称

功能概述

发布时间

相关文档

EMR Doctor

E-MapReduce Doctor(简称EMR Doctor)是E-MapReduce产品自研的面向开源大数据集群的智能运维诊断系统。

2022-07-25

EMR Doctor概述

2022年6月

功能名称

功能概述

发布时间

相关文档

数据湖集群

E-MapReduce(简称EMR)新版控制台提供了数据湖集群,一个更灵活、可靠,以及高效的大数据计算集群。

2022-06-01

数据湖集群

Spark集群关联RSS

RSS(EMR Remote Shuffle Service)是E-MapReduce(简称EMR)为了提升Shuffle稳定性和性能推出的扩展组件,优化了Spark原生的Shuffle。EMR on ACK上的Spark集群支持关联RSS。

2022-06-09

为Spark集群关联RSS

2022年5月

功能名称

功能概述

发布时间

相关文档

内存管理

介绍StarRocks BE(Backend)中内存使用分类、内存配置以及如何查看内存使用。

2022-05-10

内存管理