开源大数据平台E-MapReduce：功能特性

功能集

功能

功能描述

参考文档

集群管理

创建集群

您可以轻松构建和运行Hadoop、Spark、Hive、Presto等开源大数据框架，以进行大规模数据处理和分析等操作。

释放集群

在完成EMR集群任务后及时释放集群，可以释放资源并避免不必要的费用。

查看集群信息

查看您账号下拥有的集群概况和单个集群的详情。

登录集群

通过与集群主节点建立SSH连接，您可以使用终端上的Linux命令来管理和与集群进行交互操作。

集群类型

阿里云EMR提供多种集群类型，包括DataLake、OLAP、DataFlow、DataServing等，旨在为大数据处理和分析提供强大、灵活和高效的计算资源。

• 数据湖集群
• 数据服务集群

节点管理

节点组管理

节点组是您使用阿里云E-MapReduece服务对集群节点进行管理的核心单元，通常是由相同规格的ECS实例组成。

节点组扩容

当E-MapReduce集群计算资源或存储资源不足时，您可以通过水平扩展Core节点和Task节点来满足需求。

节点组缩容

当E-MapReduce集群的计算资源过剩时，您可以缩减Task节点的数量。

节点组磁盘扩容

当E-MapReduce集群的数据存储空间不足时，您可以进行磁盘扩容。

升级节点配置

当节点组内ECS实例的规格（vCPU和内存）无法满足您的业务需求时，您可以使用配置升级功能提升ECS实例规格。

查看节点健康状态

节点健康状态展示了当前节点的运行状态是否正常，它是由多个健康检查项结果汇总而成的。

服务管理

新增服务

支持在集群成功创建后，新增未安装的服务。

重启服务

当配置项修改后，需要重启对应的服务使配置生效，或当某个服务出现故障或异常时，重启服务可以尝试修复服务的问题，并恢复其正常运行状态。

管理配置项

支持通过控制台的方式修改、添加或查看集群中服务的配置项。

回滚配置

支持通过控制台对各服务配置项的变更操作进行回滚。

配置自定义软件

支持在集群创建时使用软件自定义配置功能，修改现有配置或添加新的配置项。

导出和导入服务配置

支持以XML或JSON格式导出服务配置，便于备份、迁移和恢复EMR服务的配置。导出的JSON格式的服务配置可以导入新集群，作为新集群的预设配置。

访问链接与端口

通过访问链接与端口功能，您可以方便地通过控制台方式访问集群中已安装开源组件Web UI的地址。

查看集群服务信息

可以查看集群中已安装服务（例如，HDFS和YARN等）的运行状态，组件列表及配置项信息。

查看服务健康状态

健康状态展示当前服务的运行状态是否正常，它是由多个健康检查项结果汇总而成的。

组件管理

组件操作

阿里云EMR集群集成了一系列大数据服务，用于处理、分析和存储大规模数据，并提供了组件的基础操作以及高阶实践。

查看组件部署信息

支持查看各节点上服务组件的部署信息。

查看组件健康状态

健康状态展示当前组件的运行状态是否正常，它是由多个健康检查项结果汇总而成的。

用户管理

添加用户

支持添加已有的RAM用户来管理EMR集群或其他云服务资源。

删除用户

支持通过控制台删除EMR集群中已有的用户。

重置用户密码

可以修改已添加用户的密码。

下载认证凭据

下载认证凭据功能仅支持开启高安全的集群，通过该功能，您可以下载目标用户的Keytab文件。

弹性伸缩

添加弹性伸缩规则

随着业务负载需求的持续波动，可启用的弹性伸缩功能，并设定相应的伸缩策略。在面对业务量高峰或低谷时，EMR能够自动适配性地增加或减少Task节点数量，以确保任务高效处理的同时，最大限度地优化资源使用，降低运营成本。

查看弹性伸缩活动

查看集群节点变化情况及弹性伸缩活动的执行记录。

查看集群资源概览

提供集群资源变化分析和弹性伸缩规则推荐。

可视化弹性成本分析

可多维度地了解集群资源使用量及成本分布情况，从而协助您评估集群弹性成本节省效果，优化集群资源利用。

脚本操作

引导脚本管理

可以安装您需要的第三方软件或者修改集群运行环境。

手动脚本管理

集群创建完成后，您可以通过手动执行脚本功能批量选择节点来运行指定脚本，以实现个性化需求。

操作历史

操作历史列表展示

展示集群的操作记录。

-

监控报警

集群监控

查看各服务指标的详细信息。

-

报警管理

当您需要监控各服务资源的使用情况时，可以创建报警规则。如果资源的监控指标达到报警条件，云监控自动发送报警通知，帮助您及时得知异群的异常情况，并快速处理。

日志管理

日志管理功能将EMR与日志服务SLS相结合，允许您在EMR控制台直接查询开源组件的日志。

健康检查

实时检测

EMR Doctor实时检测按5分钟为粒度对集群的实时状态进行检查，您可以通过实时检测了解集群当前的状态、出现的问题，以及发生问题的原因，并对相关问题进行修复，保证集群运行的稳定性。

集群日报

通过集群的健康检查功能，可以了解当前集群的健康状态，并根据改进建议对集群进行调整，以保持健康的状态。

Gateway

创建Gateway集群

Gateway集群不仅支持负载均衡和实现安全隔离，也能够便捷地提交作业至E-MapReduce集群。

配置Gateway集群

为了方便部署Gateway环境，E-MapReduce提供了名为EMR-CLI的工具，它基于阿里云ECS来创建实例并部署Gateway环境。

功能集

功能

功能描述

参考文档

集群管理

创建集群

可以将开源大数据服务部署在阿里云容器服务Kubernetes版（ACK）之上，利用ACK在服务部署和容器应用管理的优势，减少对底层集群资源的运维投入，以便于您可以更加专注大数据任务本身。

• 创建集群
• 创建Data Science集群

释放集群

当集群不再使用时，您可以释放集群以删除对应的Namespace以及该Namespace下的所有软件服务，但不会释放实际的物理资源。

查看集群信息

查看您账号下拥有的集群概况。

• 查看集群信息
• 查看集群信息

集群类型

EMR on ACK支持的集群类型。

服务管理

重启服务

修改配置项后，需要重启对应的服务使配置生效。

访问WEB UI

添加EMR用户后可以访问相应的UI页面。

-

管理配置项

可以为集群修改和添加配置项。

作业管理

查看作业信息

支持查看集群下的作业信息。

功能集

功能

功能描述

参考文档

EMR Workflow

工作空间管理

您所有的配置、任务、工作流均在具体的项目空间下进行。工作空间管理员可以加入成员至工作空间，并赋予工作角色，以实现多角色协同工作。

-

调度资源组管理

调度资源组用于任务的调度运行。如果默认调度资源组不能满足您的需求，您可以根据业务场景需求购买合适规格的付费调度资源组。

-

项目管理

在项目中您可以进行任务的编辑和工作流的调度。

工作流定义管理

工作流定义是通过拖拽任务节点并建立任务节点之间的关联来创建可视化的DAG（有向无环图）。

工作流实例管理

工作流实例是工作流定义的实例化，可以通过手动启动或定时调度生成。当工作流被触发执行时，工作流定义就会实例化成为一个工作流实例。

任务定义管理

保存工作流后，您可以对已有的任务定义进行操作。

任务实例管理

保存工作流后，您可以对已有的任务实例进行操作。

手动任务定义管理

手动任务能够独立于工作流定义创建，仅支持手动运行。

-

手动任务实例管理

手动任务实例是手动任务定义的一次具体运行。每当手动任务被人为触发运行时，该手动任务的定义就会实例化为一个手动任务实例。

-

资源中心

当在调度过程中需要使用第三方的JAR或者需要自定义脚本时，您可以在资源中心中上传所需文件。

数据源中心

支持配置数据源，以满足不同的数据存储和访问需求。

安全中心

安全中心涵盖用户管理、告警实例及告警组管理，以及审计日志，确保了操作的精细权限控制和安全监控。

-