使用 E-MapReduce Hadoop 集群时,需要使用不同的实例组的机型。例如:
- 部分内存型实例节点(CPU: Mem = 1 vCore: 8 GiB)用于大数据离线处理,部分计算型实例(CPU: Mem=1 vCore: 2 GiB)用于模型训练。
- 不同的机器分配给不同的部门使用,部分是内存型实例(CPU: Mem=1 vCore: 8 GiB), 部分是计算型实例(CPU:Mem=1 vCore: 2 GiB)。
EMR 可以通过 Task 节点设立多个机器组,在不同的机器组选择不同的配置达到以上目标。具体操作步骤如下:
- 登录阿里云 E-MapReduce 控制台,单击集群概览区域的前往集群列表进入集群列表页面。
- 单击对应集群右侧的管理。
- 在左侧导航栏中单击集群基础信息。
- 单击右上角资源变配,在下拉框中选择扩容。
- 选择 Task(任务实例组),单击新增机器组。
- 设置机器组名称,选择相关配置。
说明 机器名在一个集群中是唯一的,不能重复。
注意 EMR Hadoop 集群 Task 最多支持 10 个机器组。