部署集是阿里云ECS(Elastic Compute Service)提供的能力,用于控制ECS实例分布的策略,从而提升ECS实例的容灾能力和可用性。EMR服务会为集群自动创建ECS部署集,您可以为不同节点组配置不同的部署集策略,并在新建节点组时可以选择是否将节点组内节点加入该部署集,当选择加入部署集后,节点组内的所有节点会在创建时统一加入部署集中。本文介绍如何在创建集群和新建节点组时开启加入部署集开关。
背景信息
部署集的详细描述,请参见部署集概述。
使用限制
- 本文操作仅适用于新版数据湖(DataLake)、实时数据流(DataFlow)、数据分析(OLAP)和数据服务(DataServing)场景的集群。
- 创建集群时配置的节点组部署集,创建完成后不支持更改。
- 仅Master和Core类型的节点组支持加入部署集。
- 最多支持20台ECS实例加入部署集。
- 部署集支持的实例规格族信息:
- g8m、c7、g7、g7ne、r7、c6、g6、r6、c5、g5、r5、c6e、g6e、r6e、c7se、g7se、r7se、r6se、c7t、g7t、r7t、c7a、g7a、r7a、c6a、g6a、r6a、g5ne、re6、re6p、re4、ic5
- hfc7、hfg7、hfr7、hfc6、hfg6、hfr6、hfc5、hfg5
- d2s、d2c、d1、d1ne、d1-c14d3、d1-c8d3
- i3、i3g、i2、i2g、i2ne、i2gne、i1
- se1ne、sn1、sn1ne、sn2、sn2ne、se1
- ebmg5、sccgn6、scch5、scch5s、sccg5、sccg5s
- s6、t6、xn4、mn4、n4、n2、n1、
- gn6i
注意事项
- 如果您的集群数据存储方案为本地HDFS存储方案,且Core节点使用了本地盘机型(大数据型、本地SSD),建议您为使用本地盘机型的Core节点组开启部署集功能来提升数据安全性。
- 由于加入部署集后节点组的节点数会受到限制,所以请您谨慎选择是否为节点组开启加入部署集开关。
- 如果创建集群时开启服务高可用开关,则Master节点会默认开启加入部署集开关。
- EMR集群释放后会自动释放集群关联的部署集,请勿在EMR自动创建的部署集内手动添加其他ECS实例。
创建集群时开启加入部署集
进入集群管理页面。
在顶部菜单栏处,根据实际情况选择地域和资源组。
地域:创建的集群将会在对应的地域内,一旦创建不能修改。
资源组:默认显示账号全部资源。
单击上方的创建集群。
- 在创建集群时的硬件配置阶段,如果节点组类型为Master或Core,则会有加入部署集配置。开启后,该节点组内所有节点(包括后期新增节点)将加入部署集。配置集群信息,具体请参见创建集群。
新建节点组时开启加入部署集
- 进入节点管理页面。
- 登录EMR on ECS控制台。
- 在顶部菜单栏处,根据实际情况选择地域和资源组。
- 单击目标集群操作列的节点管理。
- 登录EMR on ECS控制台。
- 在节点管理页面,单击新增节点组。
- 在新增节点组页面进行配置。如果节点组类型为Core,则会有加入部署集配置。开启后,该节点组内所有节点(包括后期新增节点)会加入部署集。
新增节点组的详细信息,请参见新增节点组。
查看部署集
- 登录ECS管理控制台。
- 在左侧导航栏,选择 。
- 在顶部菜单栏左上角处,选择地域。
- 在部署集页面,您可以查看集群关联的部署集信息,部署集命名规则为emr-${clusterId}-default。重要 请勿操作EMR自动创建的部署集,以免影响集群正常运行。