部署集是阿里雲ECS(Elastic Compute Service)提供的能力,用於控制ECS執行個體分布的策略,從而提升ECS執行個體的容災能力和可用性。在建立EMR叢集或新增節點群組時,您可以選擇是否啟用部署集,並為不同節點群組配置不同的部署集策略,從而提升叢集的容災能力和可用性。本文介紹如何在建立叢集和新增節點群組時開啟加入部署集開關。
使用限制
-
本文操作僅適用於資料湖(DataLake)、即時資料流(DataFlow)、資料分析(OLAP)、資料服務(DataServing)和自訂叢集(Custom)情境的叢集。
-
建立叢集時配置的節點群組部署集,建立完成後不支援更改。
-
僅Master和Core類型的節點群組支援加入部署集。
-
最多支援20台ECS執行個體加入部署集。
注意事項
-
如果您的叢集資料存放區方案為本地HDFS儲存方案,且Core節點使用了本地碟機型(巨量資料型、本地SSD),建議您為使用本地碟機型的Core節點群組開啟部署集功能來提升資料安全性。
-
由於加入部署集後節點群組的節點數會受到限制,所以請您謹慎選擇是否為節點群組開啟加入部署集開關。
-
如果建立叢集時開啟服務高可用開關,則Master節點會預設開啟加入部署集開關。
-
EMR叢集釋放後會自動釋放叢集關聯的部署集,請勿在EMR自動建立的部署集內手動添加其他ECS執行個體。
建立叢集時開啟加入部署集
-
進入EMR on ECS頁面。
在左側導覽列,單擊EMR on ECS。
在頂部功能表列處,根據實際情況選擇地區和資源群組。
-
單擊上方的创建集群。
-
在建立叢集時的硬體設定階段,如果節點群組類型為Master或Core,則會有加入部署集配置。開啟後,該節點群組內所有節點(包括後期新增節點)將加入部署集。
配置叢集資訊,具體請參見建立叢集。開啟加入部署集開關。建立完成後節點群組部署集配置不可變更,ECS部署集預設支援節點數上限為20。
建立節點群組時開啟加入部署集
進入節點管理頁面。
在左側導覽列,單擊EMR on ECS。
在頂部功能表列處,根據實際情況選擇地區和資源群組。
在EMR on ECS頁面,單擊目的地組群操作列的節點管理。
-
在节点管理頁面,單擊新增节点组。
-
在新增节点组頁面進行配置。如果節點群組類型為Core,則會有加入部署集配置。開啟後,該節點群組內所有節點(包括後期新增節點)會加入部署集。
新增節點群組的詳細資料,請參見新增節點群組。
在新增節點群組配置頁面底部,將加入部署集開關設定為開啟狀態。
查看部署集
登入ECS管理主控台。
在左側導覽列,選擇。
在頁面左側頂部,選擇目標資源所在的資源群組和地區。
-
在部署集頁面,您可以查看叢集關聯的部署集資訊,部署集命名規則為emr-${clusterId}-default。
重要請勿操作EMR自動建立的部署集,以免影響叢集正常運行。
相關文檔
如需詳細瞭解部署集,請參見部署集。
> 部署集