您可以通過Gateway叢集實現負載平衡和安全隔離,也可以通過Gateway叢集向E-MapReduce叢集提交作業。本文為您介紹如何在E-MapReduce中建立Gateway叢集。
前提條件
已經在E-MapReduce中建立了Hadoop叢集或Kafka叢集,詳情請參見建立叢集。
只有在2022年12月19日17點(UTC+8)之前建立過Hadoop或Kafka叢集的帳號,之後才允許繼續建立這兩種類型的叢集。若帳號在2022年12月19日17點(UTC+8)之前未曾建立過這兩種叢集,之後也無法進行建立。
使用限制
本文介紹的建立Gateway叢集的方法僅適用於Hadoop叢集和Kafka叢集。而DataLake、OLAP、DataFlow和Custom叢集的Gateway環境部署資訊,請參見Gateway的三種部署形態與選型指南。
操作步驟
在EMR on ECS頁面,單擊目的地組群的叢集名稱。
在基础信息頁面,選擇右上方的全部操作>创建 Gateway。
在创建 Gateway頁面,配置各參數。
模組
參數
描述
關聯設定
地域
Gateway叢集所在的物理位置。
资源组
選擇Gateway叢集所屬的資源群組。
如果需要建立新的資源群組,單擊创建资源组,詳細資料請參見建立資源群組。
关联集群
根據所選地區篩選出Gateway叢集可以關聯的計算叢集。待關聯的叢集有以下要求:
叢集狀態須為運行中。
僅支援關聯Hadoop或Kafka類型的叢集。
說明當選擇關聯集群之後,Gateway叢集的VPC預設與關聯集群一致。新舊版控制台的叢集均可關聯。
基礎設定
付费类型
包年包月:一種預付費模式,即先付費再使用。
按量付费:一種後付費模式,即先使用再付費。隨用隨付是根據實際使用的小時數來支付費用,每小時計費一次,適合短期的測試工作或是靈活的動態任務。
可用区
關聯集群所在的可用性區域(Zone)。
交换机
選擇在對應的VPC下對應可用性區域的交換器。
默认安全组
關聯集群所屬的安全性群組。
挂载公网
Gateway是否掛載Elastic IP Address地址。
节点组
实例类型:該地區內可選擇的ECS執行個體規格,詳細說明請參見執行個體規格類型系列。
系统盘:Gateway節點使用的系統硬碟類型。系統硬碟有高效雲端硬碟、ESSD雲端硬碟和SSD雲端硬碟三種,根據不同機型和不同的Region,系統硬碟顯示類型會有不同。系統硬碟預設隨著叢集的釋放而釋放。
系統硬碟大小請根據需要調整。取值範圍為60 ~ 500 GiB。
数据盘:Gateway節點使用的資料盤類型。資料盤有高效雲端硬碟、ESSD雲端硬碟和SSD雲端硬碟三種,根據不同機型和不同的Region,資料盤顯示類型會有不同。資料盤預設隨著叢集的釋放而釋放。
資料盤大小請根據需要調整。取值範圍為40 ~ 32768 GiB。
实例数量:預設1台,您可以根據需要調整。
集群名称
Gateway叢集的名稱,長度限制為1~64個字元,只允許包含中文、字母、數字、短劃線(-)、底線(_)。
身份凭证
登入Gateway叢集所有節點的使用者憑證。
密码:在文字框中輸入登入Gateway的密碼。
長度限制為8~30個字元。
必須同時包含大寫字母、小寫字母。
必須包含數字和特殊字元。僅支援輸入以下字元: !@#$%^&*
密钥对:在列表中選擇登入Gateway的金鑰組名稱。如果還未建立過金鑰組,則您可以單擊後面的新建密钥对,進入ECS管理主控台進行建立。
請妥善保管好金鑰組所對應的私密金鑰檔案(.pem檔案)。Gateway建立成功後,該金鑰組的公開金鑰部分會自動綁定到Gateway所在的Elastic Compute Service上,當通過SSH登入Gateway時,您需要輸入私密金鑰檔案中的私密金鑰。
進階設定
ECS 应用角色
通過RAM角色為在叢集上啟動並執行應用程式提供調用其他阿里雲服務所需的必要許可權,無需調整,使用預設即可。預設值為AliyunECSInstanceForEMRRole。
引导操作
标签
可選配置,您可以在建立叢集時綁定標籤,也可以在叢集建立完成後,詳情請參見設定標籤。
数据盘加密
可選配置。僅支援在建立叢集時開啟該功能,詳情請參見開啟資料盤加密。
完成上述參數配置後,單擊建立並支付 。
建立成功後,叢集的状态會由建立中變為運行中。