進入建立叢集頁面
- 登入阿里雲 E-MapReduce 控制台叢集列表。
- 完成 RAM 授權,操作步驟請參見角色授權。
- 在上方選擇所在的地區(Region),所建立叢集將會在對應的地區內,一旦建立後不能修改。
- 單擊右上方的建立叢集,進行建立。
建立叢集流程
要建立叢集,您需要繼續完成以下三個步驟:
- 軟體配置
- 硬體設定
- 基礎配置
步驟1:軟體配置
配置項說明:
- 產品版本:選擇預設最新的軟體版本。
- 叢集類型:目前的EMR提供了。
- Hadoop標準的 Hadoop 叢集,包含了大部分的 Hadoop 相關的組件,具體的組件資訊可以在選擇介面的列表中查看。
- Kafka獨立的 Kafka 叢集,提供Message Service。
- 包含配置:使用預設的配置,後期可以在管理介面中添加和啟停服務。
- 安全模式:是否開啟叢集的 Kerberos 認證功能。一般的個人使用者叢集無需該功能,預設關閉它。
步驟2:硬體設定
配置項說明:
-
付費配置
- 付費類型測試的情境下使用按量開始,測試都正常了以後。可以建立一個包月的生產叢集正式使用。
-
叢集網路設定
- 叢集可用性區域:一般使用預設的可用性區域即可。
- 網路類型:推薦使用VPC。若還未建立,可前往VPC控制台進行建立。
注意 傳統網路與專用網路不互連,購買後不能更換網路類型。
- ECS 執行個體系列:使用預設最新的系列。
- VPC:選擇在該地區的VPC。
- 交換器:選擇在對應的VPC下的在對應可用性區域的交換器,如果在這個可用性區域沒有可用的交換器,那麼就需要前往去建立一個新的使用。
- 建立安全性群組:一般使用者初次來到這裡還沒有安全性群組,開啟建立安全性群組開關,在安全性群組名稱裡面填上新的安全性群組的名字。
- 選擇安全性群組:若已經有在使用的安全性群組可以直接這裡選擇使用。
-
叢集節點配置
- 高可用叢集:後續正式叢集如果是使用高可用的,測試情況下也開啟高可用。
- 節點類型:只需要使用Master和Core,Task可以不用,需要的時候再追加。
- 節點配置: 使用預設配置。
- 資料盤類型:根據需要選擇高效或者是SSD雲端硬碟。
- 資料盤容量:根據需要調整磁碟容量,推薦至少80G。
- 執行個體數量:根據需要調整。
步驟3:基礎配置
配置項說明:
-
基本資料
- 叢集名稱:叢集的名字,長度限制為 1-64 個字元,僅可使用中文、字母、數字、中劃線(-)和底線(_)。
-
作業記錄
- 作業記錄:是否儲存作業的日誌,日誌儲存預設是開啟的。開啟後會需要您選擇用來儲存日誌的 OSS 目錄位置,會將您的作業的日誌儲存到該 OSS 儲存目錄上。當然,您要使用這個功能必須先開通 OSS,同時上傳的檔案會按照使用的量來計算使用者的費用。強烈建議您開啟 OSS 日誌儲存功能,這會對您的作業調試和錯誤排查有極大的協助。
- 日誌路徑:儲存日誌的 OSS 路徑。
- 統一Meta資料庫:推薦先關閉。
- 使用權限設定 無需調整,使用預設即可。
- 登入設定
- 登入密碼:設定 master 節點的登入密碼。8 - 30 個字元,且必須同時包含大寫字母、小寫字母、數字和特殊字元!@#$%^&*。
配置清單和叢集費用
在配置清單上確認配置和對應的費用。
確認建立
當所有的資訊都有效填寫以後,建立按鈕會亮起,確認無誤後單擊建立將會建立叢集。
注意
- 若是隨用隨付叢集,叢集會立刻開始建立。頁面會返回叢集列表頁,就能看到在列表中有一個叢集建立中的叢集。請耐心等待,叢集建立會需要幾分鐘時間。完成之後叢集的狀態會切換為叢集空閑。
- 若是訂用帳戶叢集,則會先產生訂單,在支付完成訂單以後叢集才會開始建立。
建立失敗
如果建立失敗,在叢集列表頁上會顯示叢集建立失敗,將滑鼠移動到紅色的驚嘆號上會看到失敗原因,如下圖所示。
建立失敗的叢集可以不用處理,對應的計算資源並沒有真正的建立出來。這個叢集會在停留3天以後自動隱藏。