進入建立叢集頁面

  1. 登入阿里雲 E-MapReduce 控制台叢集列表
  2. 完成 RAM 授權,操作步驟請參見角色授權
  3. 在上方選擇所在的地區(Region),所建立叢集將會在對應的地區內,一旦建立後不能修改。
  4. 單擊右上方的建立叢集,進行建立。

建立叢集流程

要建立叢集,您需要繼續完成以下三個步驟:

  • 軟體配置
  • 硬體設定
  • 基礎配置

步驟1:軟體配置

配置項說明:

  • 產品版本:選擇預設最新的軟體版本。
  • 叢集類型:目前的EMR提供了。
    • Hadoop標準的 Hadoop 叢集,包含了大部分的 Hadoop 相關的組件,具體的組件資訊可以在選擇介面的列表中查看。
    • Kafka獨立的 Kafka 叢集,提供Message Service。
  • 包含配置:使用預設的配置,後期可以在管理介面中添加和啟停服務。
  • 安全模式:是否開啟叢集的 Kerberos 認證功能。一般的個人使用者叢集無需該功能,預設關閉它。

步驟2:硬體設定

配置項說明:

  • 付費配置

    • 付費類型測試的情境下使用按量開始,測試都正常了以後。可以建立一個包月的生產叢集正式使用。
  • 叢集網路設定

    • 叢集可用性區域:一般使用預設的可用性區域即可。
    • 網路類型:推薦使用VPC。若還未建立,可前往VPC控制台進行建立。
      注意 傳統網路與專用網路不互連,購買後不能更換網路類型。
    • ECS 執行個體系列:使用預設最新的系列。
    • VPC:選擇在該地區的VPC。
    • 交換器:選擇在對應的VPC下的在對應可用性區域的交換器,如果在這個可用性區域沒有可用的交換器,那麼就需要前往去建立一個新的使用。
    • 建立安全性群組:一般使用者初次來到這裡還沒有安全性群組,開啟建立安全性群組開關,在安全性群組名稱裡面填上新的安全性群組的名字。
    • 選擇安全性群組:若已經有在使用的安全性群組可以直接這裡選擇使用。
  • 叢集節點配置

    • 高可用叢集:後續正式叢集如果是使用高可用的,測試情況下也開啟高可用。
    • 節點類型:只需要使用Master和Core,Task可以不用,需要的時候再追加。
    • 節點配置: 使用預設配置。
    • 資料盤類型:根據需要選擇高效或者是SSD雲端硬碟。
    • 資料盤容量:根據需要調整磁碟容量,推薦至少80G。
    • 執行個體數量:根據需要調整。

步驟3:基礎配置

配置項說明:

  • 基本資料

    • 叢集名稱:叢集的名字,長度限制為 1-64 個字元,僅可使用中文、字母、數字、中劃線(-)和底線(_)。
  • 作業記錄

    • 作業記錄:是否儲存作業的日誌,日誌儲存預設是開啟的。開啟後會需要您選擇用來儲存日誌的 OSS 目錄位置,會將您的作業的日誌儲存到該 OSS 儲存目錄上。當然,您要使用這個功能必須先開通 OSS,同時上傳的檔案會按照使用的量來計算使用者的費用。強烈建議您開啟 OSS 日誌儲存功能,這會對您的作業調試和錯誤排查有極大的協助。
    • 日誌路徑:儲存日誌的 OSS 路徑。
    • 統一Meta資料庫:推薦先關閉。
  • 使用權限設定 無需調整,使用預設即可。
  • 登入設定
    • 登入密碼:設定 master 節點的登入密碼。8 - 30 個字元,且必須同時包含大寫字母、小寫字母、數字和特殊字元!@#$%^&*。

配置清單和叢集費用

在配置清單上確認配置和對應的費用。

確認建立

當所有的資訊都有效填寫以後,建立按鈕會亮起,確認無誤後單擊建立將會建立叢集。

注意
  • 若是隨用隨付叢集,叢集會立刻開始建立。頁面會返回叢集列表頁,就能看到在列表中有一個叢集建立中的叢集。請耐心等待,叢集建立會需要幾分鐘時間。完成之後叢集的狀態會切換為叢集空閑
  • 若是訂用帳戶叢集,則會先產生訂單,在支付完成訂單以後叢集才會開始建立。

建立失敗

如果建立失敗,在叢集列表頁上會顯示叢集建立失敗,將滑鼠移動到紅色的驚嘆號上會看到失敗原因,如下圖所示。

建立失敗的叢集可以不用處理,對應的計算資源並沒有真正的建立出來。這個叢集會在停留3天以後自動隱藏。