全部產品
Search
文件中心

E-MapReduce:登入叢集

更新時間:Mar 13, 2025

您可以通過SSH方式或者Workbench等其他串連ECS執行個體的方式登入到叢集節點,對叢集進行管理或者互動操作。

前提條件

擷取節點公網IP和節點名稱

在登入叢集節點時,如果需要擷取節點公網IP或節點名稱,您可以通過以下步驟擷取。

  1. 進入節點管理頁面。

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 單擊目的地組群操作列的節點管理

  2. 節點管理頁面,單擊節點群組所在行的image表徵圖,然後擷取公網IP和節點名稱。

    image

登入叢集Master節點

SSH密鑰方式

建立金鑰組後,私密金鑰會自動下載儲存為.pem格式的私密金鑰檔案。

您可以根據本地使用的作業系統選擇對應的操作步驟。

Linux作業系統

下面以私密金鑰檔案ecs.pem為例介紹登入叢集Master節點的步驟。

  1. 執行以下命令,修改私密金鑰檔案的屬性。

    chmod 400 ~/.ssh/ecs.pem

    ~/.ssh/ecs.pemecs.pem私密金鑰檔案在本機伺服器上的儲存路徑。

  2. 執行以下命令,串連Master節點。

    ssh -i ~/.ssh/ecs.pem emr-user@<Master節點公網IP地址>
    如需擷取Master節點的公網IP地址,請參見擷取節點公網IP和節點名稱

Windows作業系統

在Windows作業系統中,您可以通過命令提示字元或者通過PuTTY登入叢集Master節點。

通過命令提示字元登入Master節點

開啟CMD,輸入以下命令登入叢集Master節點。

ssh -i <.pem私密金鑰檔案在本地機上的儲存路徑> emr-user@<Master節點公網IP地址>
如需擷取Master節點的公網IP地址,請參見擷取節點公網IP和節點名稱

通過PuTTY登入Master節點

  1. 下載PuTTY和PuTTYgen

  2. 通過PuTTYgen將.pem私密金鑰檔案轉換為.ppk私密金鑰檔案。

    1. 運行PuTTYgen。本樣本中PuTTYgen版本為0.82。

    2. Actions地區,單擊Load,匯入建立叢集時儲存的私密金鑰檔案。

      匯入時注意確保匯入的格式要求為All files (*.*)

    3. 選擇待轉換的.pem私密金鑰檔案,單擊開啟

    4. 單擊Save private key

    5. 在彈出的對話方塊中,單擊,指定.ppk私密金鑰檔案的名稱,然後單擊儲存

      儲存轉化後的私密金鑰到本地。例如:kp-123.ppk

  3. 通過PuTTY登入叢集Master節點。

    1. 運行PuTTY。

    2. 選擇Connection > SSH > Auth > Credentials to authenticate with,在配置項Private key file for authentication中,單擊Browse,選擇轉化後的密鑰檔案。

      image

    3. 單擊Session,在Host Name (or IP address)下的輸入框中,輸入登入帳號和Master節點公網IP地址。

      格式為emr-user@<Master節點公網IP地址>,例如emr-user@10.10.**.**。如需擷取Master節點的公網IP地址,請參見擷取節點公網IP和節點名稱

      image

    4. 單擊Open,然後在彈出框中選擇Accept即可成功登入叢集Master節點。

SSH密碼方式

說明

以下步驟中涉及的使用者名稱、密碼分別是root使用者和建立叢集時設定的密碼。

您可以根據本地使用的作業系統選擇對應的操作步驟。

Linux作業系統

您可以在本地終端的命令列中運行如下命令串連Master節點。

ssh root@<Master節點公網IP地址>
如需擷取Master節點的公網IP地址,請參見擷取節點公網IP和節點名稱

Windows作業系統

  1. 下載並安裝PuTTY。下載連結為PuTTY

  2. 啟動PuTTY。

  3. 配置串連叢集所需的資訊。

    • Host Name (or IP address):輸入執行個體的固定公網IP或EIP。如需擷取Master節點的公網IP地址,請參見擷取節點公網IP和節點名稱

    • Port:輸入22

    • Connection Type:選擇SSH

    • (可選)Saved Sessions:輸入一個便於識別的名稱,然後單擊Save即可儲存會話,下次登入時無需輸入公網IP等資訊。

  4. 單擊Open

  5. 輸入使用者名稱(預設為root)和密碼後就可以成功登入叢集。

串連ECS執行個體的方式

  1. 進入節點管理頁面。

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 單擊目的地組群操作列的節點管理

  2. 節點管理頁面,單擊目標節點名稱下的ECS ID,即可進入ECS控制台。

  3. 在執行個體頁面,單擊執行個體ID旁邊的遠端連線串連節點ECS執行個體。

    您也可以選擇合適的工具串連節點ECS執行個體,詳情請參見ECS遠端連線方式概述

    說明

    如果您通過Workbench串連執行個體時出現許可權問題,請參見使用Workbench串連ECS執行個體時出現沒有許可權的問題,怎麼處理?

登入叢集其他節點

免密登入其他節點

您可以通過以下步驟登入Core節點或Task節點。

  1. 登入叢集Master節點,詳情請參見登入叢集Master節點

  2. 在Master節點上切換到emr-user帳號。

    su emr-user
  3. 免密碼登入到對應的Core節點或Task節點。

    ssh <Core節點或Task節點的節點名稱>
    如需擷取Core節點或Task節點的節點名稱,請參見擷取節點公網IP和節點名稱。節點名稱樣本如core-1-1、task-1-1。

串連ECS執行個體的方式

  1. 進入節點管理頁面。

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 單擊目的地組群操作列的節點管理

  2. 節點管理頁面,單擊目標節點名稱下的ECS ID,即可進入ECS控制台。

  3. 在執行個體頁面,單擊重設執行個體密碼,詳情請參見重設執行個體登入密碼

    重要

    預設情況下,Core和Task類型節點未設定ECS登入密碼。如果需要使用密碼登入,請在ECS控制台中修改執行個體登入密碼。

  4. 重設密碼後,請選擇合適的工具串連節點ECS執行個體,詳情請參見ECS遠端連線方式概述

    說明

    如果您通過Workbench串連執行個體時出現許可權問題,請參見使用Workbench串連ECS執行個體時出現沒有許可權的問題,怎麼處理?

常見問題

叢集建立成功後,如何掛載公網,或者如何配置公網IP?

叢集建立成功後,您可以通過以下步驟配置公網IP。

  1. 進入節點管理頁面。

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 單擊目的地組群操作列的節點管理

  2. 節點管理頁面,單擊要掛載公網的節點群組所在行的image表徵圖,單擊節點ID進入執行個體詳情

  3. 配置資訊 > 公網IP地區,可以根據需求單擊綁定Elastic IP Address或者分配公網IP

    • 綁定Elastic IP Address:建立Elastic IP Address並進行綁定,具體可參考Elastic IP Address

    • 分配公網IP:設定大於0 Mbps的頻寬值,系統將自動分配公網IP,具體可參考固定公網IP

  4. 配置成功後,在節點管理頁面,單擊要擷取公網IP的節點群組所在行的image表徵圖,查看公網IP。

    image

如何在本地以免密方式登入叢集?

您可以通過以下步驟在本地以免密方式登入叢集。

  1. 開啟CMD,輸入以下命令產生密鑰檔案。

    ssh-keygen

    本機伺服器目錄下會產生相應的密鑰檔案。ssh-key

  2. 將產生的公開金鑰加入到待訪問叢集的Master節點上。

    1. 進入待訪問叢集的/.ssh目錄。

      cd ~/.ssh
    2. 配置Master節點的密鑰。

      vim authorized_keys
    3. 添加本地公開金鑰中id_rsa.pub的內容複寫到authorized_keys中。

  3. 將本地機器的IP地址添加到安全性群組規則中。

    1. 擷取機器的公網訪問IP地址。

      為了安全地訪問叢集組件,在設定安全性群組策略時,推薦您只針對當前的公網訪問IP地址開放。擷取您當前公網訪問IP地址的方法是,訪問IP地址,即可查看您當前的公網訪問IP地址。

    2. 添加安全性群組規則,並開啟22連接埠。

      添加安全性群組規則,詳情請參見添加安全性群組規則Security group

  4. 在CMD中,輸入以下命令免密登入叢集。

    ssh root@<Master節點公網IP地址>

建立叢集時的密碼可以用來登入叢集的節點嗎?

E-MapReduce叢集建立後,Master節點可以使用建立叢集時設定的密碼登入,其餘節點的登入方式,請查看登入叢集其他節點

如何重設叢集登入密碼?

重設密碼需要前往ECS控制台操作。具體操作如下:

  1. 在E-Mapreduce控制台的節點管理頁面,找到待修改的節點。

  2. 單擊執行個體ID,跳轉至ECS控制台。

  3. 在執行個體頁面,單擊重設密碼

    更多資訊,請參見重設執行個體登入密碼

使用Workbench串連ECS執行個體時出現沒有許可權的問題,怎麼處理?

通過Workbench串連ECS執行個體時如果出現沒有許可權的問題,請根據自己使用的帳號進行排查:

  • 阿里雲帳號(主帳號):排查是否已建立Workbench服務關聯角色。首次串連執行個體時會出現建立服務關聯角色的對話方塊,單擊確定系統會自動為您建立該服務關聯角色。

  • RAM帳號:需要聯絡主帳號或管理員為您授予AliyunECSWorkbenchFullAccess系統權限原則,擁有該許可權的使用者才可以建立Workbench的服務關聯角色並使用Workbench登入執行個體,具體可參見Workbench的服務關聯角色

相關文檔

為了確保叢集安全,Hadoop、Spark和Flink等開源組件的Web UI的連接埠均未對外開放,您可以通過以下方式訪問開源組件的Web介面: