SSH、Workbench、またはその他の方法で E-MapReduce (EMR) クラスターノードにログインし、Elastic Compute Service (ECS) インスタンスに接続してクラスターを管理できます。
前提条件
-
ローカルマシンがクラスターのマスターノードに接続できる必要があります。クラスターの作成時に Assign Public Network IP スイッチをオンにできます。または、クラスターの作成後に、ECS コンソールでマスターノードに固定パブリック IP アドレスまたは Elastic IP アドレス (EIP) を割り当てることもできます。詳細については、「クラスター作成後にパブリック IP アドレスを割り当てるにはどうすればよいですか?」をご参照ください。
-
クラスターのセキュリティグループで、TCP ポート 22 でのインバウンドトラフィックが許可されていることを確認してください。詳細については、「セキュリティグループルールの追加」をご参照ください。
ノードのパブリック IP と名前の確認
次の手順に従って、ノードのパブリック IP アドレスまたは名前を確認します。
-
ノードページに移動します。
-
E-MapReduce コンソールにログインします。
-
トップナビゲーションバーで、リージョンとリソースグループを選択します。
-
対象クラスターの [操作] 列で、Nodes をクリックします。
-
-
Nodes ページで、対象のノードグループの横にある
アイコンをクリックして、そのパブリック IP アドレスとノード名を表示します。-
Public IP Address:ノードのパブリック IP アドレスです。
説明ノードのパブリック IP アドレスが表示されない場合は、クラスター作成時に Assign Public Network IP オプションが有効になっていなかったことを示します。パブリック IP アドレスを割り当てるには、「クラスター作成後にパブリック IP アドレスを割り当てるにはどうすればよいですか?」をご参照ください。
-
Node Name:ノードの名前です。例:
master-1-1、core-1-1、task-1-1。
-
マスターノードへのログイン
SSH キーペア
キーペアを作成すると、秘密鍵が自動的にダウンロードされ、.pem ファイルとして保存されます。
ご利用のオペレーティングシステムの手順に従ってください。
Linux
この例では、ecs.pem 秘密鍵ファイルを使用してマスターノードにログインする方法を説明します。
-
次のコマンドを実行して、秘密鍵ファイルの権限を変更します。
chmod 400 ~/.ssh/ecs.pemこの例では、
~/.ssh/ecs.pemはローカルマシン上の ecs.pem 秘密鍵ファイルのパスです。 -
次のコマンドを実行して、マスターノードに接続します。
ssh -i ~/.ssh/ecs.pem emr-user@<public_ip_address_of_the_master_node>マスターノードのパブリック IP アドレスを取得するには、「ノードのパブリック IP と名前の確認」をご参照ください。
Windows
Windows マシンでは、コマンドプロンプトまたは PuTTY を使用してマスターノードにログインできます。
コマンドプロンプト
コマンドプロンプトを開き、次のコマンドを実行してマスターノードにログインします。
ssh -i <path_to_your_.pem_private_key_file> emr-user@<public_ip_address_of_the_master_node>
マスターノードのパブリック IP アドレスを取得するには、「ノードのパブリック IP と名前の確認」をご参照ください。
PuTTY
-
PuTTY と PuTTYgen をダウンロードします。
-
PuTTYgen を使用して、.pem 秘密鍵ファイルを .ppk ファイルに変換します。
-
PuTTYgen を実行します。この例では、PuTTYgen 0.82 を使用します。
-
[Actions] セクションで、[Load] をクリックして、クラスターの作成時にダウンロードした秘密鍵ファイルをインポートします。
ファイルをインポートする際、ファイルの種類を [すべてのファイル (*.*)] に設定します。
-
変換する .pem 秘密鍵ファイルを選択し、Enable をクリックします。
-
[Save private key] をクリックします。
-
表示されるダイアログボックスで、Yes をクリックします。.ppk 秘密鍵ファイルの名前を入力し、Save をクリックします。
変換された秘密鍵をローカルマシンに保存します。例:kp-123.ppk。
-
-
PuTTY を使用してマスターノードにログインします。
-
PuTTY を実行します。
-
ナビゲーションウィンドウで、[Connection] > [SSH] > [Auth] > [Credentials] を選択します。[Private key file for authentication] オプションで [Browse] をクリックし、変換されたキーファイルを選択します。
-
[Session] をクリックします。[Host Name (or IP address)] フィールドに、ログインユーザー名とマスターノードのパブリック IP アドレスを入力します。
フォーマットは
emr-user@<マスターノードのパブリック IP アドレス>です。例:emr-user@10.10.xx.xx。マスターノードのパブリック IP アドレスを取得するには、「ノードのパブリック IP と名前の確認」をご参照ください。[Port] が [22] に、[Connection type] が [SSH] に設定されていることを確認します。
-
[Open] をクリックします。表示されるダイアログボックスで [Accept] をクリックして、マスターノードにログインします。
-
SSH パスワード
これらの手順は、root ユーザー名とクラスター作成時に設定したパスワードを使用することを前提としています。
ご利用のオペレーティングシステムの手順に従ってください。
Linux
ローカルターミナルで次のコマンドを実行して、マスターノードに接続します。
ssh root@<public_ip_address_of_the_master_node>
マスターノードのパブリック IP アドレスを取得するには、「ノードのパブリック IP と名前の確認」をご参照ください。
Windows
-
PuTTY をダウンロードしてインストールします。ダウンロードリンク:PuTTY。
-
PuTTY を起動します。
-
クラスターに接続するために必要な情報を設定します。
-
[Host Name (or IP address)]:マスターノードの固定パブリック IP アドレスまたは EIP を入力します。マスターノードのパブリック IP アドレスを取得するには、「ノードのパブリック IP と名前の確認」をご参照ください。
-
ポート: 22 を入力します。
-
[Connection type]:[SSH] を選択します。
-
(オプション) これらの設定を後で使用するために保存するには、[Saved Sessions] フィールドにセッション名を入力し、[Save] をクリックします。
-
-
[開く] をクリックします。
-
ユーザー名 (デフォルトは
root) とパスワードを入力して、クラスターにログインします。
ECS 接続メソッド
-
ノードページに移動します。
-
E-MapReduce コンソールにログインします。
-
必要に応じて、トップナビゲーションバーでリージョンとリソースグループを選択します。
-
対象クラスターの [操作] 列で、Nodes をクリックします。
-
-
Nodes ページで、対象ノード名の下にある ECS ID をクリックして、ECS コンソールを開きます。
-
[インスタンス] ページで、インスタンス ID の横にある リモート接続 をクリックします。
ノードの ECS インスタンスに接続するために、適切なツールを選択することもできます。詳細については、「接続方法」をご参照ください。
説明Workbench を使用してインスタンスに接続する際に権限の問題が発生した場合は、「Workbench を使用して ECS インスタンスに接続する際に権限エラーが発生した場合はどうすればよいですか?」をご参照ください。
他のクラスターノードへのログイン
他のノードへのパスワードなしのログイン
次の手順に従って、コアノードまたはタスクノードにログインします。
-
クラスターのマスターノードにログインします。詳細については、「マスターノードへのログイン」をご参照ください。
-
マスターノードで、
emr-userアカウントに切り替えます。su emr-user -
パスワードなしで対象のコアノードまたはタスクノードにログインします。
ssh <node_name_of_the_core_or_task_node>コアノードまたはタスクノードの名前を取得するには、「ノードのパブリック IP と名前の確認」をご参照ください。ノード名の例としては、
core-1-1やtask-1-1があります。
ECS 接続メソッド
-
ノードページに移動します。
-
E-MapReduce コンソールにログインします。
-
必要に応じて、トップナビゲーションバーでリージョンとリソースグループを選択します。
-
対象クラスターの [操作] 列で、Nodes をクリックします。
-
-
Nodes ページで、対象ノード名の下にある ECS ID をクリックして、ECS コンソールを開きます。
-
[インスタンス] ページで、インスタンスパスワードのリセット をクリックします。詳細については、「インスタンスのログインパスワードのリセット」をご参照ください。
重要デフォルトでは、コアノードとタスクノードには ECS ログインパスワードがありません。パスワードでログインするには、まず ECS コンソールでパスワードをリセットする必要があります。
-
パスワードをリセットした後、適切なツールを選択してノードの ECS インスタンスに接続します。詳細については、「ECS リモート接続方法の選択」をご参照ください。
説明Workbench を使用してインスタンスに接続する際に権限の問題が発生した場合は、「Workbench を使用して ECS インスタンスに接続する際に権限エラーが発生した場合はどうすればよいですか?」をご参照ください。
よくある質問
パブリック IP アドレスの割り当て
パスワードなしのログイン
クラスター作成時のパスワード
クラスターパスワードのリセット
Workbench の権限エラー
参考資料
セキュリティ上の理由から、Hadoop、Spark、Flink などのオープンソースコンポーネントの Web UI は公開されていません。アクセスするには、次のいずれかの方法を使用します。