E-MapReduce コンソールの [アクセスリンクとポート] 機能は、クラスター内のオープンソースコンポーネントのウェブ UI にアクセスするための便利な方法です。このトピックでは、セキュリティグループルールを設定し、アクセスリンクを使用してこれらの UI を表示する方法について説明します。
コンポーネントのウェブ UI にアクセスするさまざまな方法については、「オープンソースコンポーネントのウェブ UI へのアクセス」をご参照ください。
前提条件
E-MapReduce クラスターを作成済みであること。詳細については、「クラスターの作成」をご参照ください。
アクセスリンクとポート
Access Links and Ports タブでは、サービスとそのアクセスアドレスを表示できます。
-
E-MapReduce コンソールにログインします。
-
上部メニューで、必要に応じてリージョンとリソースグループを選択します。
-
対象のクラスターのクラスターIDをクリックすると、その詳細ページが開きます。
-
[アクセスリンクとポート] タブをクリックして、コンポーネントサービスの UI アドレスを表示します。
ネイティブ UI アドレスを使用した内部アクセス
ネイティブ UI アドレスを使用して、サービスのウェブ UI に直接アクセスできます。この方法では、サービス UI の対応するポートを開放し、セキュリティグループにルールを追加する必要があります。この方法は簡単ですが、サービスごとに個別にポートを開放してアクセス権限を付与する必要があるという欠点があります。
1. アクセスポートの開放
クライアントマシンと E-MapReduce クラスターノードが同じ内部ネットワークにあることを確認してください。
E-MapReduce クラスターのセキュリティグループにルールを追加して、クライアントの IP アドレスからサービスのポートへのアクセスを許可します。
-
クラスター詳細ページで、基本情報 タブをクリックします。
-
の横にあるリンクをクリックすると、ECS のセキュリティグループ設定に移動します。
-
[セキュリティグループ詳細] ページの 受信 ルールで、ルールの追加 をクリックし、次のパラメーターを設定します。
パラメーター
説明
例
ポート範囲
アクセスするサービスのポート。
たとえば、YARN ウェブ UI の場合は
8088/8088と入力します。その他のコンポーネントポートについては、「オープンソースコンポーネントのウェブ UI へのアクセス」をご参照ください。承認オブジェクト
クライアントマシンの内部 IP アドレス。
内部 IP アドレス。E-MapReduce クラスターノードと同じ内部ネットワークにある必要があります。
説明パラメーターの詳細については、「セキュリティグループルール」をご参照ください。
2. ネイティブ UI アドレスへのアクセス
-
「クラスター詳細」ページで、Access Links and Ports タブをクリックし、目的のサービスの Native UI Address をコピーします。
-
クライアントマシンでブラウザーを開き、コピーしたアドレスを貼り付けます。Linux を使用している場合は、
curl -L http://<IP_address>:<service_port>/コマンドを実行して接続を確認できます。
Knox プロキシアドレスを使用したアクセス
別の方法として、Knox プロキシアドレスを介してすべてのサービスの Web UI にアクセスできます。この方法では、Knox のポート 8443 を開き、Users で追加したユーザーを使用して認証する必要があります。この方法の利点は、公開するポートが少なく、ID 認証が提供されることですが、欠点は手順が多いことです。
この方法は、現在、YARN、HDFS、Spark 2、Spark 3、Flink、HBase、Impala、Trino、Presto、Tez、Ranger のサービスでサポートされています。
1. Knox サービスの追加
E-MapReduce クラスターに Knox サービスがまだインストールされていない場合は、追加します。
-
「クラスター詳細」ページで、Services タブをクリックして、クラスターサービス一覧に移動します。
-
[サービスを追加] をクリックし、Knox と OpenLDAP サービスを選択して、プロセスを完了します。
-
しばらくすると、新しいサービスがサービスリストに表示されます。Access Links and Ports タブには、内部 Knox プロキシアドレスが表示されます。
2. (オプション) EIP の関連付け
内部 Knox プロキシアドレスを使用してウェブ UI にアクセスするだけの場合、または EIP がすでに関連付けられている場合は、この手順をスキップできます。
-
「クラスター詳細」ページで、Nodes タブをクリックしてノードリストに移動します。
-
emr-master ノードグループの行で、
アイコンをクリックし、master-1-1 のノード ID リンクを見つけてクリックして、ECS コンソールを開きます。 -
ECS の Instance Details ページの Instance Details セクションで、Public IP Address の下で ECS インスタンスに EIP の関連付け を行います。 詳細については、「Elastic IP アドレス」をご参照ください。
-
E-MapReduce クラスターの詳細ページに戻ります。右上隅で、 をクリックしてホスト情報を同期します。
-
しばらくすると、パブリック Knox プロキシ アドレスが Access Links and Ports タブに表示されます。
3. ポート 8443 の開放
クラスターのセキュリティグループにルールを追加して、ポート 8443 を開放します。手順は アクセスポートの開放 と同様です。主なパラメーターは次のとおりです。
|
パラメーター |
説明 |
例 |
|
ポート範囲 |
Knox のポート。 |
|
|
承認オブジェクト |
クライアントマシンの IP アドレス。 |
|
4. ユーザーの追加
認証には、Users タブで作成されたユーザーアカウントのユーザー名とパスワードが必要です。ユーザーアカウントをまだ追加していない場合は、「OpenLDAP ユーザー管理」をご参照ください。
5. プロキシアドレスへのアクセス
クラスター詳細ページで、Access Links and Ports タブに移動します。
-
パブリックアクセス:目的のコンポーネントの [パブリックアドレス] をクリックします。ユーザー名とパスワードを入力して、サービスのウェブ UI にアクセスします。
-
内部アクセス:目的のコンポーネントの [内部アドレス] をクリックします。ユーザー名とパスワードを入力して、サービスのウェブ UI にアクセスします。Linux を使用している場合は、
curl -k -u <username>:<password> https://<internal_ip>:8443/gateway/cluster-topo/xxコマンドを実行して接続を確認できます。
特殊なコンポーネント
Ranger UI へのアクセス
クラスターで Ranger が有効になっている場合、デフォルトのユーザー名とパスワードを使用して Ranger UI にアクセスできます。詳細については、「Ranger」をご参照ください。
-
DataLake クラスターの場合
-
EMR-3.44.0 以降または EMR-5.10.0 以降の場合:
デフォルトのユーザー名は admin 、デフォルトのパスワードは Admin1234 です。
-
EMR-3.44.0 より前または EMR-5.10.0 より前のバージョンの場合:
デフォルトのユーザー名は admin 、デフォルトのパスワードは admin1234 です。
-
-
Hadoop クラスターの場合
デフォルトのユーザー名とパスワードはいずれも admin です。
Flink UI へのアクセス (E-MapReduce 3.29.0 より前のバージョン)
Flink コンポーネントの以前のバージョンでは、SSH トンネルを使用してのみウェブ UI にアクセスできます。詳細については、「SSH トンネルを使用してオープンソースコンポーネントのウェブ UI にアクセスする」をご参照ください。
よくある質問
[アクセスリンクとポート] ページが空白になるのはなぜですか?
アカウントに料金滞納がある場合、このページが空白になることがあります。これにより、サービス停止が発生する可能性があります。サービスを復元するには、すべての未払い料金を決済してください。
ネイティブ UI アドレスにアクセスできないのはなぜですか?
クライアントマシンと E-MapReduce クラスターノードが同じ内部ネットワークにあることを確認してください。
どのユーザー名とパスワードを使用すればよいですか?
[ユーザー管理] タブで作成したユーザーアカウントの認証情報を使用してください。手順については、「OpenLDAP ユーザー管理」をご参照ください。
ログインプロンプトが繰り返し表示されるのはなぜですか?
-
クラスター詳細ページで、Services タブをクリックし、OpenLDAP サービスを停止します。
-
master-1-1 ノードにログインします。
-
repair_ldap_service.sh 修復スクリプトを master-1-1 ノードにコピーします。
-
root ユーザーとして、
bash repair_ldap_service.shコマンドを実行します。 -
E-MapReduce コンソールに戻ります。OpenLDAP のサービス詳細ページで、右上隅のをクリックして OpenLDAP サービスを再起動します。
Knox プロキシアクセスが失敗するのはなぜですか?
-
指示に従ってポート 8443 を開放したことを確認してください。
-
Knox と一部のオープンソースコンポーネントの以前のバージョンとの互換性の問題により、ウェブ UI へのアクセスが失敗する場合があります。この場合は、別のアクセス方法を使用してください。これらの互換性の問題は、次のサービスバージョンに影響します。
-
E-MapReduce バージョン 5.10.x から 5.12.x の HBase コンポーネント。
-
E-MapReduce バージョン 5.10.x から 5.14.x の Presto および Trino コンポーネント。
-
関連ドキュメント
-
セキュリティ要件が高い場合や特定のネットワーク環境がある場合は、SSH トンネルを使用してウェブ UI にアクセスできます。詳細については、「SSH トンネルを使用してオープンソースコンポーネントのウェブ UI にアクセスする」をご参照ください。
-
サービスの使用に関するその他の質問については、「よくある質問」をご参照ください。