E-MapReduce:EMR-CLI を使用したカスタムゲートウェイ環境のデプロイ

3つのゲートウェイデプロイメントモードと選択ガイド

ゲートウェイは EMR のジョブ送信隔離レイヤーであり、以下の主要な利点を提供します：

• クライアントワークロードとクラスターのコアサービスの分離

  spark-submit、hive -f、yarn application などのクライアント操作を、マスターノードやリソースマネージャーノードから分離します。

• マルチテナント環境の隔離の実装

  異なるユーザーや部門向けに独立したランタイム環境を構成できます。

• クラスターの安定性と保守性の向上

  高頻度の送信、スクリプトのデバッグ、環境の競合、リソース競合などの問題が、YARN ResourceManager や Hadoop 分散ファイルシステム (HDFS) NameNode などの主要なサービスに影響を与えるのを防ぎます。

EMR は3つのゲートウェイモードを提供します。各モードは、異なるクラスタータイプ、バージョン、およびアーキテクチャ要件に適しています。

前提条件

DataLake、Dataflow、OLAP、または Custom シナリオ向けの EMR コンピューティングクラスターが実行されている必要があります。クラスターの作成手順については、「クラスターの作成」をご参照ください。

制限事項

• クラスタータイプ：このソリューションは、DataLake、Dataflow、OLAP、および Custom クラスターのゲートウェイ環境のデプロイにのみ適用されます。クラスターのタイプとバージョンに互換性がある場合は、ゲートウェイノードグループの使用を推奨します。

  既存の Hadoop および Kafka クラスターのゲートウェイ環境のデプロイについては、「ゲートウェイクラスターの作成」をご参照ください。

  説明

  Hadoop または Kafka クラスターを作成できるのは、ご利用の Alibaba Cloud アカウントが 2022 年 12 月 19 日 17:00 (UTC+8) より前にこれらのクラスターを作成した場合に限られます。この日時より前にこれらのクラスタータイプを作成していないアカウントでは、作成できなくなります。

• 上書きインストール：EMR-CLI は、ゲートウェイクライアントを上書きモードでデプロイします。既存のゲートウェイがある ECS インスタンスに再デプロイすると、古いクライアントが上書きされ、新しいクライアントが同じディレクトリにインストールされます。

• 分離デプロイ：EMR クラスターの既存の ECS インスタンス (マスターノード、コアノード、タスクノードなど) をゲートウェイノードとして使用しないでください。これにより、クライアント環境がクラスターの正常な運用に干渉するのを防ぎます。

• サポートされるサービス：このデプロイ方法では、HDFS、YARN、HBase、Hive、Spark 2、Spark 3、JindoSDK、Flink、Sqoop、Impala、Presto、Hudi、Iceberg、Tez、Delta Lake の各サービスクライアントをサポートしています。

初回デプロイ

1. ECS コンソールで、インスタンスを作成します。詳細については、「ウィザードを使用したインスタンスの作成」をご参照ください。

   説明

   ECS インスタンスはパブリックネットワークへのアクセスは不要です。

   以下のパラメーター設定を推奨します。

   パラメーター	説明
   リージョンとゾーン	EMR クラスターと同じリージョンおよびゾーン。
   イメージ	EMR クラスターのインスタンスと同じオペレーティングシステム。
   システムディスク	60 GB 以上の ESSD を推奨します。
   ネットワーク	EMR クラスターと同じ Virtual Private Cloud (VPC)。
   セキュリティグループ	EMR クラスターのマスターノードグループと同じセキュリティグループを使用します。これにより、ECS インスタンスと EMR クラスター間のネットワーク接続が確保されます。

2. EMR ゲートウェイ専用の ECS RAM ロールを作成します。

   1. RAM 管理者として RAM コンソールにログインします。

   2. 左側ナビゲーションウィンドウで、アイデンティティ > Role を選択します。

   3. Role ページで、Create Role をクリックします。

   4. Create Role パネルで、[Principal Type] に [Cloud Service] を、[Principal Name] に ECS を設定し、[OK] をクリックします。

   5. Role Name (例：ECSForEMRGatewayRole) を入力し、OK をクリックします。

3. RAM ロールに権限を付与します。

   1. Permission Settings タブで、Add Authorization をクリックします。

   2. Add Authorization パネルで、システムポリシー を選択します。AliyunEMRFullAccess、AliyunOSSFullAccess、および AliyunDLFFullAccess を検索して選択し、[OK] をクリックします。

   3. 無効 をクリックします。

4. RAM ロールを ECS インスタンスにアタッチします。

   1. ECS コンソールにログインします。

   2. 左側ナビゲーションウィンドウで、インスタンス & イメージ > インスタンス を選択します。

   3. 上部メニューで、リージョンを選択します。

   4. 新しく作成した ECS インスタンスを見つけ、 > インスタンスの設定 > RAM ロールのアタッチ/デタッチ を選択します。

   5. 表示されるダイアログボックスで、[ECSForEMRGatewayRole] ロールを選択し、OK をクリックします。

5. ECS インスタンスに接続します。詳細については、「インスタンスへの接続」をご参照ください。

6. 次のコマンドを実行して EMR-CLI をインストールします。

   regionId=`curl http://100.100.100.200/latest/meta-data/region-id`; curl https://ecm-repo-${regionId}.oss-${regionId}-internal.aliyuncs.com/emrcli/emrcli.sh -o /tmp/emrcli.sh; chmod 755 /tmp/emrcli.sh; sh /tmp/emrcli.sh install ${regionId}

   インストールが成功すると、次のメッセージが表示されます：

   install emrcli success

7. 次のコマンドを実行して EMR ゲートウェイクライアントをデプロイします。

   emrcli gateway deploy \
     --clusterId <ClusterId> \
     --appNames <ApplicationName>

   次のパラメーターを実際の値に置き換えてください。

   パラメーター	必須	説明
   clusterId	はい	EMR クラスターの ID。
   appNames	いいえ	アプリケーション名。複数のアプリケーションを指定するには、名前をカンマ (,) で区切ります (例：HDFS,YARN)。 このパラメーターを省略すると、クラスター内のサポートされているすべてのアプリケーション (Hive や HDFS など) のクライアントがデフォルトでインストールされます。

   デプロイが成功すると、次のメッセージが表示されます：

   deployGateway success

   重要

   ゲートウェイがインストールされると、JAVA_HOME システム環境変数は /usr/lib/jvm/java-1.8.0 に設定されます。この設定は /etc/profile.d/emr_env.sh ファイルで変更できますが、ゲートウェイの機能に影響を与える可能性があるため、注意して実行してください。

8. ECS インスタンスに再度ログインして新しい環境変数を適用します。

9. オプション：ゲートウェイノードの DNS 名前解決を設定します。

   重要

   この手順は、ゲートウェイに Spark サービスが含まれている場合に必要です。

   1. ゾーンを追加します。詳細については、「組み込みの権威ゾーンの追加」をご参照ください。

   2. DNS レコードを追加します。詳細については、「DNS レコードの追加」をご参照ください。

      次の表に、必要なパラメーターを示します。

      パラメーター	説明
      [レコードタイプ]	デフォルト値の [A] を使用します。
      [ホストレコード]	ゲートウェイノードのホスト名 (例：iZ2zea8r0aht2vzbqci****) を入力します。 ホスト名は、hostname コマンドを実行して取得できます。
      [レコード値]	ゲートウェイノードの内部 IP アドレスを入力します。 このアドレスは、ノード管理ページで確認できます。
      [TTL 値]	デフォルト値を使用します。

ゲートウェイ管理

ゲートウェイを作成した後、関連付けられたクラスターに新しいサービスを追加したり、サービス設定を変更したりした場合、コマンドを実行してクライアントコンポーネントを更新したり、最新の設定を同期したりできます。

# 例：既存の HDFS と YARN のセットアップに FLINK クライアントを追加
emrcli gateway deploy \
  --clusterId <ClusterId> \
  --appNames HDFS,YARN,FLINK

deployGateway success

# 同期コマンドの実行
emrcli gateway refreshConfigs \
  --clusterId <ClusterId> \
  --appNames <ApplicationName> # オプション。同期するアプリケーションを指定します。

refreshConfiguration success

EMR-CLI の管理

emrcli version

2.0.0

よくある質問

Q：コンピューティングクラスターを切り替えるにはどうすればよいですか。

A：コンピューティングクラスターを切り替えるには、次の手順に従ってください：

1. データ損失を防ぐため、mv コマンドを使用して、古いクラスターから /opt/apps ディレクトリ、/etc/taihao-apps ディレクトリ、/etc/profile.d/emr_env.sh ファイル、および /etc/profile.d/yarn.sh ファイルを手動でバックアップしてください。

2. このトピックの手順に従って、新しいクラスターのゲートウェイ環境を再デプロイしてください。