すべてのプロダクト
Search

このプロダクト

    E-MapReduce:クラスターのゲートウェイノード経由でのジョブ送信

    ドキュメントセンター

    E-MapReduce:クラスターのゲートウェイノード経由でのジョブ送信

    最終更新日:Jan 06, 2026

    ゲートウェイノードは、複数のユーザーやアプリケーションがジョブを送信するための、統一された隔離エントリポイントを提供します。この方法により、E-MapReduce (EMR) のコアサービスの安定性を確保できます。ゲートウェイノードは、ジョブ送信などのクライアントワークロードをクラスターのマスターノードから分離します。この分離により、コアコンポーネントの安定性が保護され、異なるユーザー向けに独立した環境を構成できます。

    3つのゲートウェイデプロイメントモードと選択ガイド

    ゲートウェイは EMR のジョブ送信隔離レイヤーであり、以下の主要な利点を提供します：

    • クライアントワークロードとクラスターのコアサービスの分離

      spark-submit、hive -f、yarn application などのクライアント操作を、マスターノードやリソースマネージャーノードから分離します。

    • マルチテナント環境の隔離の実装

      異なるユーザーや部門向けに独立したランタイム環境を構成できます。

    • クラスターの安定性と保守性の向上

      高頻度の送信、スクリプトのデバッグ、環境の競合、リソース競合などの問題が、YARN ResourceManager や Hadoop 分散ファイルシステム (HDFS) NameNode などの主要なサービスに影響を与えるのを防ぎます。

    EMR は3つのゲートウェイモードを提供します。各モードは、異なるクラスタータイプ、バージョン、およびアーキテクチャ要件に適しています。

    タイプ

    サポートされるクラスタータイプとバージョン要件

    デプロイメント方法と主な特徴

    シナリオと推奨事項

    ゲートウェイノードグループ
    (推奨)

    以下のクラスターのみがサポートされます：

    • DataLake および DataFlow クラスター：EMR-5.10.1 以降

    • カスタムクラスター：EMR-5.17.1 以降

    • 既存のクラスターにノードグループを直接追加します。詳細については、「ノードグループの管理」をご参照ください。
    • 関連付けられたクラスターからクライアント構成を自動的に同期します。



    推奨：既存の DataLake または DataFlow クラスターに、安全で隔離された送信エントリポイントを迅速に追加するのに最適です。このオプションは、O&M コストが最も低く、高い構成の一貫性を保証します。

    ゲートウェイ環境

    DataLake、DataFlow、カスタム、および OLAP クラスターをサポートします

    • ECS インスタンスに手動でデプロイします。詳細については、「EMR コマンドラインインターフェイス (CLI) を使用したゲートウェイ環境デプロイメントのカスタマイズ」をご参照ください。
    • 完全に独立したファイルシステムとランタイム環境を提供します。関連付けられたクラスターからクライアント構成を手動で同期する必要があります。

    クラスターがゲートウェイノードグループをサポートしていない場合の標準的な代替手段です。

    ゲートウェイクラスター

    Hadoop および Kafka クラスターのみをサポートします

    • ゲートウェイノードのみを含む別の EMR クラスターを作成します。詳細については、「ゲートウェイクラスターの作成」をご参照ください。

    • 関連付けられたクラスターからクライアント構成を自動的に同期します。

    Hadoop および Kafka クラスターに適しています。

    操作手順

    1. Secure Shell (SSH) を使用してゲートウェイインスタンスに接続します。詳細については、「クラスターへのログイン」をご参照ください。

    2. SSH を使用してノードに接続した後、コマンドラインで次のコマンドを実行してジョブを送信し、実行します。この例では、Spark 3.1.1 を使用します: 

      spark-submit --class org.apache.spark.examples.SparkPi --master yarn --deploy-mode client --driver-memory 512m --num-executors 1 --executor-memory 1g --executor-cores 2 /opt/apps/SPARK3/spark-current/examples/jars/spark-examples_2.12-3.1.1.jar 10
      説明

      spark-examples_2.12-3.1.1.jar はクラスター内の JAR パッケージの名前です。クラスターにログインし、/opt/apps/SPARK3/spark-current/examples/jars パスでパッケージを見つけることができます。

    3. ジョブの詳細を表示します。ジョブを送信した後、YARN Web UI でその詳細を表示できます。次のステップで簡単な説明を示します:

      1. ポート 8443 を有効にします。詳細については、「セキュリティグループの管理」をご参照ください。

      2. ユーザーを追加します。詳細については、「OpenLDAP ユーザー管理」をご参照ください。

        Knox アカウントを使用して YARN Web UI にアクセスするには、Knox アカウントのユーザー名とパスワードを取得する必要があります。

      3. EMR on ECS ページで、ターゲットクラスターの行にある [クラスターサービス] をクリックします。

      4. [アクセスリンクとポート] タブをクリックします。

      5. [YARN UI] 行のパブリックリンクをクリックします。

        追加されたユーザーを使用してログイン認証を行い、YARN Web UI にアクセスします。

      6. [すべてのアプリケーション] ページで、ターゲットジョブの ID をクリックして詳細を表示します。

        Hadoop控制台