E-MapReduce:ソフトウェア構成のカスタマイズ

クラスター作成時の構成

1. EMR コンソールにログインします。左側のナビゲーションウィンドウで、[EMR on ECS] をクリックします。

2. トップメニューバーで、リージョンとリソースグループを選択します。

3. EMR on ECS ページで、[クラスターの作成] をクリックします。

4. [詳細設定] セクションの [ソフトウェア設定] ステップで、[カスタムソフトウェア設定] スイッチをオンにします。

   クラスターの作成中に JSON 構成ファイルを追加して、サービスパラメーターを上書きまたは追加できます。次のコードは、JSON ファイルのサンプルを示しています。

   [
       {
           "ApplicationName":"YARN",
           "ConfigFileName":"yarn-site.xml",
           "ConfigItemKey":"yarn.nodemanager.resource.cpu-vcores",
           "ConfigItemValue":"8"
       },
       {
           "ApplicationName":"YARN",
           "ConfigFileName":"yarn-site.xml",
           "ConfigItemKey":"aaa",
           "ConfigItemValue":"bbb"
       }
   ]

   • 次の表にパラメーターを示します。

     パラメーター	説明
     ApplicationName	サービス名。名前はすべて大文字にする必要があります。
     ConfigFileName	渡される構成ファイルの名前。 説明 構成ファイルを正しく適用するには、ファイルの命名の詳細に注意してください。 DataLake、DataFlow、OLAP、DataServing、またはカスタムシナリオのクラスターの場合、ファイル名には拡張子を含める必要があります。例: yarn-site.xml。 レガシーデータレイク (Hadoop) クラスターの場合、ファイル名に拡張子は必要ありません。例: yarn-site。
     ConfigItemKey	設定項目の名前。
     ConfigItemValue	設定項目に設定する値。

   • 次の表に、各サービスの構成ファイルを示します。

     サービス	構成ファイル
     YARN	core-site.xml log4j.properties hdfs-site.xml mapred-site.xml yarn-site.xml httpsfs-site.xml capacity-scheduler.xml hadoop-env.sh httpfs-env.sh mapred-env.sh yarn-env.sh
     Hive	hive-env.sh hive-site.xml hive-exec-log4j.properties hive-log4j.properties

   クラスターコンポーネントのパラメーターを設定したら、クラスターの作成を続行できます。詳細については、「クラスターの作成」をご参照ください。

ノードグループ追加時の構成

実行中のクラスターに新しいノードグループを追加してスケールアウトできます。ノードグループを追加するときに、サービスの設定項目を調整することもできます。詳細については、「ノードグループの管理」をご参照ください。

リファレンス

クラスターの作成後、各サービスの設定ページで設定項目を調整することもできます。詳細については、「設定項目の管理」をご参照ください。