カスタムソフトウェアの設定 - E-MapReduce - Alibaba Cloud ドキュメントセンター

YARN や Hive などのサービスには多くの設定項目があります。これらの項目を調整するには、カスタムソフトウェア設定機能を使用して、既存の設定を変更したり、新しい設定を追加したりします。

クラスター作成時の設定

E-MapReduce コンソールにログインします。
上部メニューで、必要に応じてリージョンとリソースグループを選択します。
EMR on ECS ページで、CREATE_CLUSTER をクリックします。

Software Configuration セクションの Advanced Settings で、ソフトウェアのカスタム設定 スイッチをオンにします。

JSON 形式の設定ファイルを追加することで、クラスターの作成時にサービスのデフォルトパラメーターをオーバーライドしたり、新しいパラメーターを追加したりできます。次のコードは一例です。

[
    {
        "ApplicationName":"YARN",
        "ConfigFileName":"yarn-site.xml",
        "ConfigItemKey":"yarn.nodemanager.resource.cpu-vcores",
        "ConfigItemValue":"8"
    },
    {
        "ApplicationName":"YARN",
        "ConfigFileName":"yarn-site.xml",
        "ConfigItemKey":"aaa",
        "ConfigItemValue":"bbb"
    }
]

各パラメーターの説明は、次の表のとおりです。

パラメーター	説明
ApplicationName	サービス名。値はすべて大文字にする必要があります。
ConfigFileName	変更する設定ファイルの名前。説明設定を正しく適用するために、所定のファイル命名規則に従ってください。データレイク、DataFlow、OLAP、DataServing、またはカスタムクラスターの場合、ファイル拡張子が必要です。例：`yarn-site.xml` レガシーデータレイク (Hadoop) クラスターの場合、ファイル拡張子は不要です。例：`yarn-site`
ConfigItemKey	設定項目の名前。
ConfigItemValue	設定項目に設定する値。

次の表に、各サービスの設定ファイルを示します。

サービス	設定ファイル
YARN	core-site.xml log4j.properties hdfs-site.xml mapred-site.xml yarn-site.xml httpfs-site.xml capacity-scheduler.xml hadoop-env.sh httpfs-env.sh mapred-env.sh yarn-env.sh
HIVE	hive-env.sh hive-site.xml hive-exec-log4j.properties hive-log4j.properties

コンポーネントのパラメーターを設定したら、クラスターの作成を続行してください。詳細については、「クラスターの作成」をご参照ください。

ノードグループ追加時の設定

実行中のクラスターにノードグループを追加することで、クラスターをスケールアウトできます。ノードグループの追加時に、サービス設定を調整することもできます。詳細については、「ノードグループの管理」をご参照ください。

E-MapReduce:カスタムソフトウェアの設定

クラスター作成時の設定

ノードグループ追加時の設定

関連ドキュメント