配置自定义软件 - EMR on ECS| 阿里云

Hadoop、Hive和Pig等软件含有大量的配置，当您需要对其软件配置进行修改时，可以在创建集群时通过软件自定义配置功能实现。本文为您介绍如何配置自定义软件。

使用限制

软件配置操作仅在集群创建时执行一次。

操作步骤

进入集群管理页面。
1. 登录阿里云E-MapReduce控制台。
2. 在顶部菜单栏处，根据实际情况选择地域和资源组。
3. 单击上方的集群管理页签。
单击右上角的创建集群。

在软件配置的高级设置区域，开启软件自定义配置参数。

您可以选择相应的JSON格式配置文件，覆盖或添加集群的默认参数。JSON文件的内容示例如下。

[
    {
        "ServiceName":"YARN",
        "FileName":"yarn-site",
        "ConfigKey":"yarn.nodemanager.resource.cpu-vcores",
        "ConfigValue":"8"
    },
    {
        "ServiceName":"YARN",
        "FileName":"yarn-site",
        "ConfigKey":"aaa",
        "ConfigValue":"bbb"
    }
]

ServiceName：服务名，需要全部大写。
FileName：文件名称，实际传参的文件名称，需要去掉后缀。
ConfigKey：配置项的名称。
ConfigValue：该配置项要设置的具体的值。

各服务的配置文件如下所示。


服务	配置文件
Hadoop	core-site.xml log4j.properties hdfs-site.xml mapred-site.xml yarn-site.xml httpsfs-site.xml capacity-scheduler.xml hadoop-env.sh httpfs-env.sh mapred-env.sh yarn-env.sh
Pig	pig.properties log4j.properties
Hive	hive-env.sh hive-site.xml hive-exec-log4j.properties hive-log4j.properties

集群组件的参数配置好后，您可以继续创建集群，详情请参见创建集群。