Hadoop、Hive、Pig等软件含有大量的配置,当您需要对其软件配置进行修改时,可以在创建集群时通过软件自定义配置功能实现。
前提条件
操作步骤
- 登录阿里云E-MapReduce控制台。
- 在顶部菜单栏处,根据实际情况选择地域(Region)和资源组。
- 单击上方的集群管理页签。
- 单击右上角的创建集群。
- 在软件配置的高级设置区域,您可以通过开启软件自定义配置修改集群的配置。 您可以选择相应的JSON格式配置文件,覆盖或添加集群的默认参数。JSON文件的内容示例如下。
[ { "ServiceName":"YARN", "FileName":"yarn-site", "ConfigKey":"yarn.nodemanager.resource.cpu-vcores", "ConfigValue":"8" }, { "ServiceName":"YARN", "FileName":"yarn-site", "ConfigKey":"aaa", "ConfigValue":"bbb" } ]
其中:- 实际传参的
FileName
,需要去掉后缀。 - 服务名(
ServiceName
)需全部大写。 ConfigKey
是配置项的名称。ConfigValue
为该配置项要设置的具体的值。
各个服务的配置文件如下所示。服务 配置文件 Hadoop - core-site.xml
- log4j.properties
- hdfs-site.xml
- mapred-site.xml
- yarn-site.xml
- httpsfs-site.xml
- capacity-scheduler.xml
- hadoop-env.sh
- httpfs-env.sh
- mapred-env.sh
- yarn-env.sh
Pig - pig.properties
- log4j.properties
Hive - hive-env.sh
- hive-site.xml
- hive-exec-log4j.properties
- hive-log4j.properties
- 实际传参的
- 设置好后,确认后单击下一步。继续创建集群,详情可参见创建集群。