Hadoop、Hive和Pig等软件含有大量的配置,当您需要对其软件配置进行修改时,可以在创建集群时通过软件自定义配置功能实现。本文为您介绍如何配置自定义软件。

使用限制

软件配置操作仅在集群创建时执行一次。

操作步骤

  1. 进入集群管理页面。
    1. 登录阿里云E-MapReduce控制台
    2. 在顶部菜单栏处,根据实际情况选择地域和资源组
    3. 单击上方的集群管理页签。
  2. 单击右上角的创建集群
  3. 软件配置高级设置区域,开启软件自定义配置参数。
    Soft-set您可以选择相应的JSON格式配置文件,覆盖或添加集群的默认参数。JSON文件的内容示例如下。
    [
        {
            "ServiceName":"YARN",
            "FileName":"yarn-site",
            "ConfigKey":"yarn.nodemanager.resource.cpu-vcores",
            "ConfigValue":"8"
        },
        {
            "ServiceName":"YARN",
            "FileName":"yarn-site",
            "ConfigKey":"aaa",
            "ConfigValue":"bbb"
        }
    ]
    • ServiceName:服务名,需要全部大写。
    • FileName:文件名称,实际传参的文件名称,需要去掉后缀。
    • ConfigKey:配置项的名称。
    • ConfigValue:该配置项要设置的具体的值。
    各服务的配置文件如下所示。
    服务 配置文件
    Hadoop
    • core-site.xml
    • log4j.properties
    • hdfs-site.xml
    • mapred-site.xml
    • yarn-site.xml
    • httpsfs-site.xml
    • capacity-scheduler.xml
    • hadoop-env.sh
    • httpfs-env.sh
    • mapred-env.sh
    • yarn-env.sh
    Pig
    • pig.properties
    • log4j.properties
    Hive
    • hive-env.sh
    • hive-site.xml
    • hive-exec-log4j.properties
    • hive-log4j.properties
    集群组件的参数配置好后,您可以继续创建集群,详情请参见创建集群