全部产品
Search
文档中心

开源大数据平台E-MapReduce:配置自定义软件

更新时间:Jan 30, 2024

YARN和Hive等服务含有大量的配置项。如果您需要调整这些服务的配置项,则可以在集群创建时使用软件自定义配置功能,以修改现有配置或添加新的配置项。

使用限制

软件配置操作仅在集群创建时执行一次。

操作步骤

  1. 登录E-MapReduce控制台

  2. 在顶部菜单栏处,根据实际情况选择地域和资源组

  3. 在EMR on ECS页面,单击创建集群

  4. 软件配置高级设置区域,开启软件自定义配置开关。 Custom software

    您可以添加JSON格式的配置文件,在创建集群过程中覆盖或添加集群服务的默认参数。JSON文件的内容示例如下。

    [
        {
            "ApplicationName":"YARN",
            "ConfigFileName":"yarn-site.xml",
            "ConfigItemKey":"yarn.nodemanager.resource.cpu-vcores",
            "ConfigItemValue":"8"
        },
        {
            "ApplicationName":"YARN",
            "ConfigFileName":"yarn-site.xml",
            "ConfigItemKey":"aaa",
            "ConfigItemValue":"bbb"
        }
    ]
    • 各参数含义如下表所示。

      参数

      描述

      ApplicationName

      服务名,需要全部大写。

      ConfigFileName

      实际传参的配置文件名称。

      说明

      为确保配置文件正确应用于对应的集群,请注意实际传参时配置文件的命名细节。

      • 数据湖(DataLake)、实时数据流(DataFlow)、数据分析(OLAP)、数据服务(DataServing)或自定义场景(Custom)的集群,需要包含后缀。例如,文件名称为yarn-site.xml

      • 旧版数据湖(hadoop),不需要后缀。例如,文件名称为yarn-site

      ConfigItemKey

      配置项的名称。

      ConfigItemValue

      该配置项要设置的具体的值。

    • 各服务的配置文件如下表所示。

      服务

      配置文件

      YARN

      • core-site.xml

      • log4j.properties

      • hdfs-site.xml

      • mapred-site.xml

      • yarn-site.xml

      • httpsfs-site.xml

      • capacity-scheduler.xml

      • hadoop-env.sh

      • httpfs-env.sh

      • mapred-env.sh

      • yarn-env.sh

      Hive

      • hive-env.sh

      • hive-site.xml

      • hive-exec-log4j.properties

      • hive-log4j.properties

    集群组件的参数配置好后,您可以继续创建集群,详情请参见创建集群

相关文档

集群创建完成后,您还可以在各服务配置页面直接调整配置项,详情请参见管理配置项