配置自訂軟體 - E-MapReduce

YARN和Hive等服務含有大量的配置項。如果您需要調整這些服務的配置項，則可以使用軟體自訂配置功能，以修改現有配置或添加新的配置項。

建立叢集時配置

登入E-MapReduce控制台。
在頂部功能表列處，根據實際情況選擇地區和資源群組。
在EMR on ECS頁面，單擊建立叢集。

在軟體配置的進階設定地區，開啟軟體自訂配置開關。 Custom software

您可以添加JSON格式的設定檔，在建立叢集過程中覆蓋或添加叢集服務的預設參數。JSON檔案的內容樣本如下。

[
    {
        "ApplicationName":"YARN",
        "ConfigFileName":"yarn-site.xml",
        "ConfigItemKey":"yarn.nodemanager.resource.cpu-vcores",
        "ConfigItemValue":"8"
    },
    {
        "ApplicationName":"YARN",
        "ConfigFileName":"yarn-site.xml",
        "ConfigItemKey":"aaa",
        "ConfigItemValue":"bbb"
    }
]

各參數含義如下表所示。

參數	描述
ApplicationName	服務名，需要全部大寫。
ConfigFileName	實際傳參的設定檔名稱。說明為確保設定檔正確應用於對應的叢集，請注意實際傳參時設定檔的命名細節。資料湖（DataLake）、即時資料流（DataFlow）、資料分析（OLAP）、資料服務（DataServing）或自訂情境（Custom）的叢集，需要包含尾碼。例如，檔案名稱為`yarn-site.xml`。舊版資料湖（hadoop），不需要尾碼。例如，檔案名稱為`yarn-site`。
ConfigItemKey	配置項的名稱。
ConfigItemValue	該配置項要設定的具體的值。

各服務的設定檔如下表所示。

服務	設定檔
YARN	core-site.xml log4j.properties hdfs-site.xml mapred-site.xml yarn-site.xml httpsfs-site.xml capacity-scheduler.xml hadoop-env.sh httpfs-env.sh mapred-env.sh yarn-env.sh
Hive	hive-env.sh hive-site.xml hive-exec-log4j.properties hive-log4j.properties

叢集組件的參數配置好後，您可以繼續建立叢集，詳情請參見建立叢集。

新增節點群組時配置

在叢集運行過程中，您可以通過新增節點群組來擴充叢集規模。新增節點群組時，也可以調整服務的配置項，詳情請參見管理節點群組。

E-MapReduce：配置自訂軟體

建立叢集時配置

新增節點群組時配置

相關文檔