全部產品
Search

搜尋本產品

    E-MapReduce：配置說明

    文件中心

    E-MapReduce：配置說明

    更新時間：Aug 23, 2024

    EMR Doctor的基本配置在安裝過程中已設定，主要控制叢集中繼資料和任務中繼資料的採集行為，通常情況下不需要修改和下發配置。本文為您介紹EMR Doctor的基本配置資訊以及如何修改基本配置。

    重要

    • 本文為您列出了EMR Doctor中可以修改的配置。其餘配置請勿修改，否則會導致任務運行失敗等嚴重問題。

    • 本文配置中的新版本叢集指的是資料湖（DataLake）和資料服務（DataServing）情境以及自訂叢集情境的叢集。舊版本叢集指的是舊版控制台的Hadoop叢集和Gateway叢集。

    儲存中繼資料採集配置

    配置名稱

    預設配置

    說明

    collect.storage.enable

    false

    是否採集儲存中繼資料，EMR Doctor預設不採集儲存中繼資料。

    您可以在監控診斷 > 叢集日報頁面手動開啟儲存資源資訊採集開關，開啟該配置。open

    collect.storage.intermediate.path

    /mnt/disk1/log/doctor/derby/

    儲存中繼資料採集過程產生的中間資料的路徑。

    儲存中繼資料採集過程會產生中間資料，資料大小與FSImage成正比。

    collect.storage.max.depth

    6

    進階配置。儲存中繼資料遍曆目錄層深，包含從'/'開始的目錄層級。

    說明

    不建議您將該參數值修改的過大，過大可能會造成分析時間過長、中間儲存資料過大等問題。

    collect.storage.top.size

    100

    進階配置。儲存中繼資料每個層級擷取的top目錄個數，預設是每個層級擷取top100。

    說明

    不建議您將該參數值修改得過大，可能會造成分析時間過長、中間儲存資料過大等問題。

    collect.oss.bucket

    無

    被分析的Bucket名稱。

    分析OSS資料時使用，相關功能請參見開通並配置OSS儲存分析。

    collect.oss.manifest.dir

    無

    資訊清單檔的目錄。

    分析OSS資料時使用，相關功能請參見開通並配置OSS儲存分析。

    您可以在EMR控制台TAIHAODOCTOR服務的配置頁面，查看或修改以上配置項。具體操作如下。

    1. 進入任意服務的配置頁面。

      說明

      因為EMR Doctor是隱藏的服務，所以您需要修改相應連結才能訪問EMR Doctor。本文以HDFS為例。

      1. 在EMR控制台，單擊目的地組群操作列的叢集服務。

      2. 在叢集服務頁面，單擊HDFS地區的配置。

    2. 修改瀏覽器連結中的服務名稱為TAIHAODOCTOR。HDFS

      替換服務名稱後，即可進入TAIHAODOCTOR服務的配置頁面。TAIHAODOCTOR

    3. 在TAIHAODOCTOR服務配置頁面，您可以根據實際情況修改上述配置，然後儲存並生效配置。

      修改配置項詳情，請參見修改配置項。

    調度器採集配置

    您可以在EMR控制台TAIHAODOCTOR服務的配置頁面，查看或修改以下配置項。修改以下配置的具體操作，請參見儲存中繼資料採集配置。

    配置名稱

    預設配置

    說明

    collect.job.interval

    120

    對YARN調度的任務狀態進行採集，預設每120S採集一次。

    collect.jobs.intermediate.path

    /mnt/disk1/log/doctor/jobs/

    儲存YARN調度任務狀態中間資料的路徑。

    通用配置

    您可以在EMR控制台TAIHAODOCTOR服務的配置頁面，查看或修改以下配置項。修改以下配置的具體操作，請參見儲存中繼資料採集配置。

    配置名稱

    預設配置

    說明

    collect.metrics.interval

    15

    對引擎每個任務的Counters採集的時間間隔，預設每15S採集一次。

    說明

    不建議您將該參數值修改的過大或過小，過大會造成任務建議不準確，過小會造成採集的壓力過大，影響任務穩定性。

    collect.rate.limit

    5000

    流控配置，每個進程每秒最大採集的記錄條數。超過流控的資料會被直接丟棄，防止影響進程穩定性。

    MR任務採集配置

    您可以在EMR控制台YARN服務的配置頁面，查看或修改以下配置項。

    修改配置項詳情，請參見修改配置項。

    配置名稱

    預設配置

    說明

    yarn.app.mapreduce.am.command-opts

    • 新版本叢集

      ${user_config} -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr

    • 舊版本叢集

      ${user_config} -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr

    採集MR AppMaster中繼資料。

    ${user_config}是您叢集的配置，後面的內容為EMR Doctor配置。

    mapreduce.map.java.opts

    • 新版本叢集

      ${user_config} -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr

    • 舊版本叢集

      ${user_config} -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr

    採集MR Map任務中繼資料。

    ${user_config}是您叢集的配置，後面的內容為EMR Doctor配置。

    mapreduce.reduce.java.opts

    • 新版本叢集

      ${user_config} -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr

    • 舊版本叢集

      ${user_config} -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr

    採集MR Reduce任務中繼資料。

    ${user_config}是您叢集的配置，後面的內容為EMR Doctor配置。

    Tez任務採集配置

    您可以在EMR控制台Tez服務的配置頁面，查看或修改以下配置項。

    修改配置項詳情，請參見修改配置項。

    配置名稱

    預設配置

    說明

    tez.am.launch.cmd-opts

    • 新版本叢集

      ${user_config} -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr,config=tez

    • 舊版本叢集

      ${user_config} -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr,config=tez

    採集Tez AppMaster中繼資料。

    tez.task.launch.cmd-opts

    • 新版本叢集

      ${user_config} -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr,config=tez

    • 舊版本叢集

      ${user_config} -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr,config=tez

    採集Tez Task中繼資料。

    Spark任務採集配置

    您可以在EMR控制台Spark服務的配置頁面，查看或修改以下配置項。

    修改配置項詳情，請參見修改配置項。

    配置名稱

    預設配置

    說明

    spark.driver.extraJavaOptions

    • 新版本叢集

      ${user_config} -noverify -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark

    • 舊版本叢集

      ${user_config} -noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark

    採集Spark Driver中繼資料。

    ${user_config}是您叢集的配置，後面的內容為EMR Doctor配置。

    spark.executor.extraJavaOptions

    • 新版本叢集

      ${user_config} -noverify -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark

    • 舊版本叢集

      ${user_config} -noverify -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=spark

    採集Spark Executor中繼資料。

    ${user_config}是您叢集的配置，後面的內容為EMR Doctor配置。

    YARN Timeline Server配置

    您可以在EMR控制台YARN服務的配置頁面，查看或修改以下配置項。

    修改配置項詳情，請參見修改配置項。

    配置名稱

    預設配置

    說明

    YARN_TIMELINESERVER_OPTS

    • 新版本叢集

      ${user_config} -javaagent:/opt/apps/TAIHAODOCTOR/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr,config=history

    • 舊版本叢集

      ${user_config} -javaagent:/usr/lib/taihaodoctor-current/emr-agent/btrace-agent.jar=libs=mr,config=history

    採集任務結束標誌。

    ${user_config}是您叢集的配置，後面的內容為EMR Doctor配置。