全部產品
Search

搜尋本產品

    E-MapReduce：管理日誌

    文件中心

    E-MapReduce：管理日誌

    更新時間：May 19, 2026

    E-Mapreduce（簡稱EMR）開源組件運行過程中會產生大量的日誌。日誌管理功能將EMR與Log ServiceSLS相結合，允許您在EMR控制台直接查詢開源組件的日誌。

    前提條件

    使用限制

    • 本文操作僅適用於資料湖（DataLake）、即時資料流（DataFlow）、資料分析（OLAP）、資料服務（DataServing）和資料湖（Hadoop）情境的叢集。

    • 支援日誌投遞的服務有hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss、host（主機）。

    注意事項

    • 日誌儲存及索引流量費用等按照標準收費，由Log Service（SLS）單獨收費，具體操作請參見計費項目。

    • 如果您使用的是RAM使用者，請使用阿里雲帳號登入RAM控制台，為RAM使用者授予AliyunLogFullAccess許可權，具體操作請參見管理RAM使用者的許可權。

    開啟日誌投遞

    1. 進入日誌管理頁面。

      1. 登入E-MapReduce控制台。

      2. 在頂部功能表列處，根據實際情況選擇地區和資源群組。

      3. 在EMR on ECS頁面，單擊目的地組群的集群ID。

      4. 單擊上方的日志管理頁簽。

    2. 配置日誌投遞範圍。

      1. 在日志管理頁面，單擊右側的设置日志投递范围。

      2. 在彈出的對話方塊中，配置日誌儲存的Project。

        您可以選擇已有Project或者建立Project。

        重要

        Project一經選擇不可變更。

      3. 勾選需要日誌投遞的服務，單擊确定。

    3. 查看服務日誌。

      1. 在請選擇EMR服務下拉框中選擇您需要查看日誌的服務。

      2. 在日誌介面對日誌進行分析。

        您可以指定時間段和查詢語句進行即時查詢。例如，可快速分析某一個欄位在一段時間內的分布情況，您也可以按條件過濾或統計您希望查看的訪問記錄。

    關閉日誌投遞

    重要

    關閉即時日誌投遞不會自動刪除Project。因此，當您關閉日誌投遞後，為避免後續產生不必要的費用，請前往Log Service控制台刪除開通日誌投遞時選擇的Project。具體操作，請參見管理Project。

    當您確認不再需要保留日誌資料時，可以按照如下步驟關閉即時日誌查詢。

    1. 在日志管理頁面，單擊右側的关闭日志投递。

    2. 在彈出的對話方塊中，單擊OK。

    管理SLS Project

    您可以在日志管理頁面，單擊右側的前往日志服务控制台，可以進入Log Service控制台。在SLS控制台您可以設定日誌儲存時間，並修改Logstore相關配置。

    日誌欄位詳情

    欄位名稱

    說明

    __source__

    節點的內網IP地址。

    __tag__:__hostname__

    節點的Hostname。

    __tag__:__path__

    日誌儲存路徑。

    __tag__:__user_defined_id__

    SLS為叢集定義的自訂標識符。

    __tag__:_aliyun_user_id_

    阿里雲帳號的UID。

    __tag__:_ecs_id_

    ECS執行個體ID。

    __tag__:_main_cluster_id_

    EMR叢集ID。

    __tag__:_role_

    節點名稱。例如，core-1-1。

    __topic__

    日誌主題。用於分類日誌內容。

    content

    日誌原始內容，通常是完整的日誌記錄。

    level

    記錄層級。表示日誌的嚴重程度（例如，INFO、WARN、ERROR、DEBUG等）。

    message

    日誌內容，通常是經過解析後的主要資訊部分。

    thread

    日誌產生的線程。

    time

    日誌產生時間。

    資產詳情

    • 自訂的Project和專屬Logstore

      您可以自訂一個Project，系統將在該Project下產生名為emr_EMR服務名稱_log的專屬Logstore。例如您要投遞host服務的日誌，則對應的Logstore為emr_host_log。

      重要

      • 在停用日誌功能前，請勿刪除EMR日誌相關的Log ServiceProject和Logstore，否則將導致已儲存的日誌被清除，且新日誌無法被投遞到Log Service。

      • 若您曾開通過按寫入資料量計費模式，則系統預設建立計費模式為按寫入資料量計費的專屬Logstore。若您需要切換至按使用功能計費模式，可修改Logstore配置。具體操作，請參見修改LogStore配置。

    • 專屬儀錶盤

      無專屬儀錶盤，您可以自訂儀錶盤用於查詢結果展示。具體操作，請參見建立儀錶盤。

    費用說明

    • 目前，EMR不針對管理日誌功能收取費用。

    • 當Logstore的計費模式為按使用功能計費時，推送EMR日誌到Log Service後，Log Service根據儲存空間、讀取流量、請求數量、資料加工、資料投遞等進行收費。更多資訊，請參見按使用功能計費模式計費項目。

    • 當Logstore的計費模式為按寫入資料量計費時，推送EMR日誌到Log Service後，Log Service將根據原始寫入資料量等進行收費。更多資訊，請參見按寫入資料量計費模式計費項目。

    常見問題

    Q：已開通SLS服務，並授權相關角色，為什麼控制台還是提示“該資源暫未開啟服務日誌採集，請到EMR控制台對應叢集的日誌管理頁面開啟服務日誌採集”？

    A：當前叢集並未設定投遞日誌的服務，請單擊右側的设置日志投递范围，完成日誌投遞範圍的配置。