全部產品
Search
文件中心

E-MapReduce:管理日誌

更新時間:Sep 24, 2025

E-Mapreduce(簡稱EMR)開源組件運行過程中會產生大量的日誌。日誌管理功能將EMR與Log ServiceSLS相結合,允許您在EMR控制台直接查詢開源組件的日誌。

前提條件

使用限制

  • 本文操作僅適用於資料湖(DataLake)、即時資料流(DataFlow)、資料分析(OLAP)、資料服務(DataServing)和資料湖(Hadoop)情境的叢集。

  • 支援日誌投遞的服務有hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss、host(主機)。

注意事項

  • 日誌儲存及索引流量費用等按照標準收費,由Log Service(SLS)單獨收費,具體操作請參見計費項目

  • 如果您使用的是RAM使用者,請使用阿里雲帳號登入RAM控制台,為RAM使用者授予AliyunLogFullAccess許可權,具體操作請參見為RAM使用者授權

開啟日誌投遞

  1. 進入日誌管理頁面。

    1. 登入E-MapReduce控制台

    2. 在頂部功能表列處,根據實際情況選擇地區和資源群組

    3. 在EMR on ECS頁面,單擊目的地組群的叢集ID

    4. 單擊上方的日誌管理頁簽。

  2. 配置日誌投遞範圍。

    1. 日誌管理頁面,單擊右側的設定日誌投遞範圍

      log

    2. 在彈出的對話方塊中,配置日誌儲存的Project。

      您可以選擇已有Project或者建立Project。

      重要

      Project一經選擇不可變更。

    3. 勾選需要日誌投遞的服務,單擊確定

  3. 查看服務日誌。

    1. 請選擇EMR服務下拉框中選擇您需要查看日誌的服務。

    2. 在日誌介面對日誌進行分析。

      您可以指定時間段和查詢語句進行即時查詢。例如,可快速分析某一個欄位在一段時間內的分布情況,您也可以按條件過濾或統計您希望查看的訪問記錄。

關閉日誌投遞

重要

關閉即時日誌投遞不會自動刪除Project。因此,當您關閉日誌投遞後,為避免後續產生不必要的費用,請前往Log Service控制台刪除開通日誌投遞時選擇的Project。具體操作,請參見管理Project

當您確認不再需要保留日誌資料時,可以按照如下步驟關閉即時日誌查詢。

  1. 日誌管理頁面,單擊右側的關閉日誌投遞

  2. 在彈出的對話方塊中,單擊OK

管理SLS Project

您可以在日誌管理頁面,單擊右側的前往Log Service控制台,可以進入Log Service控制台。在SLS控制台您可以設定日誌儲存時間,並修改Logstore相關配置。

日誌欄位詳情

欄位名稱

說明

__source__

節點的內網IP地址。

__tag__:__hostname__

節點的Hostname。

__tag__:__path__

日誌儲存路徑。

__tag__:__user_defined_id__

SLS為叢集定義的自訂標識符。

__tag__:_aliyun_user_id_

阿里雲帳號的UID。

__tag__:_ecs_id_

ECS執行個體ID。

__tag__:_main_cluster_id_

EMR叢集ID。

__tag__:_role_

節點名稱。例如,core-1-1。

__topic__

日誌主題。用於分類日誌內容。

content

日誌原始內容,通常是完整的日誌記錄。

level

記錄層級。表示日誌的嚴重程度(例如,INFOWARNERRORDEBUG等)。

message

日誌內容,通常是經過解析後的主要資訊部分。

thread

日誌產生的線程。

time

日誌產生時間。

資產詳情

  • 自訂的Project和專屬Logstore

    您可以自訂一個Project,系統將在該Project下產生名為emr_EMR服務名稱_log的專屬Logstore。例如您要投遞host服務的日誌,則對應的Logstore為emr_host_log

    重要
    • 在停用日誌功能前,請勿刪除EMR日誌相關的Log ServiceProject和Logstore,否則將導致已儲存的日誌被清除,且新日誌無法被投遞到Log Service。

    • 若您曾開通過按寫入資料量計費模式,則系統預設建立計費模式為按寫入資料量計費的專屬Logstore。若您需要切換至按使用功能計費模式,可修改Logstore配置。具體操作,請參見管理Logstore配置

  • 專屬儀錶盤

    無專屬儀錶盤,您可以自訂儀錶盤用於查詢結果展示。具體操作,請參見建立儀錶盤

費用說明

  • 目前,EMR不針對管理日誌功能收取費用。

  • 當Logstore的計費模式為按使用功能計費時,推送EMR日誌到Log Service後,Log Service根據儲存空間、讀取流量、請求數量、資料加工、資料投遞等進行收費。更多資訊,請參見按使用功能計費模式計費項目

  • 當Logstore的計費模式為按寫入資料量計費時,推送EMR日誌到Log Service後,Log Service將根據原始寫入資料量等進行收費。更多資訊,請參見按寫入資料量計費模式計費項目

常見問題

Q:已開通SLS服務,並授權相關角色,為什麼控制台還是提示“該資源暫未開啟服務日誌採集,請到EMR控制台對應叢集的日誌管理頁面開啟服務日誌採集”?

log

A:當前叢集並未設定投遞日誌的服務,請單擊右側的設定日誌投遞範圍,完成日誌投遞範圍的配置。