E-Mapreduce(簡稱EMR)開源組件運行過程中會產生大量的日誌。日誌管理功能將EMR與Log ServiceSLS相結合,允許您在EMR控制台直接查詢開源組件的日誌。
前提條件
已在EMR控制台上建立叢集,具體操作請參見建立叢集。
使用限制
本文操作僅適用於資料湖(DataLake)、即時資料流(DataFlow)、資料分析(OLAP)、資料服務(DataServing)和資料湖(Hadoop)情境的叢集。
支援日誌投遞的服務有hdfs、yarn、yarn_application、hive、spark、jindodata、tez、flink、hbase、zookeeper、kafka、presto、kudu、impala、flume、starrocks、clickhouse、kyuubi、rss、host(主機)。
注意事項
開啟日誌投遞
進入日誌管理頁面。
在頂部功能表列處,根據實際情況選擇地區和資源群組。
在EMR on ECS頁面,單擊目的地組群的叢集ID。
單擊上方的日誌管理頁簽。
配置日誌投遞範圍。
在日誌管理頁面,單擊右側的設定日誌投遞範圍。

在彈出的對話方塊中,配置日誌儲存的Project。
您可以選擇已有Project或者建立Project。
重要Project一經選擇不可變更。
勾選需要日誌投遞的服務,單擊確定。
查看服務日誌。
在請選擇EMR服務下拉框中選擇您需要查看日誌的服務。
在日誌介面對日誌進行分析。
您可以指定時間段和查詢語句進行即時查詢。例如,可快速分析某一個欄位在一段時間內的分布情況,您也可以按條件過濾或統計您希望查看的訪問記錄。
關閉日誌投遞
關閉即時日誌投遞不會自動刪除Project。因此,當您關閉日誌投遞後,為避免後續產生不必要的費用,請前往Log Service控制台刪除開通日誌投遞時選擇的Project。具體操作,請參見管理Project。
當您確認不再需要保留日誌資料時,可以按照如下步驟關閉即時日誌查詢。
在日誌管理頁面,單擊右側的關閉日誌投遞。
在彈出的對話方塊中,單擊OK。
管理SLS Project
您可以在日誌管理頁面,單擊右側的前往Log Service控制台,可以進入Log Service控制台。在SLS控制台您可以設定日誌儲存時間,並修改Logstore相關配置。
日誌欄位詳情
欄位名稱 | 說明 |
__source__ | 節點的內網IP地址。 |
__tag__:__hostname__ | 節點的Hostname。 |
__tag__:__path__ | 日誌儲存路徑。 |
__tag__:__user_defined_id__ | SLS為叢集定義的自訂標識符。 |
__tag__:_aliyun_user_id_ | 阿里雲帳號的UID。 |
__tag__:_ecs_id_ | ECS執行個體ID。 |
__tag__:_main_cluster_id_ | EMR叢集ID。 |
__tag__:_role_ | 節點名稱。例如,core-1-1。 |
__topic__ | 日誌主題。用於分類日誌內容。 |
content | 日誌原始內容,通常是完整的日誌記錄。 |
level | 記錄層級。表示日誌的嚴重程度(例如, |
message | 日誌內容,通常是經過解析後的主要資訊部分。 |
thread | 日誌產生的線程。 |
time | 日誌產生時間。 |
資產詳情
自訂的Project和專屬Logstore
您可以自訂一個Project,系統將在該Project下產生名為
emr_EMR服務名稱_log的專屬Logstore。例如您要投遞host服務的日誌,則對應的Logstore為emr_host_log。重要在停用日誌功能前,請勿刪除EMR日誌相關的Log ServiceProject和Logstore,否則將導致已儲存的日誌被清除,且新日誌無法被投遞到Log Service。
若您曾開通過按寫入資料量計費模式,則系統預設建立計費模式為按寫入資料量計費的專屬Logstore。若您需要切換至按使用功能計費模式,可修改Logstore配置。具體操作,請參見管理Logstore配置。
專屬儀錶盤
無專屬儀錶盤,您可以自訂儀錶盤用於查詢結果展示。具體操作,請參見建立儀錶盤。
費用說明
目前,EMR不針對管理日誌功能收取費用。
當Logstore的計費模式為按使用功能計費時,推送EMR日誌到Log Service後,Log Service根據儲存空間、讀取流量、請求數量、資料加工、資料投遞等進行收費。更多資訊,請參見按使用功能計費模式計費項目。
當Logstore的計費模式為按寫入資料量計費時,推送EMR日誌到Log Service後,Log Service將根據原始寫入資料量等進行收費。更多資訊,請參見按寫入資料量計費模式計費項目。
常見問題
Q:已開通SLS服務,並授權相關角色,為什麼控制台還是提示“該資源暫未開啟服務日誌採集,請到EMR控制台對應叢集的日誌管理頁面開啟服務日誌採集”?

A:當前叢集並未設定投遞日誌的服務,請單擊右側的設定日誌投遞範圍,完成日誌投遞範圍的配置。