本文將對Logtail採集流程中各配置項與對應使用情境進行介紹。
配置概述
Logtail採集配置過程中主要有三個步驟:安裝Logtail,配置機器組與採集配置,對於每一步驟,您可以進行更精細化的自訂配置。
管理Logtail
Logtail是Log Service提供的日誌採集Agent,用於採集阿里雲ECS、自建IDC或其他雲廠商等伺服器上的日誌,您首先需要在目標機器中完成Logtail的安裝,才能在後續使用Logtail的功能。
Logtail不同環境下的安裝,運行與狀態查看,版本升級,卸載等,可以參考安裝Logtail。
在不同類型的目標機器上,Logtail傳輸資料時對網路要求不同,相關內容可以參考Logtail網路類型,啟動參數與設定檔。
Logtail運行時依賴一系列的設定檔併產生部分資訊記錄檔案,相關內容參考Logtail設定檔和記錄檔案。
為防止Logtail消耗過多伺服器資源,影響其他服務運行,Log Service對Logtail採集效能做了限制。當您需要提升Logtail採集效能時,可以設定Logtail啟動參數。
如何開啟傳輸加速服務加速Log Service資料擷取,請參考採集加速。
如果有重要日誌需要即時監控,可以使用Log Service的內建警示監控規則,並可通過DingTalk等渠道接收到警示通知,相關內容參考使用內建的Logtail警示監控規則。
您在使用Logtail採集日誌時,可能遇到正則解析失敗、檔案路徑不正確、流量超過Shard服務能力等問題。Log Service提供診斷功能,可協助您快速定位Logtail採集錯誤資訊,相關內容參考Logtail診斷,對於Linux系統的伺服器,Log Service還提供了Logtail自動診斷工具。
機器組
機器組是包含多台目標機器的虛擬分組,Log Service通過機器組的方式管理所有需要通過Logtail採集日誌的目標機器,便於大量設定和管理日誌採集規則,並動態適配彈性環境。
機器組的相關概念有使用者標識,使用者自訂標識機器組,IP地址機器組,詳細瞭解請參考機器組。
如果採集目標機器日誌時,您的目標機器與Log ServiceProject分屬於不同的阿里雲帳號,或者部署在其他雲廠商環境,或是自建IDC,則需要配置使用者標識來授權Log Service採集日誌,詳情請參考配置使用者標識。
Log Service提供了兩種類型的機器組,IP地址類型建立相對更簡單,而使用者自訂標識類型可實現Auto Scaling且不會有地址衝突的風險。對於建立,修改,配置分發與應用,刪除機器組的相關操作,請參考管理機器組。
採集配置項
採集配置項是定義如何採集、處理日誌資料的核心規則。其目的是通過靈活配置,實現日誌的高效採集、結構化解析、過濾加工等效果。
在Log Service控制台上建立、查看、修改及刪除Logtail採集配置等操作請參考管理Logtail採集配置。
在控制台建立Logtail採集配置項時,主要有三部分內容: