在伺服器上成功安裝LoongCollector後,您還需要設定機器組,將伺服器關聯到Log Service指定資源中,隨後進行LoongCollector採集配置,來定義資料的採集規則。並將採集配置手動綁定到機器組中,來實現下發採集規則到伺服器上。
核心概念與關係解析
什麼是機器組
機器組是包含多台伺服器的虛擬分組,屬於Log ServiceProject中的資源,Log Service通過機器組管理伺服器,伺服器通過心跳與機器組關聯。
Log Service提供以下兩種機器群組類型:
IP地址機器組
使用IP地址機器組時,需要在機器組中添加IP地址資訊來與伺服器關聯。
該種方式建立與配置更簡單。
當IP地址發生衝突或IP改變會導致心跳失敗,影響資料擷取。
使用者自訂標識機器組
通過在機器組中配置一個使用者自訂的字串作為識別標識,並在伺服器上的標識檔案中添加該字串來進行關聯。一台伺服器的標識檔案中可配置多個使用者自訂標識,標識之間以分行符號分隔。
配置流程相比IP地址機器組更複雜。但在VPC等自訂網路環境,IP地址衝突會導致採集失敗。而使用者自訂標識可避免此類情況發生。
可實現機器組的自動Auto Scaling。為新增的伺服器配置相同的使用者自訂標識,Simple Log Service可自動識別並添加至機器組中。若不再需要採集伺服器日誌,直接刪除伺服器上配置的標識檔案,機器組自動將該伺服器移除。
通常業務系統由多個模組組成,各模組均可進行獨立的水平擴充,即支援添加多台伺服器。為實現高效的日誌資料收集和分類,建議為各模組建立單獨的機器組。如常見網站分為HTTP請求模組、邏輯模組和儲存模組,其自訂標識可分別定義為
http_module、logic_module和store_module。
如何建立機器組
機器組與伺服器之間建立心跳關聯的前提是在伺服器上成功安裝LoongCollector採集器。建議您在安裝採集器時一併建立機器組,詳情可參考LoongCollector安裝與管理(Linux)或LoongCollector安裝與管理(Kubernetes)。
什麼是LoongCollector採集配置
採集配置是定義如何採集、處理資料的核心規則。其目的是通過靈活配置,實現資料的高效採集、結構化解析、過濾加工等效果。採集配置通過綁定到機器組中來實現下發採集規則到伺服器上,並在資料擷取時使用伺服器上資源進行處理。採集配置項主要包含三部分內容:
全域配置:包含採集配置的名稱,日誌主題(Topic)與Tag 等,利用Topic與Tag可對採集到的日誌進行標記與分類。
輸入配置:定義了待採集資料的類型(如檔案輸入,叢集標準輸出,SQL查詢結果,HTTP輸入等),以及不同類型資料的採集路徑、來源等資訊。
處理配置:通過處理外掛程式的組合,來定義解析資料的規則,將待採集資料按需格式化(如過濾,脫敏,正則匹配,JSON解析等)。
如何建立採集配置
採集配置需要綁定到生效的機器組中才能下發到伺服器上,因此建議您根據不同資料來源類型,參考完整採集流程進行配置,詳情可參考日誌資料擷取(Log)。
機器組與採集配置的關係
Log Service支援將一個LoongCollector採集配置應用到多個機器組,一個機器組也支援應用多個LoongCollector採集配置,採集配置僅與機器組綁定,機器組中伺服器增減將自動應用或取消相應採集配置,從而實現了伺服器與採集配置的解耦。不同系統類別型的伺服器不支援添加到同一個機器組中。
機器組與採集配置關聯情境
採集怎麼匹配多個目錄
需求:例如需要同時採集/var/log/messages和/opt/app/logs/*.log到同一LogStore中。
解決方案:
在目標LogStore中建立兩個採集配置,路徑分別為
/var/log/messages與/opt/app/logs/*.log。將這兩個採集配置應用到同一個機器組中。
Log Service會將該機器組中所有伺服器上路徑為
/var/log/messages與/opt/app/logs/*.log的資料擷取到目標LogStore中。
同伺服器日誌上傳至多LogStore
需求:例如單台伺服器上存在多目錄下多類型日誌,需要儲存到不同LogStore中。
解決方案:
在不同LogStore中分別建立不同的採集配置。
需要注意:若多個配置採集同一個檔案,需要在輸入配置中,開啟允許檔案多次採集開關。詳情參考日誌多次採集。
將這些採集配置應用到同一個機器組中。
Log Service會根據不同的採集配置將該機器組中不同日誌上傳到不同LogStore中。
不同伺服器上日誌如何集中匯總
需求:例如多台伺服器分散在不同機器組中,但存在某類日誌需要匯總到同一LogStore儲存。
解決方案:
在目標LogStore中建立一個採集配置。
將這個採集配置應用到多台伺服器所在的多個機器組中。
Log Service會將多個機器組中伺服器上的日誌採集到目標LogStore中。
變更伺服器上的採集規則
需求1:機器組綁定的採集配置所定義的規則不符合預期,需要修改為其他採集配置。
解決方案:
登入Log Service控制台,在Project列表,單擊開啟目標Project。在左側導覽列中,選擇。在開啟的機器組頁面中,選擇需要修改的機器組後,在機器組配置頁面單擊修改。
在管理配置中查看左側採集配置列表,勾選需要的採集配置後添加到右側應用列表中。
需求2:新增伺服器時需要應用已有的採集配置,或已有伺服器不再需要繼續採集。
解決方案:
登入Log Service控制台,在Project列表,單擊開啟目標Project。在左側導覽列中,選擇。在開啟的機器組頁面中,選擇需要修改的機器組後,在機器組配置頁面單擊修改。
修改機器組覆蓋的伺服器數量,來應用或取消採集配置:
若是IP地址型機器組,在IP地址欄中增加或刪除IP地址資訊,多台伺服器IP地址之間需使用分行符號分隔。
IP值必須與伺服器的/usr/local/ilogtail/app_info.json檔案中
ip欄位相同。若是使用者自訂標識型機器組,在新增的伺服器上配置相同的使用者自訂標識,Simple Log Service可自動識別並添加至機器組中。若不再需要採集伺服器日誌,直接刪除伺服器上配置的標識檔案,機器組自動將該伺服器移除,實現自動Auto Scaling。
說明將伺服器添加到機器組並不會自動安裝LoongCollector,您需要先在新增伺服器上安裝LoongCollector。