安裝LoongCollector後,您還需要瞭解如何管理LoongCollector的生命週期,回合組態等內容。
LoongCollector常用命令
啟動與停止LoongCollector
對採集效能有要求時,可修改啟動參數設定檔(ilogtail_config.json)後再啟動LoongCollector。
sudo /etc/init.d/loongcollectord start #啟動
sudo /etc/init.d/loongcollectord stop #停止
sudo /etc/init.d/loongcollectord restart #重啟查看LoongCollector狀態
sudo /etc/init.d/loongcollectord status #返回loongcollector is running表示啟動成功。查看LoongCollector版本
cat /usr/local/ilogtail/app_info.json #版本資訊儲存在loongcollector_version欄位中。啟動參數設定檔(ilogtail_config.json)
檔案描述:配置LoongCollector的啟動參數,啟動參數配置不合理會影響採集效能,配置錯誤可能導致採集異常問題發生。
檔案路徑:/usr/local/ilogtail/ilogtail_config.json。
使用情境:Log Service限制了LoongCollector的採集效能,以防消耗過多伺服器資源,影響其他服務運行。當LoongCollector採集效能不滿足要求時,可通過修改啟動參數進行嘗試。具體使用情境可參考通過修改配置解決常見採集問題。
檔案樣本 :
{ "primary_region" : "cn-beijing", // 預設地區,可忽略 "config_servers" : //擷取採集配置時的地址 [ "http://logtail.cn-beijing.log.aliyuncs.com" ], "data_servers" : //與Log Service進行資料轉送的地址 [ { "region" : "cn-beijing", "endpoint_list": [ "cn-beijing.log.aliyuncs.com" ] } ], "cpu_usage_limit" : 0.4, "mem_usage_limit" : 384, "max_bytes_per_sec" : 20971520, "bytes_per_sec" : 1048576, "buffer_file_num" : 25, "buffer_file_size" : 20971520, "buffer_map_num" : 5 }參數表:下表僅列出需要關注的常用啟動參數,請根據需要新增或修改。未列出的參數請保持預設配置。
採集效能配置規劃
為防止採集器消耗過多伺服器資源,影響其他服務運行,Log Service對採集效能做了限制。當需要提升採集效能時,可修改啟動參數。
推薦參數值樣本
根據實際經驗推薦如下參數配置,適用於普通JSON檔案的採集情境。完整正則模式和分隔字元模式的效能與JSON模式相近,極簡模式效能為JSON模式的5倍。由於資料、規則的複雜度、採集目錄和檔案的數量都會對CPU和記憶體消耗帶來影響,請參照下述表格並結合實際情況按需調整。
添加或修改/usr/local/ilogtail/ilogtail_config.json中參數取值,並重啟LoongCollector使修改生效。不同採集速率下的建議值參考如下:
按表格中的採集速率大於40 MB/s列配置啟動參數時,採集效能已接近極限。
參數 | 描述 | 採集速率大於10 MB/s | 採集速率大於20 MB/s | 採集速率大於40 MB/s |
cpu_usage_limit | CPU使用閾值,以單核計算。
0.4表示Log Service將儘可能限制採集器對CPU單核使用不超過40%,超出後LoongCollector自動重啟。 該項為軟式節流,實際佔用的CPU可能超過限制值,超限5分鐘後將觸發熔斷保護自動重啟。 | 1 | 2 | 4 |
mem_usage_limit | 記憶體使用量閾值。
採集速率、監控目錄和檔案數量、發送阻塞程度與該參數有關。更多請參見限制說明 該項為軟式節流,實際佔用的記憶體可能超過限制值,超限5分鐘後將觸發熔斷保護自動重啟。 | 1024 | 2048 | 4096 |
process_thread_count | 採集器處理資料的線程數。
單線程可以處理極簡模式下24 MB/s的資料寫入或完整正則模式12 MB/s的資料寫入。預設情況下無需調整該參數取值。 | 2 | 4 | 8 |
max_bytes_per_sec | 每秒發送未經處理資料的流量限制。取值如下:
重要 設定的值超過20971520 Byte/s(20MB/s),表示不限速。 | 209715200 | 209715200 | 209715200 |
send_request_concurrency | 非同步並發的個數。
如果寫入TPS很高,可以設定更高的非同步並發個數。可以按照一個並發支援0.5 MB/s~1 MB/s網路吞吐來計算,實際根據網路延時而定。 | 20 | 40 | 80 |
其他常用設定檔
LoongCollector運行時一系列設定檔與資訊記錄檔案如下:
LoongCollector採集設定檔(user_log_config.json)
描述:檔案記錄LoongCollector從Log Service擷取的採集配置資訊,每次採集配置更新時會同步更新該檔案。除手動設定AccessKey資訊、資料庫密碼等敏感資訊外,不建議修改該檔案。
路徑:/usr/local/ilogtail/user_log_config.json。
使用情境:可通過查看該檔案確認採集配置是否已經下發到伺服器。若該檔案存在,且內容與Log Service上的採集配置一致,表示採集配置已下發。
AppInfo記錄檔案(app_info.json)
描述:app_info.json檔案記錄LoongCollector的啟動時間、擷取到的IP地址、主機名稱等資訊。該檔案僅作記錄,任何修改操作均不會生效。
路徑:/usr/local/ilogtail/app_info.json。
使用情境:可查看Log Service採集時識別到的伺服器ip資訊,判斷與Log Service控制台中IP型機器組內IP資訊是否一致,一般用於解決IP型機器組心跳失敗問題。
如果已在伺服器的/etc/hosts檔案中設定了主機名稱與IP地址綁定,則自動擷取綁定的IP地址。如果沒有設定主機名稱綁定,會自動擷取原生第一塊網卡的IP地址。若設定了ilogtail_config.json中的working_ip參數,則以working_ip值作為伺服器的IP地址。
LoongCollector作業記錄(loongcollector.LOG)
描述:loongcollector.LOG檔案記錄了LoongCollector的作業記錄,記錄層級從低到高分別為INFO、WARN和ERROR。
路徑:/usr/local/ilogtail/loongcollector.LOG。
使用情境:如果採集異常,請先使用運行情況診斷與監控排查錯誤,根據日誌採集錯誤類型排查具體的錯誤類型和LoongCollector作業記錄排查問題。
使用者ID檔案
描述:包含日誌採集到的Project所屬的阿里雲主帳號ID資訊,檔案名稱即帳號ID,無需尾碼,用於標識該帳號有許可權訪問、採集這台伺服器的日誌。
路徑:/etc/ilogtail/users/{阿里雲帳號ID}。
使用情境:只有在採集非本帳號ECS、自建伺服器、其他雲廠商伺服器日誌時需要配置使用者ID。多個帳號對同一台伺服器進行日誌採集時,支援在同一台伺服器上建立多個使用者ID檔案。
使用者自訂標識檔案
描述:用於配置使用者自訂標識,作為使用者自訂標識機器組的內容,協助Log Service探索服務器上的LoongCollector並建立心跳。
路徑:/etc/ilogtail/user_defined_id。
使用情境:使用使用者自訂機器組時需要配置,瞭解更多資訊請參考機器組與採集配置關聯指南。
CheckPoint檔案
描述:checkpoint機制用於記錄Log Service當前採集位置以確保日誌完整性。
路徑:預設為
/tmp/logtail_check_point。使用情境:可參考限制說明修改啟動參數檔案進行管理。