Simple Log Service：通過修改配置解決常見採集問題

發生日誌丟失或重複發送，LoongCollector 發送日誌時頻繁重試，網路連接中斷或波動頻繁等現象。可能的原因是：

• 網路頻寬不足：當採集的日誌量較大時，若網路頻寬不足以支撐傳輸需求，會導致日誌堆積、延遲增加。

• 網路環境不穩定：跨地區、跨網路可能導致網路延遲或丟包。

解決方案

利用阿里雲CDN邊緣節點進行日誌採集加速，相對公網採集在網路延遲、穩定性上具有很大優勢。開啟該功能將根據實際傳輸的資料量進行額外計費。

1. 需要先開啟Project的日誌跨域傳輸加速功能。

2. 停止LoongCollector：登入安裝LoongCollector的伺服器，執行sudo /etc/init.d/loongcollectord stop命令。

3. 修改傳輸網域名稱：替換/usr/local/ilogtail/ilogtail_config.json中data_servers參數下的endpoint_list參數的值為log-global.aliyuncs.com。這表明將資料轉送所使用的網域名稱變更為傳輸加速網域名稱。

4. 啟動LoongCollector：執行sudo /etc/init.d/loongcollectord start命令。

發生單條日誌長度過大，採集後日誌被截斷的現象，原因是每條日誌讀取的最大值預設為524288（512 KB），若超過該值Log Service將截斷日誌。多行日誌按行首Regex劃分後，每條日誌大小限制仍為512 KB，若超限會被強制拆分為多條進行採集。

解決方案

1. 在/usr/local/ilogtail/ilogtail_config.json中修改max_read_buffer_size參數的值，若該參數不存在則新增。該參數取值最大為8388608（8 MB）。

   請注意記憶體佔用線性增長，需預留max_read_buffer_size*檔案並發數記憶體。

2. 重啟LoongCollector：執行sudo /etc/init.d/loongcollectord restart命令。

發生採集日誌時可以正常傳輸，但部分日誌丟失，且丟失日誌時間戳記與當前Log Service服務端時間相差15分鐘以上的情況，原因可能是出於資料安全考慮，Log Service會對請求（包括LoongCollector發起的請求）所攜帶的時間進行校正，拒絕與Log Service端時間相差超過15分鐘的請求。當伺服器本地時間被修改後（例如某些測試情境下需要調整本地時間為未來時間），則導致請求被拒絕，寫入資料失敗。

解決方案

1. 在/usr/local/ilogtail/ilogtail_config.json中修改enable_log_time_auto_adjust參數的值為true，若該參數不存在則新增。設定後日誌時間可自適應伺服器本地時間。

   開啟該功能後，日誌時間將被加上Log Service端的時間與伺服器本地時間的位移量。由於位移量只在請求被Log Service端拒絕時更新，因此可能出現Log Service端所查詢到的日誌的時間和日誌實際的寫入時間不一致的情況。

2. 重啟LoongCollector：執行sudo /etc/init.d/loongcollectord restart命令。

由於某些原因，在伺服器上採集的日誌需要儲存到新的Project中。

解決方案

1. 若需要複用採集配置，請先儲存採集設定檔中內容，卸載操作會刪除該檔案。

2. 卸載伺服器上的LoongCollector。

3. 根據新Project與伺服器的關係，選擇對應的LoongCollector安裝方案。

4. 如果要將歷史資料也一併轉移到新Project，此處提供兩種方式：

   • 先下載日誌到本地後，再使用匯入歷史記錄檔將日誌傳輸到新Project。

   • 通過資料加工將舊Project中資料複製到新Project中。