如何排查Logtail機器組問題 - Simple Log Service

本文主要介紹如何系統排查主機情境下的機器組無心跳問題。

機器組安裝樣本

安裝方式	適用情境
同帳號同地區	僅當伺服器為阿里雲ECS，且ECS與Project屬於同一個阿里雲帳號，所屬地區也相同時適用。
同帳號不同地區	當伺服器為阿里雲ECS，且ECS與Project屬於同一個阿里雲帳號，但不屬於同一個地區時適用。
不同帳號同地區	當伺服器為阿里雲ECS，且ECS與Project屬於同一個地區，但不屬於同一個阿里雲帳號時適用。
其他雲/自建伺服器	當伺服器不是阿里雲ECS，例如自建伺服器或其他雲端服務器時適用。當伺服器為阿里雲ECS，但ECS與Project不屬於同一個阿里雲帳號，也不在同一個地區時，可視為自建伺服器。

問題排查必讀指南

步驟一：檢查Logtail是否正常運行：檢查Logtail在伺服器是否正常運行。
步驟二：確認機器組中的IP地址是否為Logtail擷取的IP地址：確認機器組中的IP地址是否和Logtail的app_info.json檔案中的IP地址一致，不一致會導致心跳失敗。
步驟三：檢查Logtail啟動參數是否正確：檢查ilogtail_config.json檔案中配置的Project地區是否正確。
步驟四：檢查網路是否通暢：檢查伺服器與Project之間網路是否通暢。
步驟五：檢查Logtail所在伺服器的系統時間是否正確：如果系統時間明顯快於或慢於當前真即時間，需要修改。
步驟六：跨帳號採集需檢查使用者標識：如果伺服器類型不是ECS，或使用的ECS與Project屬於不同阿里雲帳號，則必須檢查是否配置正確的使用者標識。
步驟七：如果是使用者自訂標識機器組，檢查是否已配置自訂標識：如果機器組是使用者自訂標識機器組，檢查是否已配置自訂標識。
步驟八：重啟Logtail：完成上述修改後，必須重啟Logtail。

後續步驟

如何查看Logtail採集錯誤資訊：心跳OK後，還是採集不到日誌，通過查看Logtail錯誤資訊排查。

步驟一：檢查Logtail是否正常運行

Linux系統

登入已安裝Logtail的機器。
執行如下命令。
```
ps -ef | grep ilogtail
```
- 返回結果中出現兩條如下類似資訊（分別代表Logtail守護進程和Logtail背景工作處理序）時，說明Logtail正常運行。
```
UID          PID    PPID  C STIME TTY          TIME CMD
...
root          12       1  0 Nov10 ?        00:00:00 /usr/local/ilogtail/ilogtail
root          14      12  0 Nov10 ?        03:07:43 /usr/local/ilogtail/ilogtail
...
```
  重要
  如果返回結果中出現3條及以上Logtail運行資訊，則說明當前伺服器中有多個Logtail執行個體在運行，存在重複採集的風險，請檢查是否為預期行為。
- 如果返回結果顯示Logtail相關進程未運行。
  - 已經安裝Logtail，但是未啟動。請參見啟動和停止Logtail（Linux系統）。
  - 未安裝Logtail，請安裝Logtail。具體操作，請參見安裝Logtail（Linux系統）。
    重要
    安裝時，請務必選擇支援安裝Logtail的作業系統、按照Simple Log ServiceProject所屬地區選擇安裝參數以及根據網路類型選擇安裝方式。關於網路類型的更多資訊，請參見Logtail網路類型，啟動參數與設定檔。

Windows系統

登入Logtail所在的機器。
開啟運行視窗，輸入services.msc。
查看LogtailDaemon服務（Logtail 1.0.0.0及以上版本）或LogtailWorker服務（Logtail 0.x.x.x版本）的運行狀態。
如果上述服務未運行。
- 已經安裝Logtail，但是未啟動。請參見手動啟動和停止Logtail（Windows系統）。
- 未安裝Logtail，請安裝Logtail。具體操作，請參見安裝Logtail（Windows系統）。
重要
安裝時，請務必選擇支援安裝Logtail的作業系統、按照Simple Log ServiceProject所屬地區選擇安裝參數以及根據網路類型選擇安裝方式。關於網路類型的更多資訊，請參見Logtail網路類型，啟動參數與設定檔。

步驟二：確認機器組中的IP地址是否為Logtail擷取的IP地址

說明

Logtail擷取Linux伺服器IP地址的方式如下：

如果您沒有設定主機名稱綁定，則Logtail會擷取伺服器中第一塊網卡的IP地址。
如果想自訂IP地址，可以在步驟三的ilogtail_config.json檔案中設定working_ip。設定此參數後，app_info.json檔案中的ip欄位將自動與working_ip欄位值同步更新。關於working_ip，請參見設定啟動參數。
如果您在/etc/hosts檔案中設定了主機名稱綁定，則Logtail會擷取綁定的主機名稱對應的IP地址。

擷取app_info.json檔案中的ip欄位值。

該檔案在不同系統下的預設路徑說明如下表所示：

作業系統	Logtail	app_info.json檔案路徑
Linux	Logtail（64位程式）	/usr/local/ilogtail/app_info.json
Windows（64位作業系統）	Logtail （64位程式）	C:\Program Files\Alibaba\Logtail\app_info.json
Windows（64位作業系統）	Logtail（32位程式）	C:\Program Files (x86)\Alibaba\Logtail\app_info.json
Windows （32位作業系統）	Logtail（32位程式）	C:\Program Files\Alibaba\Logtail\app_info.json

Logtail將擷取的IP地址記錄在app_info.json檔案的ip欄位中。

{
  "UUID" : "",
  "hostname" : "iZ8vbdlzf******azuhZ",
  "instance_id" : "E9633380-***********-00163E1AA597_172.16.2.200_166****11",
  "ip" : "172.**.**.200",
  "logtail_version" : "1.3.1",
  "os" : "Linux; 4.19.91-26.1.al7.x86_64; #1 SMP Tue Jul 26 17:52:28 CST 2022; x86_64",
  "update_time" : "2022-12-27 05:38:33"
}

確認機器組中使用的是Logtail擷取的IP地址。
Simple Log Service機器組包括IP地址機器組和使用者自訂標識機器組。更多資訊，請參見機器組。
- IP地址機器組：請查看IP地址是否包含上一步擷取的IP地址。
  若不包含，請確認主機IP的正確值，當IP地址文字框內填寫了目標Logtail的其它IP地址（例如公網地址）時，修改IP地址機器組內IP地址，若上一步擷取的IP地址有誤，則在設定Logtail啟動參數中修改參數working_ip的值並重啟Logtail。然後觀察機器心跳是否正常。如果正常，則可以結束本次排查。
- 使用者自訂標識機器組：請查看機器組狀態是否包含上一步擷取的IP地址。如果心跳顯示OK，則可以結束本次排查流程。

步驟三：檢查Logtail啟動參數是否正確

ilogtail_config.json檔案記錄了Logtail的相關啟動參數。

登入Logtail所在的機器。

尋找ilogtail_config.json檔案。

該檔案在不同系統下的預設路徑說明如下表所示：

作業系統	Logtail	ilogtail_config.json檔案路徑
Linux	Logtail（64位程式）	/usr/local/ilogtail/ilogtail_config.json
Windows（64位作業系統）	Logtail（64位程式）	C:\Program Files\Alibaba\Logtail\ilogtail_config.json
Windows（64位作業系統）	Logtail（32位程式）	C:\Program Files (x86)\Alibaba\Logtail\ilogtail_config.json
Windows （32位作業系統）	Logtail（32位程式）	C:\Program Files\Alibaba\Logtail\ilogtail_config.json

開啟ilogtail_config.json檔案，確認設定檔參數是否正確。

{
  "config_server_address" : "http://logtail.<config_region>.log.aliyuncs.com",
  "data_server_list" :
  [
    {
      "cluster" : "<project地區>",
      "endpoint" : "<endpoint>"
    }
  ],
  ...
}

如果ilogtail_config.json檔案中的啟動參數符合下述表格中的說明，則表示Logtail啟動參數正確。

如果Logtail啟動參數錯誤，請根據下述表格修改ilogtail_config.json檔案，然後重啟Logtail。具體操作，請參見重啟Logtail。

Project地區資訊請參見開服地區。

情境	網路類型	<config_region>	<endpoint>
伺服器為ECS，且與Project屬於同一地區	阿里雲內網	<project地區>-intranet	<project地區>-intranet.log.aliyuncs.com
其它情況	公網	<project地區>	<project地區>.log.aliyuncs.com
其它情況	傳輸加速	<project地區>	log-global.aliyuncs.com

LoongCollector 跨地區採集配置檢查

當 ECS 所在地區與 SLS Project 所在地區不一致時（例如 ECS 位於 us-east-1，Project 位於 us-west-1），LoongCollector 同樣需要正確配置上報 endpoint：

開啟 LoongCollector 的設定檔 /usr/local/ilogtail/ilogtail_config.json（路徑與 Logtail 一致）。
確認 config_server_address 與 data_server_list[].endpoint 指向目標 Project 所在地區的 endpoint，例如 us-west-1.log.aliyuncs.com 或 us-west-1-intranet.log.aliyuncs.com。
修改配置後，執行 sudo /etc/init.d/loongcollectord restart 重啟 LoongCollector 服務使配置生效。
若修改後仍無法上報，建議卸載後重新安裝 LoongCollector，並在安裝時指定正確地區的 Endpoint。

排查關鍵詞：LoongCollector、跨地區、endpoint 配置。

步驟四：檢查網路是否通暢

使用Logtail上傳資料成功，至少需要保證Logtail所在伺服器能夠連通下列地址。

重要

如果使用內網，需要在<endpoint>後添加-intranet。

ilogtail_config.json檔案中的config_server_address欄位指定的地址及其HTTPS版本。
http://<project名>.<endpoint>。
- Project的名稱和地區，可以通過如下方式查看。
- <endpoint>為ilogtail_config.json檔案中data_server_list.endpoint欄位指定的地址。
http://ali-<project地區>-sls-admin.<endpoint>。其中<endpoint>為ilogtail_config.json檔案中data_server_list.endpoint欄位指定的地址。

具體的網路檢查及解決方案如下：

Linux系統

登入Logtail所在的機器。
執行curl命令依次串連上述地址。
```
curl http://<project名>.cn-hangzhou-intranet.log.aliyuncs.com
```
所有返回結果都為如下類似資訊，說明網路暢通。
```
{"Error":{"Code":"OLSInvalidMethod","Message":"The script name is invalid : /","RequestId":"5D****09"}}
```
如果網路不暢通，請檢查網路環境中80和443連接埠是否已經開放、目標地址是否被攔截以及其他網路方面的檢查（例如DNS配置、安全性群組等）。

Windows系統

登入Logtail所在的機器。
調用telnet命令依次嘗試串連上述地址。
```
telnet <project名>.cn-hangzhou-intranet.log.aliyuncs.com 80 # 如果是HTTPS協議，則連接埠號碼為443。
```
所有返回結果都為如下類似資訊，說明網路暢通。
```
Trying 100*0*7*5...
Connected to xxx.
Escape character is '^]'.
```
如果網路不暢通，請檢查網路環境中80和443連接埠是否已經開放、目標地址是否被攔截以及其他網路方面的檢查（例如DNS配置、安全性群組等）。

步驟五：檢查Logtail所在伺服器的系統時間是否正確

Linux系統

登入Logtail所在的機器。
執行date命令查看系統時間。
```
Wed Dec 28 06:59:26 UTC 2022
```
如果系統時間明顯快於或慢於當前真即時間，請嘗試如下修改。
- 調整系統時間至真即時間。
- 如果不能修改系統時間，請修改Logtail啟動參數，即在ilogtail_config.json檔案中增加配置項"enable_log_time_auto_adjust": true。修改後，需要重啟Logtail。具體操作，請參見重啟Logtail。ilogtail_config.json檔案路徑說明請參見步驟三：檢查Logtail啟動參數是否正確。

Windows系統

登入Logtail所在的機器。
查看案頭右下角工作列中時間資訊。
- 調整系統時間至真即時間。
- 如果不能修改系統時間，請修改Logtail啟動參數，即在ilogtail_config.json檔案中增加配置項"enable_log_time_auto_adjust": true。修改後，需要重啟Logtail。具體操作，請參見重啟Logtail。ilogtail_config.json檔案路徑說明，請參見步驟三：檢查Logtail啟動參數是否正確。

步驟六：跨帳號採集需檢查使用者標識

重要

伺服器類型不是ECS，或使用的ECS和Project屬於不同阿里雲帳號，必須檢查是否存在正確的使用者標識。
使用者標識必須是阿里雲帳號ID（主帳號ID）。具體操作請參見配置使用者標識。

您可以通過指定目錄下的使用者標識檔案判斷是否存在使用者標識。如果返回結果為空白，則您需要查看指定路徑中是否已有使用者標識檔案。使用者標識的作用在於標識這台伺服器有許可權被該帳號訪問。

說明

使用者標識檔案路徑如下：

Linux系統：/etc/ilogtail/users/
Windows系統：C:\LogtailData\users\

如果指定路徑下無使用者標識檔案或使用者標識檔案配置錯誤，請按照如下方法解決。
- Linux系統：執行cd /etc/ilogtail/users/ && touch <uid>命令，建立使用者標識檔案。其中<uid>為Project所屬的阿里雲帳號ID。
- Windows系統：進入C:\LogtailData\users\目錄，建立一個名為<uid>的空檔案。其中<uid>為Project所屬的阿里雲帳號ID。
如果指定路徑下存在以當前Project所屬的阿里雲帳號ID命名的檔案，則說明使用者標識配置正確。

步驟七：如果是使用者自訂標識機器組，檢查是否已配置自訂標識

若您使用了使用者自訂標識機器組，您可以通過指定目錄下的user_defined_id檔案判斷是否已在伺服器上配置使用者自訂標識。

如果返回結果為空白，您需要查看是否存在user_defined_id檔案或該檔案中是否已配置使用者自訂標識。
說明
user_defined_id檔案路徑如下：
- Linux系統：/etc/ilogtail/user_defined_id
- Windows系統：C:\LogtailData\user_defined_id
- 如果user_defined_id檔案不存在，則新增一個user_defined_id的檔案，然後在檔案中輸入機器組的使用者自訂標識。具體操作，請參見配置使用者自訂標識。
- 如果user_defined_id檔案中無使用者自訂標識或自訂標識配置錯誤，則在檔案中新增一行，然後輸入機器組的使用者自訂標識。具體操作，請參見配置使用者自訂標識。
- 如果user_defined_id檔案已包含您在機器組中設定的使用者自訂標識，則說明使用者自訂標識配置正確。

LoongCollector 情境補充說明

使用 LoongCollector（Logtail 的下一代採集器）時，請注意以下差異：

使用者自訂標識檔案路徑與 Logtail 相同，仍為 /etc/ilogtail/user_defined_id（Linux）或 C:\LogtailData\user_defined_id（Windows），不是 /etc/loongtail/user_defined_id。若發現 /etc/loongtail/user_defined_id 這類錯誤路徑下的檔案，請先刪除該錯誤檔案，並在上述正確路徑下重新建立 user_defined_id 檔案，同時確保檔案許可權為 644（chmod 644 /etc/ilogtail/user_defined_id）。
LoongCollector 的服務重啟命令與 Logtail 不同：
- Linux：sudo /etc/init.d/loongcollectord restart
- 請勿使用 sudo /etc/init.d/ilogtaild restart，該命令僅適用於 Logtail。

排查關鍵詞：LoongCollector、user_defined_id 路徑、許可權 644。

步驟八：重啟Logtail

完成上述修改後，必須重啟Logtail。

Linux系統

登入Logtail所在的機器。
運行如下命令。
```
sudo /etc/init.d/ilogtaild restart
```

Windows系統

登入Logtail所在的機器。
開啟運行視窗，輸入services.msc。
重啟LogtailDaemon服務（Logtail 1.0.0.0及以上版本）或LogtailWorker服務（Logtail 0.x.x.x版本）。

常見問題（FAQ）

為什麼添加 Logtail 配置時提示“當前選中的機器組內沒有機器配置”？

請按以下順序排查：

確認採集器（Logtail 或 LoongCollector）已在目標 ECS 執行個體上成功安裝，且進程運行正常。
確認該 ECS 執行個體已通過 IP 或自訂標識正確加入到所選機器組，並且機器組的心跳狀態顯示為 OK。
確認 Logtail/LoongCollector 採集配置已正確應用到該機器組。
若機器組心跳狀態為 FAIL，請按本文檔前述步驟（步驟一至步驟八）進行排查。
若尚未配置機器組，請先在Log Service控制台建立機器組或修改已有機器組，將目標 ECS 加入其中。

該 FAQ 同時覆蓋“沒有機器配置”、“無法選中目標機器”、“添加執行個體後仍提示無配置”等相似疑問。

ALB 後端 ECS 臨時移除時，是否需要停止 Logtail 外掛程式或刪除 SLS 配置？

僅需在 ECS 伺服器上執行 /etc/init.d/ilogtaild stop 停止 Logtail 服務，即可停止日誌採集和上報。無需在 SLS 控制台刪除該 ECS 的 IP 配置或機器組配置。
後續將該 ECS 重新加入 ALB 後端後，只需執行 /etc/init.d/ilogtaild start 啟動外掛程式，日誌採集會自動回復，無需重新設定。

說明

如果使用的是 LoongCollector，請將上述命令中的 ilogtaild 替換為 loongcollectord。

Logtail 採集配置報錯“use default value instead module input_file”如何處理？

該報錯通常是因為在非容器環境（如 ECS 主機情境）中錯誤地使用了 Kubernetes 容器日誌採集配置。

解決方案：

在Log Service控制台刪除當前的 K8s 類型採集配置。
建立一個“自建伺服器-文本日誌”類型的採集配置。
填寫正確的記錄檔路徑，並綁定對應的機器組。
在 ECS 上執行 sudo /etc/init.d/ilogtaild restart 重啟 Logtail 服務使配置生效。

說明

如果使用的是 LoongCollector，請將上述重啟命令替換為 sudo /etc/init.d/loongcollectord restart。

SLS 機器組配置錯誤（如誤用公網 IP）後，是否需要刪除重建？

無需刪除重建機器組。

若因 Logtail 未安裝或 IP 配置錯誤導致心跳異常，可直接在Log Service控制台的“機器組”頁面找到對應機器組，點擊“安裝 Logtail”按鈕，通過內網自動安裝用戶端。前提條件：

ECS 已安裝雲助手。
當前帳號具備相應許可權。

安裝完成後，等待約 2 分鐘，機器組心跳即可恢複為 OK。僅當安裝方式或網路類型選擇錯誤時，才需要考慮重裝 Logtail。

同帳號同叢集下，測試環境 Logtail 配置失效但線上正常，如何排查？

請按以下順序排查：

檢查測試環境機器組的心跳狀態。若為 FAIL，請先等待 2 分鐘後重新整理重試；仍失敗則按本文檔步驟一至步驟八進行排查。
確認測試環境的 LoongCollector/Logtail 配置中指定的 Project 與 LogStore 名稱拼字正確，並且該 LogStore 在對應地區確實存在。
驗證當前 RAM 角色或使用者具備對目標 LogStore 的寫入許可權（例如 log:PostLogStoreLogs）。
確保測試環境使用的自訂標識與採集配置所綁定的機器組標識一致。