Simple Log Service：如何排查容器日誌採集異常

Docker/LoongCollector 部署後無心跳（AliUID 配置缺失）

在 Docker 模式下部署 LoongCollector/Logtail 後，如果機器組心跳狀態持續異常（無法註冊），通常是由於使用者標識（AliUID）配置缺失。LoongCollector/Logtail 容器需要讀取阿里雲帳號 ID 資訊才能向 SLS 註冊機器組，未掛載該檔案時註冊無法完成。

解決步驟：

1. 在宿主機上建立使用者標識目錄：

   mkdir -p /etc/ilogtail/users/

2. 在該目錄下建立以阿里雲帳號 ID 命名的空檔案（檔案名稱即阿里雲帳號 ID）：

   touch /etc/ilogtail/users/{阿里雲帳號ID}

3. 啟動 LoongCollector/Logtail 容器時，將該目錄以唯讀方式掛載到容器內（在 docker run 命令中添加如下參數）：

   -v /etc/ilogtail/users:/etc/ilogtail/users:ro

4. 重啟 LoongCollector/Logtail 容器。

驗證：操作完成後，在 SLS 控制台進入對應機器組，查看心跳狀態是否變為 OK。

Docker Swarm 叢集多台伺服器上報相同 IP 導致機器組識別異常

在 Docker Swarm 叢集中，如果機器組中僅顯示一台機器而非實際數量，通常是因為多台伺服器的 Logtail 容器使用了相同的內部 IP，且配置了相同的 ALIYUN_LOGTAIL_USER_DEFINED_ID，導致 SLS 無法區分不同的伺服器。

解決方案一：為每台伺服器的 Logtail 容器設定唯一的 ALIYUN_LOGTAIL_USER_DEFINED_ID 環境變數，確保各伺服器標識不重複，並與機器組配置中的自訂標識匹配：

-e ALIYUN_LOGTAIL_USER_DEFINED_ID={唯一標識，如 swarm-node-1}

解決方案二：設定 ALIYUN_LOGTAIL_WORKING_IP 環境變數，手動為每台伺服器的 Logtail 容器指定唯一的工作 IP（例如宿主機公網 IP 或內網唯一 IP）：

-e ALIYUN_LOGTAIL_WORKING_IP={宿主機唯一IP地址}

SLS 容器元資訊預覽找不到 Pod 或採集不到 emptyDir 日誌

在 SLS 控制台的容器元資訊預覽中找不到目標 Pod，或應用寫入 emptyDir 的日誌始終無法被採集，通常是由於 Logtail（DaemonSet 模式）無法訪問容器內部的 emptyDir 臨時儲存。

原因：Logtail 以 DaemonSet 方式運行在宿主機上，emptyDir 是 K8s 的臨時儲存卷，僅存在於 Pod 內部，宿主機無法直接存取，因此 Logtail 無法讀取其中的記錄檔，也無法提取容器中繼資料。

解決方案一（推薦）：修改應用，將日誌輸出到標準輸出（stdout/stderr）。在 SLS 控制台將採集路徑配置為 K8s 標準日誌路徑：

/logtail_host/var/log/pods/<namespace>_<pod-name>-<uid>/<container-name>/*.log

解決方案二：若必須使用檔案日誌，將應用的日誌目錄掛載方式從 emptyDir 改為 hostPath 或 PVC，確保日誌持久化在宿主機可訪問路徑，然後將 SLS 採集路徑調整為宿主機實際掛載路徑，例如：

/logtail_host/var/log/your-app/*.log

Logtail 採集容器日誌提示建立檔案失敗或許可權錯誤

現象：Logtail 報錯，提示需要在容器內建立特定的空檔案，或出現許可權拒絕（Permission denied）錯誤，導致無法正常採集日誌。

解決步驟：

1. 根據報錯提示，在容器內手動建立指定的空檔案：

   touch <報錯中指定的檔案路徑>

2. 設定該檔案的許可權為 -rw-r--r--（644）：

   chmod 644 <報錯中指定的檔案路徑>

3. 重啟容器。

替代方案：如果以上步驟後仍無法採集，建議將容器日誌目錄掛載到宿主機，通過宿主機路徑進行採集，此方案更為穩定。

採集 K8s 標準輸出日誌報錯 parse cri docker line error

現象：日誌中出現 parse cri docker line error: invalid CRI log, timestamp not found 報錯，導致 K8s 標準輸出（stdout）日誌無法正常採集。

原因：日誌行解析失敗，常見原因是多行日誌配置中行首Regex配置不正確，Logtail 無法識別 CRI 日誌行格式。

解決步驟：

1. 檢查 Logtail 配置中的行首Regex，確認能正確匹配日誌格式；如有必要，嘗試關閉多行模式：

   • YAML 配置方式：在設定檔中注釋或刪除 multiline 相關配置段，然後重新 apply 配置。

   • 控制台方式：在 SLS 控制台的 Logtail 配置頁面，關閉多行日誌採集選項。

2. 確認 K8s Namespace Regex 格式正確。若需匹配多個命名空間，各命名空間之間需使用豎線（|）分隔，例如：namespace1|namespace2。

3. 修改 YAML 配置後，執行以下命令重新應用配置使其生效：

   kubectl apply -f <設定檔.yaml>

登入Logtail容器

• 普通Docker

  1. 在宿主機上執行如下命令，查詢Logtail容器。

     docker ps | grep logtail

     系統將返回如下類似結果。

     223****6e        registry.cn-hangzhou.aliyuncs.com/log-service/logtail                             "/usr/local/ilogta..."   8 days ago          Up 8 days                               logtail-iba

  2. 執行如下命令，在Logtail容器內啟動bash shell。

     docker exec -it 223****6e  bash

     其中，223****6e為容器ID，請根據實際值替換。

• Kubernetes

  1. 執行如下命令，查詢Logtail的Pod。

     kubectl get po -n kube-system | grep logtail

     系統將返回如下類似結果。

     logtail-ds-****d                                             1/1       Running    0          8d
     logtail-ds-****8                                             1/1       Running    0          8d

  2. 執行如下命令，登入Pod。

     kubectl exec -it -n kube-system logtail-ds-****d -- bash

     其中，logtail-ds-****d為Pod ID，請根據實際值替換。

查看Logtail的作業記錄

Logtail日誌儲存在Logtail容器中的/usr/local/ilogtail/目錄中，檔案名稱為ilogtail.LOG和logtail_plugin.LOG。

1. 登入Logtail容器。具體操作，登入Logtail容器。

2. 開啟/usr/local/ilogtail/目錄。

   cd /usr/local/ilogtail

3. 查看ilogtail.LOG和logtail_plugin.LOG檔案。

   cat ilogtail.LOG
   cat logtail_plugin.LOG

查看Logtail的版本號碼、IP地址、啟動時間

1. 在宿主機執行如下命令，查看Logtail的版本號碼、IP地址、啟動時間。

   相關資訊儲存在Logtail容器的/usr/local/ilogtail/app_info.json檔案中。

   kubectl exec logtail-ds-****k -n kube-system cat /usr/local/ilogtail/app_info.json

   系統將返回如下類似結果。

   {
      "UUID" : "",
      "hostname" : "logtail-****k",
      "instance_id" : "0EB****_172.20.4.2_1517810940",
      "ip" : "172.20.4.2",
      "logtail_version" : "0.16.2",
      "os" : "Linux; 3.10.0-693.2.2.el7.x86_64; #1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64",
      "update_time" : "2018-02-05 06:09:01"
   }

ACK 叢集中 Pod 日誌採集異常的排查資訊擷取

在 ACK 叢集中遇到 Pod 日誌採集異常時，可以通過以下方法擷取排查所需的基礎資訊，並在尋求支援人員時一併提供，以加快問題定位。

擷取 Logtail/LoongCollector 的 IP 位址：

1. 執行以下命令，尋找目標節點上的 LoongCollector/Logtail Pod 名稱：

   kubectl get pods -n kube-system | grep loongcollector

2. 執行以下命令，擷取 IP 位址及其他基礎資訊（<pod-name> 替換為上一步擷取的實際 Pod 名稱）：

   kubectl exec <pod-name> -n kube-system cat /usr/local/ilogtail/app_info.json

向支援人員提供有效排查資訊：尋求協助時，請提供以下資訊：

• Project 名稱

• Logtail 採集配置名稱

• 目標 Pod 名稱

• 容器名稱（Container Name）