Simple Log Service：通過控制台採集叢集容器日誌（標準輸出/檔案）

1. 全域與輸入配置

配置前，請確保已完成資料接入模板選擇和機器組綁定。本步驟用於定義採集配置的名稱、日誌來源及採集範圍。

查看上報日誌

1. 確認記錄檔有新增內容：LoongCollector只採集增量日誌。執行 tail -f /path/to/your/log/file，並觸發業務操作，確保有新的日誌正在寫入。

2. 查詢日誌：進入目標 Logstore 的查詢分析頁面，單擊查詢/分析（預設時間範圍為最近15分鐘），觀察是否有新日誌流入。採集的每條容器文本日誌中預設包含以下欄位資訊：

   欄位名稱	說明
   __tag__:__hostname__	容器宿主機的名稱。
   __tag__:__path__	容器內記錄檔的路徑。
   __tag__:_container_ip_	容器的IP地址。
   __tag__:_image_name_	容器使用的鏡像名稱。
   __tag__:_pod_name_	Pod的名稱。
   __tag__:_namespace_	Pod所屬的命名空間。
   __tag__:_pod_uid_	Pod的唯一識別碼（UID）。

常見問題排查

如何將ACK叢集日誌傳輸到另一個阿里雲帳號的Project？

通過在ACK叢集中手動安裝Log Service LoongCollector（Logtail） 組件，並為其配置目標帳號的主帳號ID或訪問憑證（AccessKey），即可實現將容器日誌發送到另一個阿里雲帳號的Log ServiceProject中。

情境描述：當因為組織架構、許可權隔離或統一監控等原因，需要將某個ACK叢集的日誌資料擷取到另一個獨立的阿里雲帳號的Log ServiceProject時，可通過手動安裝 LoongCollector（Logtail）進行跨帳號配置。

操作步驟：此處以手動安裝LoongCollector為例，如需瞭解如何安裝Logtail，請參考Logtail安裝與配置。

1. 串連Kubernetes叢集，根據叢集所在地區執行對應命令：

   中國地區

   wget https://aliyun-observability-release-cn-shanghai.oss-cn-shanghai.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

   海外地區

   wget https://aliyun-observability-release-ap-southeast-1.oss-ap-southeast-1.aliyuncs.com/loongcollector/k8s-custom-pkg/3.0.12/loongcollector-custom-k8s-package.tgz; tar xvf loongcollector-custom-k8s-package.tgz; chmod 744 ./loongcollector-custom-k8s-package/k8s-custom-install.sh

2. 進入loongcollector-custom-k8s-package目錄，修改設定檔./loongcollector/values.yaml。

   # ===================== 必需要補充的內容 =====================
   # 本叢集要採集的Project名，例如 k8s-log-custom-sd89ehdq
   projectName: ""
   # Project所屬地區，例如上海：cn-shanghai
   region: ""
   # Project所屬主帳號uid，請用引號包圍，例如"123456789"
   aliUid: ""
   # 使用網路，選擇性參數：公網Internet，內網Intranet，預設使用公網
   net: Internet
   # 主帳號或者子帳號的AK，SK，需具備AliyunLogFullAccess系統策略許可權
   accessKeyID: ""
   accessKeySecret: ""
   # 自訂叢集ID，命名只支援大小寫，數字，短劃線(-)。
   clusterID: ""

3. 在loongcollector-custom-k8s-package目錄，執行如下命令，安裝LoongCollector及其他相依元件：

   bash k8s-custom-install.sh install

4. 安裝完成後，查看組件運行狀態。

   若Pod未成功啟動，請確認values.yaml配置是否正確，相關鏡像拉取是否成功。

   # 檢查Pod狀態
   kubectl get po -n kube-system | grep loongcollector-ds

   同時，Log Service會自動建立如下資源，可登入Log Service控制台查看。

   資源類型	資源名稱	作用
   Project	values.yaml檔案中自訂的projectName的值	資源嵌入式管理單元，隔離不同業務日誌。 如需自行建立Project以實現更靈活的日誌資源管理，請參考建立Project。
   機器組	k8s-group-${cluster_id}	日誌採集節點集合。
   Logstore	config-operation-log 重要 請不要刪除該Logstore。	用於儲存loongcollector-operator組件的日誌，其收費標準與普通Logstore完全相同，具體請參見按寫入資料量計費模式計費項目。建議不要在此Logstore下建立採集配置。

如何讓同一個記錄檔或容器標準輸出被多個採集配置同時採集？

預設情況下，Log Service為了防止資料重複，限制了每個日誌源只能被一個採集配置採集：

• 一個 文本記錄檔只能匹配一個 Logtail 採集配置；

• 一個容器的標準輸出（stdout）：

  • 如果使用的是標準輸出-新版模板， 預設只能被一個標準輸出採集配置採集。

  • 如果使用的是標準輸出-舊版模板，無需額外配置，預設支援採集多份。

1. 登入Log Service控制台，進入目標Project。

2. 在左側導覽列選擇日誌庫，找到目標Logstore。

3. 單擊其名稱前的展開Logstore。

4. 單擊Logtail配置，在配置列表中，找到目標Logtail配置，單擊操作列的管理Logtail配置。

5. 在Logtail配置頁面，單擊編輯，下滑至輸入配置地區：

   • 採集文字檔日誌：開啟允許檔案多次採集。

   • 採集容器標準輸出：開啟允許標準輸出多次採集。

卸載 ACK 中的 loongcollector(logtail-ds) 組件時提示依賴錯誤

問題現象：在阿里雲Container Service（ACK）中嘗試刪除loongcollector（logtail-ds） 日誌採集組件時，系統報錯：該組件的依賴不滿足

Dependencies of addons are not met: terway-eniip depends on logtail-ds(>0.0) whose version is v3.x.x.x-aliyun or will be v3.x.x.x-aliyun。

問題原因：terway-eniip 網路外掛程式啟用了日誌採集功能，其依賴於loongcollector（logtail-ds）組件。因此，在未解除該依賴關係前，ACK 不允許直接卸載loongcollector（logtail-ds）。

解決方案：請按以下步驟操作，先解除依賴再卸載組件：

1. 登入Container Service管理主控台。；

2. 在叢集列表中，單擊目的地組群名稱，進入叢集詳情頁面。

3. 在左側導覽列，單擊組件管理。

4. 在組件列表中，搜尋並找到 terway-eniip 組件，單擊 > 關閉日誌。

5. 在彈出的對話方塊中，單擊確認。

6. 待配置生效後，重新嘗試卸載loongcollector（logtail-ds）組件。

為什麼最後一段日誌延遲很久才上報？有時還會被截斷？

原因分析：日誌被截斷通常發生在記錄檔末尾缺少分行符號，或多行日誌（如異常堆棧）尚未完整寫入時。由於採集器無法判斷日誌是否已結束，可能導致最後一段內容被提前切分或延遲上報。不同版本的LoongCollector(Logtail)處理機制有差異：

• 1.8 之前版本：
  如果最後一行日誌沒有分行符號（斷行符號），或者一個多行日誌段落未結束，採集器會一直等待下一次寫入觸發輸出。這可能導致最後一條日誌長時間滯留不發送，直到新日誌寫入。
  

• 1.8 及之後版本：
  引入逾時重新整理機制，避免日誌卡住。當檢測到未完成的日誌行時，系統啟動計時器，逾時後自動認可當前內容，確保日誌最終能被採集。
  

  • 預設逾時時間：60 秒（保證大多數情境下的完整性）

  • 您可根據實際需求調整該值，但不建議設為 0，否則可能導致日誌截斷或丟失部分內容。

解決方案：

您可以適當延長等待時間，確保完整日誌寫入後再被採集：

1. 登入Log Service控制台，進入目標Project。

2. 在左側導覽列選擇日誌庫，找到目標Logstore。

3. 單擊其名稱前的展開Logstore。

4. 單擊Logtail配置，在配置列表中，找到目標Logtail配置，單擊操作列的管理Logtail配置。

5. 在Logtail配置頁面，單擊編輯：

   • 輸入配置 > 其他輸入配置 > 進階參數：添加以下JSON配置自訂逾時時間

     {
       "FlushTimeoutSecs": 1
     }

     • 預設值：由啟動參數 default_reader_flush_timeout 決定（通常為幾秒）。

     • 單位：秒。

     • 建議值：≥1 秒，不建議設為 0，否則可能導致日誌截斷或丟失部分內容。

6. 配置完成後，單擊儲存。

為什麼LoongCollector（Logtail）在運行過程中會從內網網域名稱切換到公網？能否自動切回？

LoongCollector（Logtail）運行過程中，若檢測到內網網域名稱通訊異常（如網路不通、連線逾時等），為保障日誌採集的連續性和可靠性，系統會自動切換至公網網域名稱進行資料發送，避免日誌堆積或丟失。

• LoongCollector：內網恢複後，自動切回內網。

• Logtail：不會自動切回，需手動重啟才能恢複內網通訊。

在Logtail配置頁面的處理配置地區，可以通過添加處理外掛程式，對原始日誌進行結構化處理。如需為已有採集配置添加處理外掛程式，可以參考如下步驟：

1. 在左側導覽列選擇日誌庫，找到目標Logstore。

2. 單擊其名稱前的展開Logstore。

3. 單擊Logtail配置，在配置列表中，找到目標Logtail配置，單擊操作列的管理Logtail配置。

4. 在Logtail配置頁面，單擊編輯。

此處僅介紹常用處理外掛程式，覆蓋常見Tlog情境，如需更多功能，請參考拓展處理外掛程式。

分隔字元解析

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

標準JSON解析

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

嵌套JSON解析

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

JSON數組解析

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

Apache日誌解析

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

資料脫敏

對日誌中的敏感性資料進行脫敏處理。

效果樣本：

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

配置步驟：在Logtail配置頁面的處理配置地區，單擊添加處理外掛程式，選擇原生處理外掛程式 > 脫敏處理：

• 原始欄位：解析日誌前，用於存放日誌內容的原始欄位。

• 脫敏方式：

  • const：將敏感內容替換成所修改的字串。

  • md5：將敏感內容替換為其對應的MD5值。

• 替換字串：選擇脫敏方式為const時，需要輸入字串，用於替換敏感內容。

• 被替換內容前的內容運算式：用於尋找敏感內容，使用RE2文法配置。

• 被替換的內容運算式：敏感內容的運算式，使用RE2文法配置。

1. 命名分組文法差異

Go語言使用 (?P<name>...) 文法定義命名分組，不支援 PCRE中的 (?<name>...) 文法。

• 正確樣本：(?P<year>\d{4})

• 錯誤寫法：(?<year>\d{4})

2. 不支援的正則特性

以下常見但複雜的正則功能在RE2中不可用，請避免使用：

• 斷言：(?=...)、(?!...)、(?<=...)、（?<!...)

• 條件運算式：(?(condition)true|false)

• 遞迴匹配：(?R)、(?0)

• 子程式引用：(?&name)、(?P>name)

• 原子組：(?>...)

3. 使用建議

推薦使用 Regex101等工具調試Regex時，選擇 Golang (RE2) 模式進行驗證，以確保相容性。若使用了上述不支援的文法，外掛程式將無法正確解析或匹配。