Simple Log Service：資料擷取時處理（處理外掛程式）

背景資訊

Logtail處理外掛程式可分為原生處理外掛程式和擴充處理外掛程式。

• 原生外掛程式：效能較優，適用於大部分業務情境，推薦優先使用。

• 擴充外掛程式：功能覆蓋更廣，當您的業務日誌過於複雜，無法使用原生外掛程式處理時，可以考慮使用擴充外掛程式完成日誌解析，但效能會受到一定影響。

使用限制

• 效能限制

  • 使用Logtail擴充外掛程式進行Tlog時，Logtail會消耗更多的資源（以CPU為主），請根據實際情況調整Logtail的參數配置，更多資訊請參見設定Logtail啟動參數。

  • 當未經處理資料量的產生速度超過5 MB/s時，不建議您使用過於複雜的外掛程式組合來處理日誌，您可以使用Logtail擴充外掛程式進行簡單處理，再通過資料加工完成進一步處理。

• 日誌採集限制

  • 擴充外掛程式對文本日誌的處理採用行模式，即檔案層級的中繼資料（例如__tag__:__path__、__topic__等）會被存放到每一條日誌中。

  • 添加擴充外掛程式後會影響和Tag相關的功能：

    • 上下文查詢和LiveTail功能不可用。如果您要使用這些功能，需要額外添加aggregators配置。

    • __topic__欄位會被重新命名為__log_topic__。如果您添加了aggregators配置，日誌中將同時存在__topic__欄位和__log_topic__欄位。如果您不需要__log_topic__欄位，可使用processor_drop外掛程式刪除該欄位。

    • __tag__:__path__等欄位不再具備原生欄位索引，需要建立欄位索引。

• 外掛程式組合限制

  • Logtail 2.0以下版本（不包括2.0版本）：

    • 不支援同時添加原生外掛程式和擴充外掛程式。

    • 原生外掛程式僅可用於採集文本日誌。使用原生外掛程式時，須符合如下要求：

      • 第一個處理外掛程式必須為正則解析外掛程式、分隔字元模式解析外掛程式、JSON解析外掛程式、Nginx模式解析外掛程式、Apache模式解析外掛程式或IIS模式解析外掛程式。

      • 第一個處理外掛程式之後僅允許存在1個時間解析處理外掛程式，1個過濾外掛程式和多個脫敏外掛程式。

  • Logtail 2.0版本：擴充處理外掛程式只能出現在所有的原生處理外掛程式之後，不能出現在任何原生處理外掛程式之前。

• 原生外掛程式解析參數組合限制

  對於Logtail 2.0以下版本的正則解析、JSON解析、分隔字元解析、Nginx模式解析、Apache模式解析、IIS模式解析的原生外掛程式，您可以根據不同情境選擇不同的參數配置組合。其餘的配置組合無效，Log Service不能保證配置效果。

  • 只上傳解析成功的日誌：

    

  • 解析成功時上傳解析後的日誌，解析失敗時上傳原始日誌：

    

  • 解析成功時不僅上傳解析後的日誌，並且追加原始日誌欄位，解析失敗時上傳原始日誌。

    例如，原始日誌"content": "{"request_method":"GET", "request_time":"200"}"解析成功，追加原始欄位是在解析後日誌的基礎上再增加一個欄位，欄位名為重新命名的原始欄位（如果不填則預設為原始欄位名），欄位值為原始日誌{"request_method":"GET", "request_time":"200"}。

    

添加外掛程式

Logtail處理外掛程式列表

原生外掛程式列表

擴充外掛程式