Simple Log Service：通過Kubernetes CRD採集叢集容器日誌（標準輸出/檔案）

關鍵字段

樣本

Type String （必選）

外掛程式類型，固定為processor_parse_regex_native。

 # ...在 spec.config下...
 processors:
  # 使用Regex解析外掛程式解析日誌內容
  - Type: processor_parse_regex_native
    # 指定原始日誌欄位來源，通常為 content
    SourceKey: content

    # Regex用於匹配並提取日誌欄位
    Regex: >-
      (\S+)\s-\s(\S+)\s$$([^]]+)$$\s"
      (\w+)\s(\S+)\s([^"]+)"
      \s(\d+)\s(\d+)\s"
      ([^"]+)"\s"
      ([^"]+).*

    # 提取欄位列表，按正則分組順序對應
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent

    # 解析失敗時是否保留原始欄位
    KeepingSourceWhenParseFail: true

    # 解析成功時是否保留原始欄位
    KeepingSourceWhenParseSucceed: true

    # 如果保留原始欄位，可以指定重新命名後的欄位名
    RenamedSourceKey: fail

SourceKey String （必選）

源欄位名。

Regex String （必選）

匹配日誌的Regex。

Keys String （必選）

提取的欄位列表。

KeepingSourceWhenParseFail boolean （可選）

解析失敗時，是否保留源欄位，預設為false。

KeepingSourceWhenParseSucceed boolean （可選）

解析成功時，是否保留源欄位，預設為false。

RenamedSourceKey String （可選）

保留源欄位時，用於儲存源欄位的欄位名，預設不改名。

關鍵字段詳解

樣本

Type String （必選）

外掛程式類型，固定值processor_parse_delimiter_native。

# ...在 spec.config下...
processors:
  # 分隔字元解析外掛程式配置
  - Type: processor_parse_delimiter_native
    # 原始欄位來源，通常為 content
    SourceKey: content

    Separator: ','

    Quote: '"'

    # 按順序定義提取後的欄位名
    Keys:
      - time
      - ip
      - request
      - status
      - size
      - user_agent

SourceKey String （必選）

源欄位名。

Separator String （必選）

欄位分隔符號，例如 CSV 使用逗號 (,)。

Keys [String] （必選）

提取的欄位列表。

Quote String （可選）

引用符，用於包裹包含特殊字元（如逗號）的欄位內容。

AllowingShortenedFields boolean （可選）

是否允許提取的欄位數量小於 Keys 的數量，預設為true。若不允許，則此情景會被視為解析失敗。

OverflowedFieldsTreatment String （可選）

當提取的欄位數量大於 Keys 的數量時的行為，預設為extend。可選值包括：

• extend：保留多餘的欄位，且每個多餘的欄位都作為單獨的一個欄位加入日誌，多餘欄位的欄位名為_column$i_，其中$i 代表額外欄位序號，從 0 開始計數。

• keep：保留多餘的欄位，但將多餘內容作為一個整體欄位加入日誌，欄位名為_column0_。

• discard：丟棄多餘的欄位。

KeepingSourceWhenParseFail boolean （可選）

解析失敗時，是否保留源欄位，預設為false。

KeepingSourceWhenParseSucceed boolean （可選）

解析成功時，是否保留源欄位，預設為false。

RenamedSourceKey String （可選）

保留源欄位時，用於儲存源欄位的欄位名，預設不改名。

關鍵字段詳解

樣本

Type String （必選）

外掛程式類型，固定值為processor_parse_json_native。

# ...在 spec.config下...
processors:
  # JSON 解析外掛程式配置
  - Type: processor_parse_json_native
    # 原始日誌欄位來源
    SourceKey: content

SourceKey String （必選）

源欄位名。

KeepingSourceWhenParseFail boolean （可選）

解析失敗時，是否保留源欄位，預設為false。

KeepingSourceWhenParseSucceed boolean （可選）

解析成功時，是否保留源欄位，預設為false。

RenamedSourceKey String （可選）

保留源欄位時，用於儲存源欄位的欄位名，預設不改名。

關鍵字段詳解

樣本

Type String （必選）

外掛程式類型，固定值processor_json。

# ...在 spec.config下...
processors:
  # 配置 JSON 欄位展開外掛程式
  - Type: processor_json
    # 指定需要解析的原始欄位名
    SourceKey: content
    
    ExpandDepth: 0

    ExpandConnector: '_'

    Prefix: expand

    IgnoreFirstConnector: false

    # 是否展開數組元素為獨立欄位
    ExpandArray: false

    # 是否保留原始欄位內容
    KeepSource: true

    # 當原始欄位缺失時是否報錯
    NoKeyError: true

    # 是否將原始欄位名作為展開欄位名的首碼
    UseSourceKeyAsPrefix: false

    # 如果 JSON 解析失敗，是否保留原始日誌資料
    KeepSourceIfParseError: true

SourceKey String （必選）

源欄位名。

ExpandDepth integer （可選）

JSON 展開深度，預設值為0。

• 0：表示展開到能解析成功的最深層級；

• 1：表示僅展開當前層級，以此類推。

ExpandConnector String （可選）

JSON 展開時欄位名的串連符，預設為底線（_）。

Prefix String （可選）

指定 JSON 展開後欄位名的首碼。

IgnoreFirstConnector String （可選）

是否忽略第一個串連符，即是否在頂級欄位前添加串連符，預設為false。

ExpandArray boolean （可選）

是否展開數群組類型，預設為false。

• false（預設值）：不展開。

• true：展開。例如{"k":["1","2"]}展開為{"k[0]":"1","k[1]":"2"}。

KeepSource boolean （可選）

被解析後的日誌中是否保留原始欄位，預設為true。

• true：保留

• false：丟棄

NoKeyError boolean （可選）

原始日誌中沒有指定的原始欄位時，系統是否報錯，預設為true。

• true：報錯

• false：不報錯

UseSourceKeyAsPrefix boolean （可選）

是否將原始欄位名作為所有 JSON 展開欄位名的首碼。

KeepSourceIfParseError boolean （可選）

解析日誌失敗時，是否保留原始日誌，預設為true。

• true：保留

• false：丟棄

關鍵字段詳解

樣本

Type String （必選）

外掛程式類型，SPL外掛程式類型為processor_spl。

# ...在 spec.config下...
processors:
  # 使用 SPL 指令碼處理日誌欄位
  - Type: processor_spl
    # 指令碼逾時時間（單位：毫秒）
    TimeoutMilliSeconds: 1000

    # SPL 指令碼內容，用於從 content 欄位中提取 JSON 數組中的元素
    Script: >-
      * | extend
        json1 = json_extract(content, '$[0]'),
        json2 = json_extract(content, '$[1]')

Script String （必選）

SPL 指令碼內容，用於從 content 欄位中提取 JSON 數組中的元素。

TimeoutMilliSeconds integer （可選）

指令碼逾時時間，取值範圍0~10000，單位為毫秒，預設1000。

關鍵字段詳解

樣本

Type String （必選）

外掛程式類型，Nginx日誌解析的外掛程式類型為processor_parse_regex_native。

# ...在 spec.config下...
processors:
  # NGINX 日誌解析外掛程式配置
  - Type: processor_parse_regex_native
    # 原始日誌欄位來源
    SourceKey: content
    
    # Regex解析規則
    Regex: >-
      (\S*)\s*-\s*(\S*)\s*\[
      (\d+/\S+/\d+:\d+:\d+:\d+)\s+\S+\]
      \s*"(\S+)\s+(\S+)\s+\S+"
      \s*(\S*)\s*(\S*)\s*(\S*)\s*(\S*)
      \s*"([^"]*)"\s*"([^"]*)".*
    
    # 提取欄位對應
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_time
      - request_length
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent
    
    # NGINX 特定配置
    Extra:
      Format: >-
        log_format main  '$remote_addr - $remote_user [$time_local]
        "$request" ''$request_time $request_length ''$status
        $body_bytes_sent "$http_referer" ''"$http_user_agent"';
      LogType: NGINX

SourceKey String （必選）

源欄位名。

Regex integer （必選）

Regex。

Keys String （必選）

提取的欄位列表。

Extra

• Format String （必選）

  Nginx設定檔中的日誌配置部分，以log_format開頭。

  生產環境中，此處的log_format必須與Nginx設定檔（通常位於  /etc/nginx/nginx.conf檔案中）中的定義保持一致。

• LogType String （必選）

  解析日誌類型，固定值為NGINX。

KeepingSourceWhenParseFail boolean （可選）

解析失敗時是否保留原始欄位，預設為false。

KeepingSourceWhenParseSucceed boolean （可選）

解析成功時是否保留原始欄位，預設為false。

RenamedSourceKey String （可選）

保留原始欄位時，用於儲存原始的欄位名，預設不改名。

關鍵字段詳解

樣本

Type String （必選）

外掛程式類型，固定值為processor_parse_regex_native。

# ...在 spec.config下...
processors:
  # 配置 Apache Combined 日誌解析外掛程式（基於Regex）
  - Type: processor_parse_regex_native
    # 原始日誌欄位來源，通常為 content
    SourceKey: content

    # Regex用於匹配並提取 Apache combined 格式日誌
    Regex: >-
      ([0-9.-]+)\s                          # remote_addr
      ([\w.-]+)\s                           # remote_ident
      ([\w.-]+)\s                           # remote_user
      (\[[^\[\]]+\]|-)\s                    # time_local
      "((?:[^"]|\")+)"\s                     # request_method + request_uri + request_protocol
      "((?:[^"]|\")+)"\s                     # request_uri（重複捕獲？需注意邏輯）
      "((?:[^"]|\")+)"\s                     # request_protocol
      (\d{3}|-)\s                           # status
      (\d+|-)\s                             # response_size_bytes
      "((?:[^"]|\")+)"\s                     # http_referer
      "((?:[^"]|\"|')+)"                     # http_user_agent

    # 提取欄位列表，按正則分組順序對應
    Keys:
      - remote_addr
      - remote_ident
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - response_size_bytes
      - http_referer
      - http_user_agent

    # 外掛程式附加資訊（非必須，用於說明日誌格式）
    Extra:
      Format: >-
        LogFormat "%h %l %u %t \"%r\" %>s %b
        \"%{Referer}i\" \"%{User-Agent}i\"" combined
      LogType: Apache
      SubType: combined

SourceKey String （必選）

源欄位名。

Regex integer （必選）

Regex。

Keys String （必選）

提取的欄位列表。

Extra

• Format String （必選）

  Apache設定檔中的日誌配置部分，通常以LogFormat開頭。

• LogType String （必選）

  解析日誌類型，固定值為Apache。

• SubType String （必選）

  日誌格式。

  • common

  • combined

  • 自訂

KeepingSourceWhenParseFail boolean （可選）

解析失敗時是否保留原始欄位，預設為false。

KeepingSourceWhenParseSucceed boolean （可選）

解析成功時是否保留原始欄位，預設為false。

RenamedSourceKey String （可選）

保留原始欄位時，用於儲存原始的欄位名，預設不改名。

關鍵字段詳解

樣本

ContainerFilters

容器過濾

• Pod標籤黑/白名單

  • IncludeK8sLabel

    K8s Pod標籤白名單，指定需要採集日誌的容器。

  • ExcludeK8sLabel

    K8s Pod標籤黑名單：排除符合特定條件的容器日誌採集。

• 環境變數黑白名單

  • IncludeEnv

    環境變數白名單

  • ExcludeInv

    環境變數黑名單

• Pod/Namespace/容器名稱正則匹配

  • K8sNamespaceRegex

    Namespace 正則匹配

  • K8sPodRegex

    Pod 名稱正則匹配

  • K8sContainerRegex

    容器名稱正則匹配

所有正則匹配均基於 Go 語言的 RE2 正則引擎，功能較 PCRE 等引擎有所限制，請遵循附錄：Regex使用限制（容器過濾）編寫Regex。

# ...在 spec.config下...
inputs:
  - Type: input_file # 或 input_container_stdio
    # 當輸入外掛程式類型為input_file時，需配置：啟用容器發現功能為true。
    EnableContainerDiscovery: true
    # 容器過濾
    ContainerFilters:
      # K8s Pod標籤白名單：指定需要採集日誌的容器
      IncludeK8sLabel:
        # 樣本：匹配所有包含 app 標籤且標籤值為 nginx 或 redis 的 Pod。
        app: ^(nginx|redis)$

      # K8s Pod標籤黑名單：排除符合特定條件的容器日誌採集
      ExcludeK8sLabel:
        # 樣本：排除所有包含 app:test 標籤的 Pod
        app: test
      
      # 環境變數白名單
      IncludeEnv:
        # 匹配所有包含 NGINX_SERVICE_PORT=80 或 NGINX_SERVICE_PORT=6379 的容器。
        NGINX_SERVICE_PORT: ^(80|6379)$

      # 環境變數黑名單
      ExcludeEnv:
        # 排除所有 ENVIRONMENT=test 的容器。
        ENVIRONMENT: test
      
      # Namespace 正則匹配，樣本為匹配 default 和 nginx 命名空間下的所有容器。
      K8sNamespaceRegex: ^(default|nginx)$
      # Pod 名稱正則匹配，樣本為匹配所有以 nginx-log-demo 開頭的 Pod 下的容器。
      K8sPodRegex: ^(nginx-log-demo.*)$
      # 容器名稱正則匹配，樣本為匹配所有名為 container-test 的容器
      K8sContainerRegex: ^(container-test)$