Simple Log Service:Kubernetes CRD を使用したクラスターからのコンテナログ（標準出力およびファイル）の収集

主なフィールド

例

タイプ String （必須）

プラグインのタイプです。processor_parse_regex_native を設定します。

 # ...spec.config 下...
 processors:
  # 正規表現解析プラグインを使用してログコンテンツを解析します。
  - Type: processor_parse_regex_native
    # 生ログフィールドのソースを指定します。通常は content です。
    SourceKey: content

    # ログフィールドのマッチおよび抽出に使用される正規表現です。
    Regex: >-
      (\S+)\s-\s(\S+)\s$$([^]]+)$$\s"
      (\w+)\s(\S+)\s([^"]+)"
      \s(\d+)\s(\d+)\s"
      ([^"]+)"\s"
      ([^"]+).*

    # 抽出されたフィールドのリストで、正規表現のグループと順序が一致します。
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent

    # 解析失敗時にソースフィールドを保持するかどうかを指定します。
    KeepingSourceWhenParseFail: true

    # 解析成功時にソースフィールドを保持するかどうかを指定します。
    KeepingSourceWhenParseSucceed: true

    # ソースフィールドを保持する場合、その新しい名前を指定します。
    RenamedSourceKey: fail

SourceKey String （必須）

ソースフィールドの名前です。

Regex String （必須）

ログにマッチさせる正規表現です。

Keys String （必須）

抽出されたフィールドのリストです。

KeepingSourceWhenParseFail boolean （任意）

解析失敗時にソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

KeepingSourceWhenParseSucceed boolean （任意）

解析成功時にソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

RenamedSourceKey String （任意）

ソースフィールドを保持する場合、その保存に使用されるフィールド名です。デフォルトでは名前は変更されません。

主なフィールド

例

タイプ String （必須）

プラグインのタイプです。processor_parse_delimiter_native を設定します。

# ...spec.config 下...
processors:
  # デリミタ解析プラグインの構成
  - Type: processor_parse_delimiter_native
    # 生フィールドのソース（通常は content）
    SourceKey: content

    Separator: ','

    Quote: '"'

    # 順序通りに抽出されるフィールド名を定義します。
    Keys:
      - time
      - ip
      - request
      - status
      - size
      - user_agent

SourceKey String （必須）

ソースフィールドの名前です。

Separator String （必須）

フィールド区切り文字です。CSV の場合、カンマ (,) を使用します。

Keys [String] （必須）

抽出されたフィールドのリストです。

Quote String （任意）

特殊文字（カンマなど）を含むフィールドコンテンツを囲む引用符です。

AllowingShortenedFields boolean （任意）

抽出されたフィールド数がキー数より少ない場合を許容するかどうかを指定します。デフォルト値は true です。許容しない場合、この状況は解析失敗として扱われます。

OverflowedFieldsTreatment String （任意）

抽出されたフィールド数がキー数より多い場合の動作を指定します。デフォルト値は extend です。サポートされる値は以下のとおりです：

• extend：余分なフィールドを保持します。各余分なフィールドは、個別のフィールドとしてログに追加されます。余分なフィールドのフィールド名は _column$i_ で、$i は余分なフィールドの序数（0 から始まる）を表します。

• keep：余分なフィールドを保持しますが、余分なコンテンツを 1 つのフィールドとしてログに追加します。フィールド名は _column0_ です。

• discard：余分なフィールドを破棄します。

KeepingSourceWhenParseFail boolean （任意）

解析失敗時にソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

KeepingSourceWhenParseSucceed boolean （任意）

解析成功時にソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

RenamedSourceKey String （任意）

ソースフィールドを保持する場合、その保存に使用されるフィールド名です。デフォルトでは名前は変更されません。

主なフィールド

例

タイプ String （必須）

プラグインのタイプです。processor_parse_json_native を設定します。

# ...spec.config 下...
processors:
  # JSON 解析プラグインの構成
  - Type: processor_parse_json_native
    # 生ログフィールドのソース
    SourceKey: content

SourceKey String （必須）

ソースフィールドの名前です。

KeepingSourceWhenParseFail boolean （任意）

解析失敗時にソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

KeepingSourceWhenParseSucceed boolean （任意）

解析成功時にソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

RenamedSourceKey String （任意）

ソースフィールドを保持する場合、その保存に使用されるフィールド名です。デフォルトでは名前は変更されません。

主なフィールド

例

タイプ String （必須）

プラグインのタイプです。processor_json を設定します。

# ...spec.config 下...
processors:
  # JSON フィールド展開プラグインを構成します。
  - Type: processor_json
    # 解析対象の生フィールドの名前を指定します。
    SourceKey: content
    
    ExpandDepth: 0

    ExpandConnector: '_'

    Prefix: expand

    IgnoreFirstConnector: false

    # 配列要素を個別のフィールドとして展開するかどうかを指定します。
    ExpandArray: false

    # 生フィールドのコンテンツを保持するかどうかを指定します。
    KeepSource: true

    # 生フィールドが見つからない場合にエラーを報告するかどうかを指定します。
    NoKeyError: true

    # 生フィールド名を展開されたフィールド名のプレフィックスとして使用するかどうかを指定します。
    UseSourceKeyAsPrefix: false

    # JSON 解析失敗時に生ログデータを保持するかどうかを指定します。
    KeepSourceIfParseError: true

SourceKey String （必須）

ソースフィールドの名前です。

ExpandDepth integer （任意）

JSON 展開深度です。デフォルト値は 0 です。

• 0：解析可能な最も深いレベルまで展開します。

• 1：現在のレベルのみ展開します。以下同様です。

ExpandConnector String （任意）

JSON 展開時のフィールド名のコネクタです。デフォルト値はアンダースコア (_) です。

Prefix String （任意）

展開された JSON フィールド名のプレフィックスを指定します。

IgnoreFirstConnector String （任意）

最初のコネクタを無視するかどうか（つまり、最上位フィールドの前にコネクタを追加するかどうか）を指定します。デフォルト値は false です。

ExpandArray boolean （任意）

配列タイプを展開するかどうかを指定します。デフォルト値は false です。

• false（デフォルト）：展開しません。

• true：展開します。たとえば、{"k":["1","2"]} は {"k[0]":"1","k[1]":"2"} に展開されます。

KeepSource boolean （任意）

解析されたログに生フィールドを保持するかどうかを指定します。デフォルト値は true です。

• true：保持

• false：破棄

NoKeyError boolean （任意）

指定された生フィールドが生ログに見つからない場合に、システムがエラーを報告するかどうかを指定します。デフォルト値は true です。

• true：エラーを報告

• false：エラーを報告しない

UseSourceKeyAsPrefix boolean （任意）

生フィールド名をすべての展開された JSON フィールド名のプレフィックスとして使用するかどうかを指定します。

KeepSourceIfParseError boolean （任意）

解析失敗時に生ログを保持するかどうかを指定します。デフォルト値は true です。

• true：保持

• false：破棄

主なフィールド

例

タイプ String （必須）

プラグインのタイプです。SPL プラグインのタイプは processor_spl です。

# ...spec.config 下...
processors:
  # SPL スクリプトを使用してログフィールドを処理します。
  - Type: processor_spl
    # スクリプトのタイムアウト（単位：ミリ秒）
    TimeoutMilliSeconds: 1000

    # SPL スクリプトのコンテンツで、content フィールド内の JSON 配列から要素を抽出します。
    Script: >-
      * | extend
        json1 = json_extract(content, '$[0]'),
        json2 = json_extract(content, '$[1]')

Script String （必須）

SPL スクリプトのコンテンツで、content フィールド内の JSON 配列から要素を抽出します。

TimeoutMilliSeconds integer （任意）

スクリプトのタイムアウト期間です。値の範囲は 0～10000 です。単位はミリ秒で、デフォルト値は 1000 です。

主なフィールド

例

タイプ String （必須）

プラグインのタイプです。NGINX ログ解析のプラグインタイプは processor_parse_regex_native です。

# ...spec.config 下...
processors:
  # NGINX ログ解析プラグインの構成
  - Type: processor_parse_regex_native
    # 生ログフィールドのソース
    SourceKey: content
    
    # 正規表現解析ルール
    Regex: >-
      (\S*)\s*-\s*(\S*)\s*\[
      (\d+/\S+/\d+:\d+:\d+:\d+)\s+\S+\]
      \s*"(\S+)\s+(\S+)\s+\S+"
      \s*(\S*)\s*(\S*)\s*(\S*)\s*(\S*)
      \s*"([^"]*)"\s*"([^"]*)".*
    
    # 抽出されたフィールドのマッピング
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_time
      - request_length
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent
    
    # NGINX 固有の構成
    Extra:
      Format: >-
        log_format main  '$remote_addr - $remote_user [$time_local]
        "$request" ''$request_time $request_length ''$status
        $body_bytes_sent "$http_referer" ''"$http_user_agent"';
      LogType: NGINX

SourceKey String （必須）

ソースフィールドの名前です。

Regex integer （必須）

正規表現です。

Keys String （必須）

抽出されたフィールドのリストです。

Extra

• Format String （必須）

  Nginx 構成ファイル内のログ構成セクションで、log_format から始まります。

  本番環境では、ここで指定する log_format は、通常 /etc/nginx/nginx.conf ファイルにある Nginx 構成ファイルの定義と一致している必要があります。

• LogType String （必須）

  解析対象のログのタイプです。NGINX を設定します。

KeepingSourceWhenParseFail boolean （任意）

解析失敗時にソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

KeepingSourceWhenParseSucceed boolean （任意）

解析成功時にソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

RenamedSourceKey String （任意）

ソースフィールドを保持する場合、その保存に使用されるフィールド名です。デフォルトでは名前は変更されません。

主なフィールド

例

タイプ String （必須）

プラグインのタイプです。processor_parse_regex_native を設定します。

# ...spec.config 下...
processors:
  # Apache Combined ログ解析プラグイン（正規表現ベース）を構成します。
  - Type: processor_parse_regex_native
    # 生ログフィールドのソース（通常は content）
    SourceKey: content

    # Apache combined 形式のログにマッチおよび抽出するために使用される正規表現です。
    Regex: >-
      ([0-9.-]+)\s                          # remote_addr
      ([\w.-]+)\s                           # remote_ident
      ([\w.-]+)\s                           # remote_user
      (\[[^\[\]]+\]|-)\s                    # time_local
      "((?:[^"]|\")+)"\s                     # request_method + request_uri + request_protocol
      "((?:[^"]|\")+)"\s                     # request_uri (repeated capture? check logic)
      "((?:[^"]|\"|')+)"                     # request_protocol
      (\d{3}|-)\s                           # status
      (\d+|-)\s                             # response_size_bytes
      "((?:[^"]|\")+)"\s                     # http_referer
      "((?:[^"]|\"|')+)"                     # http_user_agent

    # 抽出されたフィールドのリストで、正規表現のグループと順序が一致します。
    Keys:
      - remote_addr
      - remote_ident
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - response_size_bytes
      - http_referer
      - http_user_agent

    # 追加のプラグイン情報（任意、ログフォーマットの説明用）
    Extra:
      Format: >-
        LogFormat "%h %l %u %t \"%r\" %>s %b
        \"%{Referer}i\" \"%{User-Agent}i\"" combined
      LogType: Apache
      SubType: combined

SourceKey String （必須）

ソースフィールドの名前です。

Regex integer （必須）

正規表現です。

Keys String （必須）

抽出されたフィールドのリストです。

Extra

• Format String （必須）

  Apache 構成ファイル内のログ構成セクションで、通常は LogFormat から始まります。

• LogType String （必須）

  解析対象のログのタイプです。Apache を設定します。

• SubType String （必須）

  ログフォーマットです。

  • common

  • combined

  • custom

KeepingSourceWhenParseFail boolean （任意）

解析失敗時にソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

KeepingSourceWhenParseSucceed boolean （任意）

解析成功時にソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

RenamedSourceKey String （任意）

ソースフィールドを保持する場合、その保存に使用されるフィールド名です。デフォルトでは名前は変更されません。

主なフィールド

例

ContainerFilters

コンテナフィルタリング

• Pod ラベルのブラックリスト／ホワイトリスト

  • IncludeK8sLabel

    K8s Pod ラベルホワイトリスト：ログを収集するコンテナを指定します。

  • ExcludeK8sLabel

    K8s Pod ラベルブラックリスト：特定の条件を満たすコンテナからのログ収集を除外します。

• 環境変数のブラックリストおよびホワイトリスト

  • IncludeEnv

    環境変数ホワイトリスト

  • ExcludeInv

    環境変数ブラックリスト

• Pod/Namespace/コンテナ名の正規表現マッチング

  • K8sNamespaceRegex

    名前空間の正規表現マッチング

  • K8sPodRegex

    Pod 名の正規表現マッチング

  • K8sContainerRegex

    コンテナ名の正規表現マッチング

すべての正規表現は Go の RE2 正規表現エンジンに基づいており、PCRE などのエンジンと比較していくつかの制限があります。正規表現の記述については、付録: コンテナフィルタリングにおける正規表現の制限をご参照ください。

# ...spec.config 下...
inputs:
  - Type: input_file # または input_container_stdio
    # 入力プラグインタイプが input_file の場合、EnableContainerDiscovery を true に設定する必要があります。
    EnableContainerDiscovery: true
    # コンテナフィルタリング
    ContainerFilters:
      # K8s Pod ラベルホワイトリスト：ログを収集するコンテナを指定します。
      IncludeK8sLabel:
        # 例：app ラベルの値が nginx または redis のすべての Pod にマッチします。
        app: ^(nginx|redis)$

      # K8s Pod ラベルブラックリスト：特定の条件を満たすコンテナからのログ収集を除外します。
      ExcludeK8sLabel:
        # 例：app:test ラベルを持つすべての Pod を除外します。
        app: test
      
      # 環境変数ホワイトリスト
      IncludeEnv:
        # NGINX_SERVICE_PORT=80 または NGINX_SERVICE_PORT=6379 のすべてのコンテナにマッチします。
        NGINX_SERVICE_PORT: ^(80|6379)$

      # 環境変数ブラックリスト
      ExcludeEnv:
        # ENVIRONMENT=test のすべてのコンテナを除外します。
        ENVIRONMENT: test
      
      # 名前空間の正規表現マッチング。例：default および nginx 名前空間内のすべてのコンテナにマッチします。
      K8sNamespaceRegex: ^(default|nginx)$
      # Pod 名の正規表現マッチング。例：名前が nginx-log-demo で始まるすべての Pod 内のコンテナにマッチします。
      K8sPodRegex: ^(nginx-log-demo.*)$
      # コンテナ名の正規表現マッチング。例：container-test という名前のすべてのコンテナにマッチします。
      K8sContainerRegex: ^(container-test)$