Simple Log Service:Kubernetes CRD を使用してクラスターからコンテナーログ (標準出力およびファイル) を収集する

キーフィールド

例

Type String (必須)

プラグインのタイプ。processor_parse_regex_native に設定します。

 # ...spec.config の下...
 processors:
  # 正規表現解析プラグインを使用してログコンテンツを解析します。
  - Type: processor_parse_regex_native
    # 生ログフィールドのソースを指定します。通常は content です。
    SourceKey: content

    # 正規表現は、ログフィールドを照合して抽出するために使用されます。
    Regex: >-
      (\S+)\s-\s(\S+)\s$$([^]]+)$$\s"
      (\w+)\s(\S+)\s([^"]+)"
      \s(\d+)\s(\d+)\s"
      ([^"]+)"\s"
      ([^"]+).*

    # 抽出されたフィールドのリスト。正規表現グループに順番に対応します。
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent

    # 解析に失敗した場合にソースフィールドを保持するかどうかを指定します。
    KeepingSourceWhenParseFail: true

    # 解析に成功した場合にソースフィールドを保持するかどうかを指定します。
    KeepingSourceWhenParseSucceed: true

    # ソースフィールドを保持する場合、その新しい名前を指定します。
    RenamedSourceKey: fail

SourceKey String (必須)

ソースフィールド名。

Regex String (必須)

ログに一致する正規表現。

Keys String (必須)

抽出されたフィールドのリスト。

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析に成功した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

RenamedSourceKey String (任意)

ソースフィールドを保持する場合、これはソースフィールドを格納するために使用されるフィールド名です。デフォルトでは、名前は変更されません。

キーフィールド

例

Type String (必須)

プラグインのタイプ。processor_parse_delimiter_native に設定します。

# ...spec.config の下...
processors:
  # デリミタ解析プラグインの設定
  - Type: processor_parse_delimiter_native
    # 生フィールドのソース、通常は content
    SourceKey: content

    Separator: ','

    Quote: '"'

    # 抽出されたフィールド名を順番に定義します。
    Keys:
      - time
      - ip
      - request
      - status
      - size
      - user_agent

SourceKey String (必須)

ソースフィールド名。

Separator String (必須)

フィールドセパレーター。たとえば、CSV はカンマ (,) を使用します。

Keys [String] (必須)

抽出されたフィールドのリスト。

Quote String (任意)

カンマなどの特殊文字を含むフィールドコンテンツを囲むために使用される引用符。

AllowingShortenedFields boolean (任意)

抽出されたフィールドの数がキーの数より少なくなることを許可するかどうかを指定します。デフォルト値：true。許可しない場合、このシナリオは解析失敗として扱われます。

OverflowedFieldsTreatment String (任意)

抽出されたフィールドの数がキーの数より多い場合の動作を指定します。デフォルト値：extend。サポートされている値は次のとおりです。

• extend：余分なフィールドを保持します。各余分なフィールドは、別のフィールドとしてログに追加されます。余分なフィールドのフィールド名は _column$i_ で、$i は 0 から始まる余分なフィールドの序数を表します。

• keep：余分なフィールドを保持しますが、余分なコンテンツを単一のフィールドとしてログに追加します。フィールド名は _column0_ です。

• discard：余分なフィールドを破棄します。

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析に成功した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

RenamedSourceKey String (任意)

ソースフィールドを保持する場合、これはソースフィールドを格納するために使用されるフィールド名です。デフォルトでは、名前は変更されません。

キーフィールド

例

Type String (必須)

プラグインのタイプ。processor_parse_json_native に設定します。

# ...spec.config の下...
processors:
  # JSON 解析プラグインの設定
  - Type: processor_parse_json_native
    # 生ログフィールドのソース
    SourceKey: content

SourceKey String (必須)

ソースフィールド名。

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析に成功した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

RenamedSourceKey String (任意)

ソースフィールドを保持する場合、これはソースフィールドを格納するために使用されるフィールド名です。デフォルトでは、名前は変更されません。

キーフィールド

例

Type String (必須)

プラグインのタイプ。processor_json に設定します。

# ...spec.config の下...
processors:
  # JSON フィールド展開プラグインを設定します。
  - Type: processor_json
    # 解析する生フィールドの名前を指定します。
    SourceKey: content
    
    ExpandDepth: 0

    ExpandConnector: '_'

    Prefix: expand

    IgnoreFirstConnector: false

    # 配列要素を別のフィールドに展開するかどうかを指定します。
    ExpandArray: false

    # 生フィールドのコンテンツを保持するかどうかを指定します。
    KeepSource: true

    # 生フィールドが見つからない場合にエラーを報告するかどうかを指定します。
    NoKeyError: true

    # 展開されたフィールド名のプレフィックスとして生フィールド名を使用するかどうかを指定します。
    UseSourceKeyAsPrefix: false

    # JSON 解析に失敗した場合に生ログデータを保持するかどうかを指定します。
    KeepSourceIfParseError: true

SourceKey String (必須)

ソースフィールド名。

ExpandDepth integer (任意)

JSON の展開深度。デフォルト値：0。

• 0：解析可能な最も深いレベルまで展開します。

• 1：現在のレベルのみを展開します。以下同様。

ExpandConnector String (任意)

JSON 展開時のフィールド名のコネクタ。デフォルト値：アンダースコア (_)。

Prefix String (任意)

展開された JSON フィールド名にプレフィックスを指定します。

IgnoreFirstConnector String (任意)

最初のコネクタを無視するかどうか、つまりトップレベルフィールドの前にコネクタを追加するかどうかを指定します。デフォルト値：false。

ExpandArray boolean (任意)

配列タイプを展開するかどうかを指定します。デフォルト値：false。

• false (デフォルト)：展開しません。

• true：展開します。たとえば、{"k":["1","2"]} は {"k[0]":"1","k[1]":"2"} に展開されます。

KeepSource boolean (任意)

解析されたログに生フィールドを保持するかどうかを指定します。デフォルト値：true。

• true：保持

• false：破棄

NoKeyError boolean (任意)

指定された生フィールドが生ログに見つからない場合にシステムがエラーを報告するかどうかを指定します。デフォルト値：true。

• true：エラーを報告します。

• false：エラーを報告しません。

UseSourceKeyAsPrefix boolean (任意)

すべての展開された JSON フィールド名のプレフィックスとして生フィールド名を使用するかどうかを指定します。

KeepSourceIfParseError boolean (任意)

解析に失敗した場合に生ログを保持するかどうかを指定します。デフォルト値：true。

• true：保持

• false：破棄

キーフィールド

例

Type String (必須)

プラグインのタイプ。SPL プラグインのタイプは processor_spl です。

# ...spec.config の下...
processors:
  # SPL スクリプトを使用してログフィールドを処理します。
  - Type: processor_spl
    # スクリプトのタイムアウト (単位：ミリ秒)
    TimeoutMilliSeconds: 1000

    # SPL スクリプトのコンテンツ。content フィールドの JSON 配列から要素を抽出するために使用されます。
    Script: >-
      * | extend
        json1 = json_extract(content, '$[0]'),
        json2 = json_extract(content, '$[1]')

Script String (必須)

SPL スクリプトのコンテンツ。content フィールドの JSON 配列から要素を抽出するために使用されます。

TimeoutMilliSeconds integer (任意)

スクリプトのタイムアウト期間。値の範囲：0〜10000。単位：ミリ秒。デフォルト値：1000。

キーフィールド

例

Type String (必須)

プラグインのタイプ。Nginx ログ解析のプラグインタイプは processor_parse_regex_native です。

# ...spec.config の下...
processors:
  # NGINX ログ解析プラグインの設定
  - Type: processor_parse_regex_native
    # 生ログフィールドのソース
    SourceKey: content
    
    # 正規表現解析ルール
    Regex: >-
      (\S*)\s*-\s*(\S*)\s*\[
      (\d+/\S+/\d+:\d+:\d+:\d+)\s+\S+\]
      \s*"(\S+)\s+(\S+)\s+\S+"
      \s*(\S*)\s*(\S*)\s*(\S*)\s*(\S*)
      \s*"([^"]*)"\s*"([^"]*)".*
    
    # 抽出されたフィールドマッピング
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_time
      - request_length
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent
    
    # NGINX 固有の設定
    Extra:
      Format: >-
        log_format main  '$remote_addr - $remote_user [$time_local]
        "$request" ''$request_time $request_length ''$status
        $body_bytes_sent "$http_referer" ''"$http_user_agent"';
      LogType: NGINX

SourceKey String (必須)

ソースフィールド名。

Regex integer (必須)

正規表現。

Keys String (必須)

抽出されたフィールドのリスト。

Extra

• Format String (必須)

  Nginx 設定ファイルのログ設定セクション。log_format で始まります。

  本番環境では、ここの log_format は Nginx 設定ファイルの定義と一致している必要があります。通常、/etc/nginx/nginx.conf ファイルにあります。

• LogType String (必須)

  解析するログのタイプ。NGINX に設定します。

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析に成功した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

RenamedSourceKey String (任意)

ソースフィールドを保持する場合、これはソースフィールドを格納するために使用されるフィールド名です。デフォルトでは、名前は変更されません。

キーフィールド

例

Type String (必須)

プラグインのタイプ。processor_parse_regex_native に設定します。

# ...spec.config の下...
processors:
  # Apache Combined ログ解析プラグインの設定 (正規表現に基づく)。
  - Type: processor_parse_regex_native
    # 生ログフィールドのソース、通常は content
    SourceKey: content

    # 正規表現は、Apache combined 形式のログを照合して抽出するために使用されます。
    Regex: >-
      ([0-9.-]+)\s                          # remote_addr
      ([\w.-]+)\s                           # remote_ident
      ([\w.-]+)\s                           # remote_user
      (\[[^\[\]]+\]|-)\s                    # time_local
      "((?:[^"]|\")+)"\s                     # request_method + request_uri + request_protocol
      "((?:[^"]|\")+)"\s                     # request_uri (繰り返しキャプチャ？ロジックを確認)
      "((?:[^"]|\")+)"\s                     # request_protocol
      (\d{3}|-)\s                           # status
      (\d+|-)\s                             # response_size_bytes
      "((?:[^"]|\")+)"\s                     # http_referer
      "((?:[^"]|\"|')+)"                     # http_user_agent

    # 抽出されたフィールドのリスト。正規表現グループに順番に対応します。
    Keys:
      - remote_addr
      - remote_ident
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - response_size_bytes
      - http_referer
      - http_user_agent

    # 追加のプラグイン情報 (任意、ログフォーマットを記述するため)
    Extra:
      Format: >-
        LogFormat "%h %l %u %t \"%r\" %>s %b
        \"%{Referer}i\" \"%{User-Agent}i\"" combined
      LogType: Apache
      SubType: combined

SourceKey String (必須)

ソースフィールド名。

Regex integer (必須)

正規表現。

Keys String (必須)

抽出されたフィールドのリスト。

Extra

• Format String (必須)

  Apache 設定ファイルのログ設定セクション。通常は LogFormat で始まります。

• LogType String (必須)

  解析するログのタイプ。Apache に設定します。

• SubType String (必須)

  ログフォーマット。

  • common

  • combined

  • custom

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析に成功した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

RenamedSourceKey String (任意)

ソースフィールドを保持する場合、これはソースフィールドを格納するために使用されるフィールド名です。デフォルトでは、名前は変更されません。

キーフィールド

例

ContainerFilters

コンテナーフィルタリング

• Pod ラベルのブラックリスト/ホワイトリスト

  • IncludeK8sLabel

    K8s Pod ラベルのホワイトリスト：ログを収集するコンテナーを指定します。

  • ExcludeK8sLabel

    K8s Pod ラベルのブラックリスト：特定の条件を満たすコンテナーからのログ収集を除外します。

• 環境変数のブラックリストとホワイトリスト

  • IncludeEnv

    環境変数のホワイトリスト

  • ExcludeInv

    環境変数のブラックリスト

• Pod/名前空間/コンテナー名の正規表現マッチング

  • K8sNamespaceRegex

    名前空間の正規表現マッチング

  • K8sPodRegex

    Pod 名の正規表現マッチング

  • K8sContainerRegex

    コンテナー名の正規表現マッチング

すべての正規表現は Go の RE2 正規表現エンジンに基づいています。これには PCRE などのエンジンと比較していくつかの制限があります。正規表現を記述する際は、付録：コンテナーフィルタリングにおける正規表現の制限をご参照ください。

# ...spec.config の下...
inputs:
  - Type: input_file # または input_container_stdio
    # 入力プラグインのタイプが input_file の場合、EnableContainerDiscovery を true に設定する必要があります。
    EnableContainerDiscovery: true
    # コンテナーフィルタリング
    ContainerFilters:
      # K8s Pod ラベルのホワイトリスト：ログを収集するコンテナーを指定します。
      IncludeK8sLabel:
        # 例：app ラベルの値が nginx または redis であるすべての Pod に一致します。
        app: ^(nginx|redis)$

      # K8s Pod ラベルのブラックリスト：特定の条件を満たすコンテナーからのログ収集を除外します。
      ExcludeK8sLabel:
        # 例：app:test ラベルを持つすべての Pod を除外します。
        app: test
      
      # 環境変数のホワイトリスト
      IncludeEnv:
        # NGINX_SERVICE_PORT=80 または NGINX_SERVICE_PORT=6379 を持つすべてのコンテナーに一致します。
        NGINX_SERVICE_PORT: ^(80|6379)$

      # 環境変数のブラックリスト
      ExcludeEnv:
        # ENVIRONMENT=test を持つすべてのコンテナーを除外します。
        ENVIRONMENT: test
      
      # 名前空間の正規表現マッチング。例：default および nginx 名前空間のすべてのコンテナーに一致します。
      K8sNamespaceRegex: ^(default|nginx)$
      # Pod 名の正規表現マッチング。例：名前が nginx-log-demo で始まるすべての Pod のコンテナーに一致します。
      K8sPodRegex: ^(nginx-log-demo.*)$
      # コンテナー名の正規表現マッチング。例：container-test という名前のすべてのコンテナーに一致します。
      K8sContainerRegex: ^(container-test)$