Simple Log Service:Kubernetes CRD を使用したクラスターからのコンテナログ (標準出力およびファイル) の収集

キーフィールド

例

Type String (必須)

プラグインのタイプです。processor_parse_regex_native に設定します。

 # ...spec.config の下...
 processors:
  # 正規表現解析プラグインを使用してログコンテンツを解析します。
  - Type: processor_parse_regex_native
    # 生ログフィールドのソースを指定します。通常は content です。
    SourceKey: content

    # 正規表現は、ログフィールドを照合して抽出するために使用されます。
    Regex: >-
      (\S+)\s-\s(\S+)\s$$([^]]+)$$\s"
      (\w+)\s(\S+)\s([^"]+)"
      \s(\d+)\s(\d+)\s"
      ([^"]+)"\s"
      ([^"]+).*

    # 抽出されたフィールドのリストで、正規表現のグループに順番に対応します。
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent

    # 解析に失敗した場合にソースフィールドを保持するかどうかを指定します。
    KeepingSourceWhenParseFail: true

    # 解析に成功した場合にソースフィールドを保持するかどうかを指定します。
    KeepingSourceWhenParseSucceed: true

    # ソースフィールドを保持する場合、その新しい名前を指定します。
    RenamedSourceKey: fail

SourceKey String (必須)

ソースフィールド名です。

Regex String (必須)

ログに一致する正規表現です。

Keys String (必須)

抽出されたフィールドのリストです。

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析に成功した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

RenamedSourceKey String (任意)

ソースフィールドを保持する場合、これはソースフィールドを格納するために使用されるフィールド名です。デフォルトでは、名前は変更されません。

キーフィールド

例

Type String (必須)

プラグインのタイプです。processor_parse_delimiter_native に設定します。

# ...spec.config の下...
processors:
  # 区切り文字解析プラグインの設定
  - Type: processor_parse_delimiter_native
    # 生フィールドのソース、通常は content
    SourceKey: content

    Separator: ','

    Quote: '"'

    # 抽出されたフィールド名を順番に定義します。
    Keys:
      - time
      - ip
      - request
      - status
      - size
      - user_agent

SourceKey String (必須)

ソースフィールド名です。

Separator String (必須)

フィールドの区切り文字です。たとえば、CSV はカンマ (,) を使用します。

Keys [String] (必須)

抽出されたフィールドのリストです。

Quote String (任意)

カンマなどの特殊文字を含むフィールドコンテンツを囲むために使用される引用符です。

AllowingShortenedFields boolean (任意)

抽出されたフィールドの数がキーの数より少なくなることを許可するかどうかを指定します。デフォルト値：true。許可しない場合、このシナリオは解析失敗として扱われます。

OverflowedFieldsTreatment String (任意)

抽出されたフィールドの数がキーの数より多い場合の動作を指定します。デフォルト値：extend。サポートされている値は次のとおりです。

• extend：余分なフィールドを保持します。各余分なフィールドは、別のフィールドとしてログに追加されます。余分なフィールドのフィールド名は _column$i_ で、$i は 0 から始まる余分なフィールドの序数を表します。

• keep：余分なフィールドを保持しますが、余分なコンテンツを単一のフィールドとしてログに追加します。フィールド名は _column0_ です。

• discard：余分なフィールドを破棄します。

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析に成功した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

RenamedSourceKey String (任意)

ソースフィールドを保持する場合、これはソースフィールドを格納するために使用されるフィールド名です。デフォルトでは、名前は変更されません。

キーフィールド

例

Type String (必須)

プラグインのタイプです。processor_parse_json_native に設定します。

# ...spec.config の下...
processors:
  # JSON 解析プラグインの設定
  - Type: processor_parse_json_native
    # 生ログフィールドのソース
    SourceKey: content

SourceKey String (必須)

ソースフィールド名です。

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析に成功した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

RenamedSourceKey String (任意)

ソースフィールドを保持する場合、これはソースフィールドを格納するために使用されるフィールド名です。デフォルトでは、名前は変更されません。

キーフィールド

例

Type String (必須)

プラグインのタイプです。processor_json に設定します。

# ...spec.config の下...
processors:
  # JSON フィールド展開プラグインを設定します。
  - Type: processor_json
    # 解析する生フィールドの名前を指定します。
    SourceKey: content
    
    ExpandDepth: 0

    ExpandConnector: '_'

    Prefix: expand

    IgnoreFirstConnector: false

    # 配列要素を個別のフィールドに展開するかどうかを指定します。
    ExpandArray: false

    # 生フィールドのコンテンツを保持するかどうかを指定します。
    KeepSource: true

    # 生フィールドが見つからない場合にエラーを報告するかどうかを指定します。
    NoKeyError: true

    # 展開されたフィールド名のプレフィックスとして生フィールド名を使用するかどうかを指定します。
    UseSourceKeyAsPrefix: false

    # JSON 解析に失敗した場合に生ログデータを保持するかどうかを指定します。
    KeepSourceIfParseError: true

SourceKey String (必須)

ソースフィールド名です。

ExpandDepth integer (任意)

JSON の展開深度です。デフォルト値：0。

• 0：解析可能な最も深いレベルまで展開します。

• 1：現在のレベルのみを展開します。以下同様です。

ExpandConnector String (任意)

JSON 展開時のフィールド名のコネクタです。デフォルト値：アンダースコア (_)。

Prefix String (任意)

展開された JSON フィールド名にプレフィックスを指定します。

IgnoreFirstConnector String (任意)

最初のコネクタを無視するかどうか、つまりトップレベルのフィールドの前にコネクタを追加するかどうかを指定します。デフォルト値：false。

ExpandArray boolean (任意)

配列タイプを展開するかどうかを指定します。デフォルト値：false。

• false (デフォルト)：展開しません。

• true：展開します。たとえば、{"k":["1","2"]} は {"k[0]":"1","k[1]":"2"} に展開されます。

KeepSource boolean (任意)

解析されたログに生フィールドを保持するかどうかを指定します。デフォルト値：true。

• true：保持

• false：破棄

NoKeyError boolean (任意)

指定された生フィールドが生ログに見つからない場合にシステムがエラーを報告するかどうかを指定します。デフォルト値：true。

• true：エラーを報告します。

• false：エラーを報告しません。

UseSourceKeyAsPrefix boolean (任意)

すべての展開された JSON フィールド名のプレフィックスとして生フィールド名を使用するかどうかを指定します。

KeepSourceIfParseError boolean (任意)

解析に失敗した場合に生ログを保持するかどうかを指定します。デフォルト値：true。

• true：保持

• false：破棄

キーフィールド

例

Type String (必須)

プラグインのタイプです。SPL プラグインのタイプは processor_spl です。

# ...spec.config の下...
processors:
  # SPL スクリプトを使用してログフィールドを処理します。
  - Type: processor_spl
    # スクリプトのタイムアウト (単位：ミリ秒)
    TimeoutMilliSeconds: 1000

    # SPL スクリプトの内容。content フィールドの JSON 配列から要素を抽出するために使用されます。
    Script: >-
      * | extend
        json1 = json_extract(content, '$[0]'),
        json2 = json_extract(content, '$[1]')

Script String (必須)

SPL スクリプトの内容。content フィールドの JSON 配列から要素を抽出するために使用されます。

TimeoutMilliSeconds integer (任意)

スクリプトのタイムアウト期間です。値の範囲：0～10000。単位：ミリ秒。デフォルト値：1000。

キーフィールド

例

Type String (必須)

プラグインのタイプです。Nginx ログ解析のプラグインタイプは processor_parse_regex_native です。

# ...spec.config の下...
processors:
  # NGINX ログ解析プラグインの設定
  - Type: processor_parse_regex_native
    # 生ログフィールドのソース
    SourceKey: content
    
    # 正規表現解析ルール
    Regex: >-
      (\S*)\s*-\s*(\S*)\s*\[
      (\d+/\S+/\d+:\d+:\d+:\d+)\s+\S+\]
      \s*"(\S+)\s+(\S+)\s+\S+"
      \s*(\S*)\s*(\S*)\s*(\S*)\s*(\S*)
      \s*"([^"]*)"\s*"([^"]*)".*
    
    # 抽出されたフィールドのマッピング
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_time
      - request_length
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent
    
    # NGINX 固有の設定
    Extra:
      Format: >-
        log_format main  '$remote_addr - $remote_user [$time_local]
        "$request" ''$request_time $request_length ''$status
        $body_bytes_sent "$http_referer" ''"$http_user_agent"';
      LogType: NGINX

SourceKey String (必須)

ソースフィールド名です。

正規表現 整数 (必須)

正規表現。

Keys String (必須)

抽出されたフィールドのリストです。

Extra

• Format String (必須)

  Nginx 構成ファイル内の、[log_format] で始まるログ構成セクション。

  本番環境では、ここの log_format は Nginx 設定ファイル (通常は /etc/nginx/nginx.conf ファイルにあります) の定義と一致している必要があります。

• LogType String (必須)

  解析するログのタイプです。NGINX に設定します。

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析に成功した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

RenamedSourceKey String (任意)

ソースフィールドを保持する場合、これはソースフィールドを格納するために使用されるフィールド名です。デフォルトでは、名前は変更されません。

キーフィールド

例

Type String (必須)

プラグインのタイプです。processor_parse_regex_native に設定します。

# ...spec.config の下...
processors:
  # Apache Combined ログ解析プラグインの設定 (正規表現に基づく)。
  - Type: processor_parse_regex_native
    # 生ログフィールドのソース、通常は content
    SourceKey: content

    # 正規表現は、Apache combined 形式のログを照合して抽出するために使用されます。
    Regex: >-
      ([0-9.-]+)\s                          # remote_addr
      ([\w.-]+)\s                           # remote_ident
      ([\w.-]+)\s                           # remote_user
      (\[[^\[\]]+\]|-)\s                    # time_local
      "((?:[^"]|\")+)"\s                     # request_method + request_uri + request_protocol
      "((?:[^"]|\")+)"\s                     # request_uri (重複キャプチャ？ロジックを確認)
      "((?:[^"]|\")+)"\s                     # request_protocol
      (\d{3}|-)\s                           # status
      (\d+|-)\s                             # response_size_bytes
      "((?:[^"]|\")+)"\s                     # http_referer
      "((?:[^"]|\"|')+)"                     # http_user_agent

    # 抽出されたフィールドのリストで、正規表現のグループに順番に対応します。
    Keys:
      - remote_addr
      - remote_ident
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - response_size_bytes
      - http_referer
      - http_user_agent

    # 追加のプラグイン情報 (任意、ログ形式を記述するため)
    Extra:
      Format: >-
        LogFormat "%h %l %u %t \"%r\" %>s %b
        \"%{Referer}i\" \"%{User-Agent}i\"" combined
      LogType: Apache
      SubType: combined

SourceKey String (必須)

ソースフィールド名です。

正規表現 integer (必須)

正規表現です。

Keys String (必須)

抽出されたフィールドのリストです。

Extra

• Format String (必須)

  Apache 設定ファイルのログ設定セクションで、通常は LogFormat から始まります。

• LogType String (必須)

  解析するログのタイプです。Apache に設定します。

• SubType String (必須)

  ログ形式です。

  • common

  • combined

  • custom

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析に成功した場合にソースフィールドを保持するかどうかを指定します。デフォルト値：false。

RenamedSourceKey String (任意)

ソースフィールドを保持する場合、これはソースフィールドを格納するために使用されるフィールド名です。デフォルトでは、名前は変更されません。

キーフィールド

例

ContainerFilters

コンテナフィルタリング

• Pod ラベルのブラックリスト/ホワイトリスト

  • IncludeK8sLabel

    K8s Pod ラベルホワイトリスト：ログを収集するコンテナを指定します。

  • ExcludeK8sLabel

    K8s Pod ラベルブラックリスト：特定の条件を満たすコンテナからのログ収集を除外します。

• 環境変数のブラックリストとホワイトリスト

  • IncludeEnv

    環境変数ホワイトリスト

  • ExcludeInv

    環境変数ブラックリスト

• Pod/名前空間/コンテナ名の正規表現マッチング

  • K8sNamespaceRegex

    名前空間の正規表現マッチング

  • K8sPodRegex

    Pod 名の正規表現マッチング

  • K8sContainerRegex

    コンテナ名の正規表現マッチング

すべての正規表現は Go の RE2 正規表現エンジンに基づいています。これには PCRE などのエンジンと比較していくつかの制限があります。正規表現を作成する際は、「付録：コンテナフィルタリングの正規表現の制限」をご参照ください。

# ...spec.config の下...
inputs:
  - Type: input_file # または input_container_stdio
    # 入力プラグインのタイプが input_file の場合、EnableContainerDiscovery を true に設定する必要があります。
    EnableContainerDiscovery: true
    # コンテナフィルタリング
    ContainerFilters:
      # K8s Pod ラベルホワイトリスト：ログを収集するコンテナを指定します。
      IncludeK8sLabel:
        # 例：app ラベルの値が nginx または redis であるすべての Pod に一致させます。
        app: ^(nginx|redis)$

      # K8s Pod ラベルブラックリスト：特定の条件を満たすコンテナからのログ収集を除外します。
      ExcludeK8sLabel:
        # 例：app:test ラベルを持つすべての Pod を除外します。
        app: test
      
      # 環境変数ホワイトリスト
      IncludeEnv:
        # NGINX_SERVICE_PORT=80 または NGINX_SERVICE_PORT=6379 を持つすべてのコンテナに一致させます。
        NGINX_SERVICE_PORT: ^(80|6379)$

      # 環境変数ブラックリスト
      ExcludeEnv:
        # ENVIRONMENT=test を持つすべてのコンテナを除外します。
        ENVIRONMENT: test
      
      # 名前空間の正規表現マッチング。例：default と nginx 名前空間のすべてのコンテナに一致させます。
      K8sNamespaceRegex: ^(default|nginx)$
      # Pod 名の正規表現マッチング。例：名前が nginx-log-demo で始まるすべての Pod のコンテナに一致させます。
      K8sPodRegex: ^(nginx-log-demo.*)$
      # コンテナ名の正規表現マッチング。例：container-test という名前のすべてのコンテナに一致させます。
      K8sContainerRegex: ^(container-test)$