Simple Log Service:Kubernetes CRD を使用してクラスターからコンテナーログ (標準出力とファイル) を収集する

キーフィールド

例

Type String (必須)

プラグインのタイプ。これを processor_parse_regex_native に設定します。

 # ...spec.config の下...
 processors:
  # 正規表現解析プラグインを使用してログコンテンツを解析します。
  - Type: processor_parse_regex_native
    # 生ログフィールドのソース、通常は content。
    SourceKey: content

    # ログフィールドを照合および抽出するために使用される正規表現。
    Regex: >-
      (\S+)\s-\s(\S+)\s$$([^]]+)$$\s"
      (\w+)\s(\S+)\s([^"]+)"
      \s(\d+)\s(\d+)\s"
      ([^"]+)"\s"
      ([^"]+).*

    # 抽出されたフィールドのリスト。正規表現グループに順番に対応します。
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent

    # 解析に失敗した場合にソースフィールドを保持するかどうかを指定します。
    KeepingSourceWhenParseFail: true

    # 解析に成功した場合にソースフィールドを保持するかどうかを指定します。
    KeepingSourceWhenParseSucceed: true

    # ソースフィールドが保持される場合、新しい名前を指定できます。
    RenamedSourceKey: fail

SourceKey String _(必須)

ソースフィールドの名前。

Regex String (必須)

ログに一致する正規表現。

Keys String (必須)

抽出されたフィールドのリスト。

KeepingSourceWhenParseFail boolean (オプション)

解析に失敗したときにソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

KeepingSourceWhenParseSucceed boolean (オプション)

解析に成功したときにソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

RenamedSourceKey _String (オプション)

ソースフィールドが保持される場合、このパラメーターはフィールドの新しい名前を指定します。デフォルトでは、フィールドは名前変更されません。

キーフィールドの詳細

例

Type String (必須)

プラグインのタイプ。これを processor_parse_delimiter_native に設定します。

# ...spec.config の下...
processors:
  # デリミタ解析プラグインの構成
  - Type: processor_parse_delimiter_native
    # 生フィールドのソース、通常は content
    SourceKey: content

    Separator: ','

    Quote: '"'

    # 抽出されたフィールドの名前を順番に定義します。
    Keys:
      - time
      - ip
      - request
      - status
      - size
      - user_agent

SourceKey String (必須)

ソースフィールドの名前。

Separator String _(必須)

フィールドセパレーター。たとえば、CSV ファイルはカンマ (,) を使用します。

Keys [String] (必須)

抽出されたフィールドのリスト。

Quote String (オプション)

引用符文字。カンマなどの特殊文字を含むフィールドコンテンツをラップするために使用します。

AllowingShortenedFields boolean (オプション)

抽出されたフィールドの数がキーの数より少なくてもよいかどうかを指定します。デフォルト値は true です。false に設定すると、このシナリオは解析失敗と見なされます。

OverflowedFieldsTreatment String (オプション)

抽出されたフィールドの数がキーの数より多い場合に実行するアクションを指定します。デフォルト値は extend です。有効な値には以下が含まれます。

• extend: 追加のフィールドを保持します。各追加フィールドは、別のフィールドとしてログに追加されます。追加フィールドの名前は _column$i_ で、$i は 0 から始まる追加フィールドの序数です。

• keep: 追加のフィールドを保持しますが、追加のコンテンツを単一のフィールドとしてログに追加します。フィールド名は _column0_ です。

• discard: 追加のフィールドを破棄します。

KeepingSourceWhenParseFail boolean (オプション)

解析に失敗したときにソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

KeepingSourceWhenParseSucceed boolean (オプション)

解析に成功したときにソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

RenamedSourceKey String (オプション)

ソースフィールドが保持される場合、このパラメーターはフィールドの新しい名前を指定します。デフォルトでは、フィールドは名前変更されません。

キーフィールドの詳細

例

Type String (必須)

プラグインのタイプ。これを processor_parse_json_native に設定します。

# ...spec.config の下...
processors:
  # JSON 解析プラグインの構成
  - Type: processor_parse_json_native
    # 生ログフィールドのソース
    SourceKey: content

SourceKey String (必須)

ソースフィールドの名前。

KeepingSourceWhenParseFail boolean (オプション)

解析に失敗したときにソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

KeepingSourceWhenParseSucceed boolean (オプション)

解析に成功したときにソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

RenamedSourceKey String (オプション)

ソースフィールドが保持される場合、このパラメーターはフィールドの新しい名前を指定します。デフォルトでは、フィールドは名前変更されません。

キーフィールドの詳細

例

Type String (必須)

プラグインのタイプ。これを processor_json に設定します。

# ...spec.config の下...
processors:
  # JSON フィールド展開プラグインを構成します。
  - Type: processor_json
    # 解析するソースフィールドの名前を指定します。
    SourceKey: content
    
    ExpandDepth: 0

    ExpandConnector: '_'

    Prefix: expand

    IgnoreFirstConnector: false

    # 配列要素を個別のフィールドに展開するかどうかを指定します。
    ExpandArray: false

    # ソースフィールドのコンテンツを保持するかどうかを指定します。
    KeepSource: true

    # ソースフィールドが見つからない場合にエラーを報告するかどうかを指定します。
    NoKeyError: true

    # 展開されたフィールド名のプレフィックスとしてソースフィールド名を使用するかどうかを指定します。
    UseSourceKeyAsPrefix: false

    # JSON 解析に失敗した場合に生ログデータを保持するかどうかを指定します。
    KeepSourceIfParseError: true

SourceKey String (必須)

ソースフィールドの名前。

ExpandDepth integer (オプション)

JSON の展開深度。デフォルト値は 0 です。

• 0: 解析可能な最も深いレベルまで展開します。

• 1: 現在のレベルのみを展開します。以下同様です。

ExpandConnector String (オプション)

JSON 展開中のフィールド名に使用されるコネクタ。デフォルト値はアンダースコア (_) です。

Prefix String (オプション)

展開された JSON フィールドの名前のプレフィックス。

IgnoreFirstConnector String _(オプション)

最初のコネクタを無視するかどうかを指定します。これにより、トップレベルのフィールド名の前にコネクタが追加されるかどうかが決まります。デフォルト値は false です。

ExpandArray boolean (オプション)

配列タイプを展開するかどうかを指定します。デフォルト値は false です。

• false (デフォルト): 配列は展開されません。

• true: 配列は展開されます。たとえば、{"k":["1","2"]} は {"k[0]":"1","k[1]":"2"} に展開されます。

KeepSource boolean (オプション)

解析されたログにソースフィールドを保持するかどうかを指定します。デフォルト値は true です。

• true: 保持

• false: 破棄

NoKeyError boolean (オプション)

指定されたソースフィールドが生ログに見つからない場合にエラーを報告するかどうかを指定します。デフォルト値は true です。

• true: エラーを報告します。

• false: エラーを報告しません。

UseSourceKeyAsPrefix boolean (オプション)

すべての展開された JSON フィールド名のプレフィックスとしてソースフィールド名を使用するかどうかを指定します。

KeepSourceIfParseError boolean (オプション)

解析に失敗した場合に生ログデータを保持するかどうかを指定します。デフォルト値は true です。

• true: 保持

• false: 破棄

キーフィールドの詳細

例

Type String (必須)

プラグインのタイプ。構造化プロセス言語 (SPL) プラグインの場合、これを processor_spl に設定します。

# ...spec.config の下...
processors:
  # SPL スクリプトを使用してログフィールドを処理します。
  - Type: processor_spl
    # スクリプトのタイムアウト (ミリ秒)。
    TimeoutMilliSeconds: 1000

    # content フィールドの JSON 配列から要素を抽出するために使用される SPL スクリプト。
    Script: >-
      * | extend
        json1 = json_extract(content, '$[0]'),
        json2 = json_extract(content, '$[1]')

Script String (必須)

SPL スクリプトのコンテンツ。このスクリプトは、content フィールドの JSON 配列から要素を抽出するために使用されます。

TimeoutMilliSeconds integer (オプション)

スクリプトのタイムアウト期間 (ミリ秒)。値は 0 から 10,000 の範囲である必要があります。デフォルト値は 1,000 です。

キーフィールドの詳細

例

Type String (必須)

プラグインのタイプ。NGINX ログ解析の場合、これを processor_parse_regex_native に設定します。

# ...spec.config の下...
processors:
  # NGINX ログ解析プラグインの構成
  - Type: processor_parse_regex_native
    # 生ログフィールドのソース
    SourceKey: content
    
    # 正規表現解析ルール
    Regex: >-
      (\S*)\s*-\s*(\S*)\s*\[
      (\d+/\S+/\d+:\d+:\d+:\d+)\s+\S+\]
      \s*"(\S+)\s+(\S+)\s+\S+"
      \s*(\S*)\s*(\S*)\s*(\S*)\s*(\S*)
      \s*"([^"]*)"\s*"([^"]*)".*
    
    # 抽出されたフィールドのマッピング
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_time
      - request_length
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent
    
    # NGINX 固有の構成
    Extra:
      Format: >-
        log_format main  '$remote_addr - $remote_user [$time_local]
        "$request" ''$request_time $request_length ''$status
        $body_bytes_sent "$http_referer" ''"$http_user_agent"';
      LogType: NGINX

SourceKey String (必須)

ソースフィールドの名前。

Regex integer (必須)

正規表現。

Keys String (必須)

抽出されたフィールドのリスト。

Extra

• Format String (必須)

  NGINX 構成ファイルのログ構成セクション。このセクションは [log_format] で始まる必要があります。

  本番環境では、ここでの log_format 定義は、NGINX 構成ファイル (通常は /etc/nginx/nginx.conf) の定義と一致する必要があります。

• LogType String (必須)

  解析するログのタイプ。これを NGINX に設定します。

KeepingSourceWhenParseFail boolean (オプション)

解析に失敗したときにソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

KeepingSourceWhenParseSucceed boolean (オプション)

解析に成功したときにソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

RenamedSourceKey String _(オプション)

ソースフィールドが保持される場合、このパラメーターはフィールドの新しい名前を指定します。デフォルトでは、フィールドは名前変更されません。

キーフィールドの詳細

例

Type String (必須)

プラグインのタイプ。これを processor_parse_regex_native に設定します。

# ...spec.config の下...
processors:
  # Apache Combined ログ解析プラグイン (正規表現に基づく) を構成します。
  - Type: processor_parse_regex_native
    # 生ログフィールドのソース、通常は content。
    SourceKey: content

    # Apache combined 形式のログを照合および抽出するために使用される正規表現。
    Regex: >-
      ([0-9.-]+)\s                          # remote_addr
      ([\w.-]+)\s                           # remote_ident
      ([\w.-]+)\s                           # remote_user
      (\[[^\[\]]+\]|-)\s                    # time_local
      "((?:[^"]|\")+)"\s                     # request_method + request_uri + request_protocol
      "((?:[^"]|\")+)"\s                     # request_uri (繰り返しキャプチャ? ロジックを確認してください)
      "((?:[^"]|\")+)"\s                     # request_protocol
      (\d{3}|-)\s                           # status
      (\d+|-)\s                             # response_size_bytes
      "((?:[^"]|\")+)"\s                     # http_referer
      "((?:[^"]|\"|')+)"                     # http_user_agent

    # 抽出されたフィールドのリスト。正規表現グループに順番に対応します。
    Keys:
      - remote_addr
      - remote_ident
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - response_size_bytes
      - http_referer
      - http_user_agent

    # 追加のプラグイン情報 (オプション、ログ形式を記述するために使用)
    Extra:
      Format: >-
        LogFormat "%h %l %u %t \"%r\" %>s %b
        \"%{Referer}i\" \"%{User-Agent}i\"" combined
      LogType: Apache
      SubType: combined

SourceKey String (必須)

ソースフィールドの名前。

Regex integer (必須)

正規表現。

Keys String (必須)

抽出されたフィールドのリスト。

Extra

• Format String (必須)

  Apache 構成ファイルのログ構成セクション。このセクションは通常、LogFormat で始まります。

• LogType String (必須)

  解析するログのタイプ。これを Apache に設定します。

• SubType String (必須)

  ログ形式。

  • common

  • combined

  • custom

KeepingSourceWhenParseFail boolean (オプション)

解析に失敗したときにソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

KeepingSourceWhenParseSucceed boolean _(オプション)

解析に成功したときにソースフィールドを保持するかどうかを指定します。デフォルト値は false です。

RenamedSourceKey String (オプション)

ソースフィールドが保持される場合、このパラメーターはフィールドの新しい名前を指定します。デフォルトでは、フィールドは名前変更されません。

キーフィールドの詳細

例

ContainerFilters

コンテナーフィルタリング

• Pod ラベルのブラックリストとホワイトリスト

  • IncludeK8sLabel

    K8s Pod ラベルのホワイトリスト。ログを収集するコンテナーを指定します。

  • ExcludeK8sLabel

    K8s Pod ラベルのブラックリスト。特定の条件を満たすコンテナーからのログ収集を除外します。

• 環境変数のブラックリストとホワイトリスト

  • IncludeEnv

    環境変数ホワイトリスト

  • ExcludeInv

    環境変数ブラックリスト

• Pod、名前空間、およびコンテナー名の正規表現によるマッチング

  • K8sNamespaceRegex

    名前空間の正規表現マッチング

  • K8sPodRegex

    Pod 名の正規表現マッチング

  • K8sContainerRegex

    コンテナー名の正規表現マッチング

すべての正規表現マッチングは、Go の RE2 エンジンを使用します。このエンジンは、PCRE などのエンジンよりも機能が少ないです。「付録: 正規表現の制限 (コンテナーフィルタリング)」で説明されている制限に従って正規表現を記述してください。

# ...spec.config の下...
inputs:
  - Type: input_file # または input_container_stdio
    # 入力プラグインのタイプが input_file の場合、EnableContainerDiscovery を true に設定します。
    EnableContainerDiscovery: true
    # コンテナーフィルタリング
    ContainerFilters:
      # K8s Pod ラベルのホワイトリスト: ログを収集するコンテナーを指定します。
      IncludeK8sLabel:
        # 例: app ラベルの値が nginx または redis であるすべての Pod に一致させます。
        app: ^(nginx|redis)$

      # K8s Pod ラベルのブラックリスト: 特定の条件を満たすコンテナーからのログ収集を除外します。
      ExcludeK8sLabel:
        # 例: app:test ラベルを持つすべての Pod を除外します。
        app: test
      
      # 環境変数ホワイトリスト
      IncludeEnv:
        # NGINX_SERVICE_PORT=80 または NGINX_SERVICE_PORT=6379 を持つすべてのコンテナーに一致させます。
        NGINX_SERVICE_PORT: ^(80|6379)$

      # 環境変数ブラックリスト
      ExcludeEnv:
        # ENVIRONMENT=test を持つすべてのコンテナーを除外します。
        ENVIRONMENT: test
      
      # 名前空間の正規表現マッチング。例: default および nginx 名前空間内のすべてのコンテナーに一致させます。
      K8sNamespaceRegex: ^(default|nginx)$
      # Pod 名の正規表現マッチング。例: 名前が nginx-log-demo で始まるすべての Pod 内のコンテナーに一致させます。
      K8sPodRegex: ^(nginx-log-demo.*)$
      # コンテナー名の正規表現マッチング。例: container-test という名前のすべてのコンテナーに一致させます。
      K8sContainerRegex: ^(container-test)$