Simple Log Service:Kubernetes CRD を使用したコンテナログの収集

パラメーター

例

Type String (必須)

processor_parse_regex_native に固定します。

 # ... spec.config の下 ...
 processors:
  # 正規表現解析プロセッサを使用してログコンテンツを解析します。
  - Type: processor_parse_regex_native
    # ソースフィールドを指定します。通常は content です。
    SourceKey: content

    # ログフィールドを照合して抽出するための正規表現。
    Regex: >-
      (\S+)\s-\s(\S+)\s$$([^]]+)$$\s"
      (\w+)\s(\S+)\s([^"]+)"
      \s(\d+)\s(\d+)\s"
      ([^"]+)"\s"
      ([^"]+).*

    # 抽出されたフィールドのリスト。正規表現グループに順番に対応します。
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent

    # 解析に失敗した場合にソースフィールドを保持するかどうか。
    KeepingSourceWhenParseFail: true

    # 解析に成功した場合にソースフィールドを保持するかどうか。
    KeepingSourceWhenParseSucceed: true

    # ソースフィールドが保持される場合、新しい名前を指定できます。
    RenamedSourceKey: fail

SourceKey String (必須)

ソースフィールドの名前。

Regex String (必須)

ログを解析するための正規表現。

Keys String (必須)

抽出されたフィールドのキーのリスト。

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合にソースフィールドを保持するかどうか。デフォルト：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析が成功した場合にソースフィールドを保持するかどうか。デフォルト：false。

RenamedSourceKey String (任意)

保持される場合のソースフィールドの新しい名前。省略した場合、ソースフィールドは名前変更されません。

パラメーター

例

Type String (必須)

processor_parse_delimiter_native に固定します。

# ... spec.config の下 ...
processors:
  # デリミタ解析プロセッサの設定
  - Type: processor_parse_delimiter_native
    # ソースフィールド、通常は content
    SourceKey: content

    Separator: ','

    Quote: '"'

    # 抽出されたフィールドの名前を順番に定義します。
    Keys:
      - time
      - ip
      - request
      - status
      - size
      - user_agent

SourceKey String (必須)

ソースフィールドの名前。

Separator String (必須)

フィールドのデリミタ。たとえば、CSV ファイルはカンマ (,) を使用します。

Keys [String] (必須)

抽出されたフィールドのキーのリスト。

Quote String (任意)

デリミタなどの特殊文字を含むフィールドを囲むために使用される引用符。

AllowingShortenedFields boolean (任意)

Keys よりも少ない抽出フィールドを許可するかどうか。デフォルト：true。許可しない場合、操作は解析失敗として扱われます。

OverflowedFieldsTreatment String (任意)

Keys よりも多くのフィールドが抽出された場合の動作。デフォルト：extend。有効な値：

• extend：超過したフィールドを保持し、ログに別のフィールドとして追加します。フィールド名は _column$i_ となり、$i は超過フィールドのインデックスで、0 から始まります。

• keep：超過したフィールドを保持しますが、超過したコンテンツを _column0_ という名前の単一フィールドとしてログに追加します。

• discard：余分なフィールドを破棄します。

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合にソースフィールドを保持するかどうか。デフォルト：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析が成功した場合にソースフィールドを保持するかどうか。デフォルト：false。

RenamedSourceKey String (任意)

保持される場合のソースフィールドの新しい名前。省略した場合、ソースフィールドは名前変更されません。

パラメーター

例

Type String (必須)

processor_parse_json_native に固定します。

# ... spec.config の下 ...
processors:
  # JSON 解析プロセッサの設定
  - Type: processor_parse_json_native
    # 生ログのソースフィールド
    SourceKey: content
    KeepingSourceWhenParseFail: true
    RenamedSourceKey: raw_log

SourceKey String (必須)

ソースフィールドの名前。

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合にソースフィールドを保持するかどうか。デフォルト：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析が成功した場合にソースフィールドを保持するかどうか。デフォルト：false。

RenamedSourceKey String (任意)

保持される場合のソースフィールドの新しい名前。省略した場合、ソースフィールドは名前変更されません。

パラメーター

例

Type String (必須)

processor_json に固定します。

# ... spec.config の下 ...
processors:
  # JSON フィールド展開プロセッサを設定します。
  - Type: processor_json
    # 解析するソースフィールドを指定します。
    SourceKey: content
    
    ExpandDepth: 0

    ExpandConnector: '_'

    Prefix: expand

    IgnoreFirstConnector: false

    # 配列要素を個別のフィールドに展開するかどうか。
    ExpandArray: false

    # ソースフィールドのコンテンツを保持するかどうか。
    KeepSource: true

    # ソースフィールドが見つからない場合にエラーを報告するかどうか。
    NoKeyError: true

    # 展開されたフィールド名のプレフィックスとしてソースフィールド名を使用するかどうか。
    UseSourceKeyAsPrefix: false

    # JSON 解析に失敗した場合にソースログデータを保持するかどうか。
    KeepSourceIfParseError: true

SourceKey String (必須)

ソースフィールドの名前。

ExpandDepth integer (任意)

ネストされた JSON オブジェクトの最大展開深度。デフォルト：0。

• 0：オブジェクトを解析可能な最も深いレベルまで展開します。

• 1：オブジェクトの最上位レベルのみを展開します。

ExpandConnector String (任意)

ネストされた JSON オブジェクトをフラット化する際にキーの間で使用されるコネクタ。デフォルト：アンダースコア (_)。

Prefix String (任意)

すべての展開されたフィールド名に追加するプレフィックス。

IgnoreFirstConnector String (任意)

最上位フィールドの前のコネクタを省略するかどうか。デフォルト：false。

ExpandArray boolean (任意)

配列タイプを展開するかどうか。デフォルト：false。

• false (デフォルト)：配列を展開しません。

• true：配列が展開されます。たとえば、{"k":["1","2"]} は {"k[0]":"1","k[1]":"2"} に展開されます。

KeepSource boolean (任意)

解析されたログに元のフィールドを保持するかどうか。デフォルト：true。

• true：保持

• false：破棄

NoKeyError boolean (任意)

指定されたソースフィールドが見つからない場合にエラーを報告するかどうか。デフォルト：true。

• true：エラーを報告します。

• false：エラーを報告しません。

UseSourceKeyAsPrefix boolean (任意)

true に設定すると、すべての展開されたフィールド名のプレフィックスとしてソースフィールド名を使用します。

KeepSourceIfParseError boolean (任意)

解析に失敗した場合に生ログを保持するかどうか。デフォルト：true。

• true：保持

• false：破棄

パラメーター

例

Type String (必須)

プラグインタイプ。SPL プラグインタイプは processor_spl です。

# ... spec.config の下 ...
processors:
  # SPL スクリプトを使用してログフィールドを処理します。
  - Type: processor_spl
    # スクリプトのタイムアウト (ミリ秒)。
    TimeoutMilliSeconds: 1000

    # SPL スクリプト。content フィールドの JSON 配列から要素を抽出するために使用されます。
    Script: >-
      * | extend
        json1 = json_extract(content, '$[0]'),
        json2 = json_extract(content, '$[1]')

Script String (必須)

content フィールドの JSON 配列から要素を抽出するために使用される SPL スクリプト。

TimeoutMilliSeconds integer (任意)

スクリプト実行のタイムアウト (ミリ秒)。値は 0〜10,000 の間でなければなりません。デフォルト値：1,000。

パラメーター

例

Type String (必須)

processor_parse_regex_native に固定します。

# ... spec.config の下 ...
processors:
  # NGINX ログ解析プロセッサの設定
  - Type: processor_parse_regex_native
    # 生ログのソースフィールド
    SourceKey: content
    
    # 正規表現解析ルール
    Regex: >-
      (\S*)\s*-\s*(\S*)\s*\[
      (\d+/\S+/\d+:\d+:\d+:\d+)\s+\S+\]
      \s*"(\S+)\s+(\S+)\s+\S+"
      \s*(\S*)\s*(\S*)\s*(\S*)\s*(\S*)
      \s*"([^"]*)"\s*"([^"]*)".*
    
    # 抽出されたフィールドのマップ
    Keys:
      - remote_addr
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_time
      - request_length
      - status
      - body_bytes_sent
      - http_referer
      - http_user_agent
    
    # NGINX 固有の設定
    Extra:
      Format: >-
        log_format main  '$remote_addr - $remote_user [$time_local]
        "$request" ''$request_time $request_length ''$status
        $body_bytes_sent "$http_referer" ''"$http_user_agent"';
      LogType: NGINX

SourceKey String (必須)

ソースフィールドの名前。

Regex String (必須)

NGINX ログを解析するための正規表現。

Keys String (必須)

抽出されたフィールドのキーのリスト。

Extra

• Format String (必須)

  NGINX 設定ファイルの log_format ディレクティブ。

  本番環境では、この log_format は Nginx 設定ファイル (通常は /etc/nginx/nginx.conf にあります) の定義と一致している必要があります。

• LogType String (必須)

  NGINX に固定します。

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合に元のフィールドを保持するかどうか。デフォルト：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析が成功した場合に元のフィールドを保持するかどうか。デフォルト：false。

RenamedSourceKey String (任意)

保持される場合のソースフィールドの新しい名前。省略した場合、ソースフィールドは名前変更されません。

パラメーター

例

Type String (必須)

processor_parse_regex_native に固定します。

# ... spec.config の下 ...
processors:
  # Apache Combined ログ解析プロセッサ (正規表現に基づく) を設定します。
  - Type: processor_parse_regex_native
    # ソースフィールド、通常は content。
    SourceKey: content

    # Apache combined フォーマットのログを照合して抽出するための正規表現。
    Regex: >-
      ([0-9.-]+)\s                          # remote_addr
      ([\w.-]+)\s                           # remote_ident
      ([\w.-]+)\s                           # remote_user
      (\[[^\[\]]+\]|-)\s                    # time_local
      "((?:[^"]|\")+)"\s                     # request_method + request_uri + request_protocol
      "((?:[^"]|\")+)"\s                     # request_uri (重複キャプチャ？ロジックを確認)
      "((?:[^"]|\")+)"\s                     # request_protocol
      (\d{3}|-)\s                           # status
      (\d+|-)\s                             # response_size_bytes
      "((?:[^"]|\")+)"\s                     # http_referer
      "((?:[^"]|\"|')+)"                     # http_user_agent

    # 抽出されたフィールドのリスト。正規表現グループに順番に対応します。
    Keys:
      - remote_addr
      - remote_ident
      - remote_user
      - time_local
      - request_method
      - request_uri
      - request_protocol
      - status
      - response_size_bytes
      - http_referer
      - http_user_agent

    # 追加のプラグイン情報 (任意、ログフォーマットを記述するために使用)。
    Extra:
      Format: >-
        LogFormat "%h %l %u %t \"%r\" %>s %b
        \"%{Referer}i\" \"%{User-Agent}i\"" combined
      LogType: Apache
      SubType: combined

SourceKey String (必須)

ソースフィールドの名前。

Regex String (必須)

Apache ログを解析するための正規表現。

Keys String (必須)

抽出されたフィールドのキーのリスト。

Extra

• Format String (必須)

  Apache 設定ファイルの LogFormat ディレクティブ。

• LogType String (必須)

  Apache に固定します。

• SubType String (必須)

  ログフォーマット。

  • common

  • combined

  • custom

KeepingSourceWhenParseFail boolean (任意)

解析に失敗した場合に元のフィールドを保持するかどうか。デフォルト：false。

KeepingSourceWhenParseSucceed boolean (任意)

解析が成功した場合に元のフィールドを保持するかどうか。デフォルト：false。

RenamedSourceKey String (任意)

保持される場合のソースフィールドの新しい名前。省略した場合、ソースフィールドは名前変更されません。

フィールド詳細

例

ContainerFilters

コンテナフィルタリング設定。

• Pod ラベルのホワイトリスト/ブラックリスト

  • IncludeK8sLabel

    K8s Pod ラベルのホワイトリスト。指定された Pod ラベルを持つコンテナからログを収集します。

  • ExcludeK8sLabel

    K8s Pod ラベルのブラックリスト。指定された Pod ラベルを持つコンテナからのログを除外します。

• 環境変数のホワイトリスト/ブラックリスト

  • IncludeEnv

    環境変数のホワイトリスト。

  • ExcludeEnv

    環境変数のブラックリスト。

• Pod/名前空間/コンテナ名の正規表現マッチング

  • K8sNamespaceRegex

    正規表現で名前空間名に一致させます。

  • K8sPodRegex

    正規表現で Pod 名に一致させます。

  • K8sContainerRegex

    正規表現でコンテナ名に一致させます。

すべての正規表現マッチングは、Go 言語の RE2 エンジンに基づいており、PCRE (Perl 互換正規表現) などのエンジンと比較して特定の制限があります。正規表現は、付録：コンテナフィルタリングの正規表現の制限のガイドラインに従って記述してください。

# ...spec.config の下...
inputs:
  - Type: input_file # または input_container_stdio
    # 入力プラグインタイプが input_file の場合、EnableContainerDiscovery を true に設定する必要があります。
    EnableContainerDiscovery: true
    # コンテナフィルタリング
    ContainerFilters:
      # K8s Pod ラベルのホワイトリスト：ログを収集するコンテナを指定します。
      IncludeK8sLabel:
        # 例：app ラベルの値が nginx または redis であるすべての Pod に一致します。
        app: ^(nginx|redis)$

      # K8s Pod ラベルのブラックリスト：特定の条件を満たすコンテナからのログ収集を除外します。
      ExcludeK8sLabel:
        # 例：app:test ラベルを持つすべての Pod を除外します。
        app: test
      
      # 環境変数のホワイトリスト。
      IncludeEnv:
        # NGINX_SERVICE_PORT=80 または NGINX_SERVICE_PORT=6379 を持つすべてのコンテナに一致します。
        NGINX_SERVICE_PORT: ^(80|6379)$

      # 環境変数のブラックリスト。
      ExcludeEnv:
        # ENVIRONMENT=test を持つすべてのコンテナを除外します。
        ENVIRONMENT: test
      
      # 名前空間名に一致させます。例：default および nginx 名前空間のすべてのコンテナに一致します。
      K8sNamespaceRegex: ^(default|nginx)$
      # Pod 名に一致させます。例：名前が nginx-log-demo で始まるすべての Pod のコンテナに一致します。
      K8sPodRegex: ^(nginx-log-demo.*)$
      # コンテナ名に一致させます。例：container-test という名前のすべてのコンテナに一致します。
      K8sContainerRegex: ^(container-test)$