Container Service for Kubernetes:Knative サービスからのログ収集

特定のコンテナから 1 行テキストログを収集

この例では、example-k8s-file という名前の Logtail 構成を作成し、名前に app を含むコンテナから 1 行テキストログを収集します。ログファイルは、パス /data/logs/app_1 下の test.LOG です。ログはプロジェクト k8s-log-test 内の Logstore k8s-file に格納されます。

apiVersion: telemetry.alibabacloud.com/v1alpha1
# ClusterAliyunPipelineConfig CRD から CR を作成します。
kind: ClusterAliyunPipelineConfig
metadata:
  # 名前は Kubernetes クラスター内で一意である必要があります。また、Logtail 構成名としても使用されます。
  name: example-k8s-file
spec:
  # ログを収集するプロジェクトを指定します。
  project:
    name: k8s-log-test
  # ログを格納する Logstore を作成します。
  logstores:
    - name: k8s-file
  config:
    inputs:
      # input_file を使用してコンテナからのテキストログを収集します。
      - Type: input_file
        # コンテナ内のログファイルパス。
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        # コンテナの自動検出を有効化します。
        EnableContainerDiscovery: true
        # コンテナをフィルターします。複数の条件は論理 AND で結合されます。
        ContainerFilters:
          # default 名前空間内のコンテナに一致させます。
          K8sNamespaceRegex: default
          # 名前に "app" を含むコンテナに一致させます。
          K8sContainerRegex: ^(.*app.*)$
    flushers:
      # flusher_sls を使用してログを Logstore へ送信します。
      - Type: flusher_sls
        Logstore: k8s-file
        # 有効なエンドポイントおよびリージョンの値については、https://www.alibabacloud.com/help/ja/sls/developer-reference/service-entrance をご参照ください。
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

すべての AliyunPipelineConfig パラメーターについては、「(推奨) AliyunPipelineConfig を使用して Logtail 構成を管理する」および「CreateLogtailPipelineConfig」をご参照ください。

すべてのコンテナから複数行テキストログを収集

この例では、example-k8s-file という名前の Logtail 構成を作成し、クラスター内のすべてのコンテナから複数行テキストログを収集します。ログファイルは、パス /data/logs/app_1 下の test.LOG です。ログは正規表現で解析され、プロジェクト k8s-log-test 内の Logstore k8s-file に格納されます。

input_file プラグインは、{"content": "2024-06-19 16:35:00 INFO test log\nline-1\nline-2\nend"} の形式のログを読み込み、processor_parse_regex_native プラグインはこれを {"time": "2024-06-19 16:35:00", "level": "INFO", "msg": "test log\nline-1\nline-2\nend"} に解析します。

apiVersion: telemetry.alibabacloud.com/v1alpha1
# ClusterAliyunPipelineConfig CRD から CR を作成します。
kind: ClusterAliyunPipelineConfig
metadata:
  name: example-k8s-file
spec:
  project:
    name: k8s-log-test
  logstores:
    - name: k8s-file
  config:
    # 参考用にサンプルログを追加（任意）。
    sample: |
      2024-06-19 16:35:00 INFO test log
      line-1
      line-2
      end
    inputs:
      - Type: input_file
        FilePaths:
          - /data/logs/app_1/**/test.LOG
        EnableContainerDiscovery: true
        # 複数行ログ収集を有効化します。
        Multiline:
          # 各ログエントリの先頭行を識別するためのカスタム正規表現を使用します。
          Mode: custom
          StartPattern: \d+-\d+-\d+.*
    processors:
      # 正規表現を使用してログを解析します。キャプチャグループは抽出されたフィールドを定義します。
      - Type: processor_parse_regex_native
        SourceKey: content
        Regex: (\d+-\d+-\d+\s*\d+:\d+:\d+)\s*(\S+)\s*(.*)
        Keys: ["time", "level", "msg"]
    flushers:
      - Type: flusher_sls
        Logstore: k8s-file
        Endpoint: cn-hangzhou.log.aliyuncs.com
        Region: cn-hangzhou
        TelemetryType: logs

特定のコンテナから 1 行テキストログを収集

この例では、example-k8s-file という名前の構成を作成し、名前が app で始まる Pod から 1 行テキストログを収集します。ログファイルは、パス /data/logs/app_1 下の test.LOG です。ログはプロジェクト k8s-log-test 内の Logstore k8s-file に格納されます。

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  name: example-k8s-file
  namespace: kube-system
spec:
  # 空欄の場合は、k8s-log-<your_cluster_id> という名前のプロジェクトが使用されます。
  project: k8s-log-test
  # 指定した Logstore が存在しない場合、SLS が自動的に作成します。
  logstore: k8s-file
  logtailConfig:
    # テキストログの場合は "file" を設定します。
    inputType: file
    configName: example-k8s-file
    inputDetail:
      # テキストログのシンプルモード。
      logType: common_reg_log
      logPath: /data/logs/app_1
      # ワイルドカード文字 (* および ?) をサポートします。例：log_*.log
      filePattern: test.LOG
      # コンテナログ収集には必須です。
      dockerFile: true
      advanced:
        k8s:
          K8sPodRegex: '^(app.*)$'

すべての CR パラメーターについては、「AliyunLogConfig を使用した Logtail 構成の管理」および「CreateConfig」をご参照ください。

Knative サービス作成時の SLS の有効化

1. ACK コンソールにログインします。左側のナビゲーションウィンドウで、[クラスター] をクリックします。

2. [クラスター] ページで、管理対象のクラスターを見つけ、その名前をクリックします。左側のナビゲーションウィンドウで、[アプリケーション] ＞ [Knative] を選択します。

3. [サービス] タブをクリックし、名前空間を選択して、[テンプレートから作成] をクリックします。[カスタム] を [サンプルテンプレート] セクションで選択し、以下の YAML を使用します。

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: helloworld-go-log
spec:
  template:
    spec:
      containers:
      - name: my-demo-app
        image: 'registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest'
        env:
        # stdout を Logstore "log-stdout" に収集します。
        - name: aliyun_logs_log-stdout
          value: stdout
        # /var/demo/*.log ファイルを Logstore "log-varlog" に収集します。
        - name: aliyun_logs_log-varlog
          value: /var/demo/*.log
        # このコンテナから収集されるすべてのログにカスタムタグを追加します。
        - name: aliyun_logs_mytag1_tags
          value: tag1=v1
        volumeMounts:
        - name: volumn-sls-mydemo
          mountPath: /var/demo
        # オプション：Pod が繰り返し再起動する場合、sleep コマンドを追加できます。
        command: ["sh", "-c"]
        args: ["sleep 3600"]
      volumes:
      - name: volumn-sls-mydemo
        emptyDir: {}

環境変数の動作方法：

• aliyun_logs_{key}：{key} は Logstore 名および構成名になります。value を stdout に設定するとコンテナの stdout を収集し、ファイルパスに設定するとログファイルを収集します。

  • aliyun_logs_log-stdout: stdout は Logstore log-stdout を作成し、コンテナの stdout を収集します。

  • aliyun_logs_log-varlog: /var/demo/*.log は Logstore log-varlog を作成し、該当するファイルを収集します。

• aliyun_logs_{key}_tags：コンテナから収集されるすべてのログにタグを追加します。フォーマット：{tag-key}={tag-value}。{key} はタグ名（アンダースコアなし）です。

• volumeMounts：stdout 以外のログファイルを収集する場合に必須です。mountPath は、ログパス変数内のディレクトリと一致する必要があります。

1. [作成] をクリックして構成を送信します。

（オプション）高度な環境変数設定