Log Service:SidecarモードでCRDを使用してコンテナテキストログを収集する

apiVersion: batch/v1
種類: 仕事
メタデータ:
  name: nginx-log-sidecar-demo
  namespace: デフォルト
spec:
  template:
    metadata:
      name: nginx-log-sidecar-demo
    仕様：
      restartPolicy: Never
      コンテナ：
      - name: nginx-log-demo
        image: registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest
        command: ["/bin/mock_log"]
        args: ["--log-type=nginx", "--stdout=false", "--stderr=true", "--path=/var/log/nginx/access.log", "--total-count=1000000000", "--logs-per-sec=100"]
        volumeMounts:
        - name: nginx-log
          mountPath: /var/log/nginx
      ##### logtail sidecar container
      - name: logtail
        # more info: https://cr.console.aliyun.com/repository/cn-hangzhou/log-service/logtail/detail
        # this images is released for every region
        image: registry.cn-hangzhou.aliyuncs.com/log-service/logtail:latest
        # recevie sigterm、logtailが10秒遅れてから停止する場合
        command:
        - sh
        - -c
        - /usr/local/ilogtail/run_logtail.sh 10
        livenessProbe:
          exec:
            command:
            - /etc/init.d/ilogtaild
            - status
          initialDelaySeconds: 30
          periodSeconds: 30
        env:
          ##### base config
          # user id
          value: "${your_aliyun_user_id}"
            値: "1023 **** 3423"
          # user defined id
          - name: "ALIYUN_LOGTAIL_USER_DEFINED_ID"
            value: "nginx-log-sidecar"
          # config file path in logtail's container
          - name: "ALIYUN_LOGTAIL_CONFIG"
            value: "/etc/ilogtail/conf/cn-hangzhou-internet/ilogtail_config.json"
          ##### env tags config
          - name: "ALIYUN_LOG_ENV_TAGS"
            value: "_pod_name_|_pod_ip_|_namespace_|_node_name_|_node_ip_"
          - name: "_pod_name_"
            valueFrom:
              fieldRef:
                fieldPath: metadata.name
          - name: "_pod_ip_"
            valueFrom:
              fieldRef:
                fieldPath: status.podIP
          - name: "_namespace_"
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace
          - name: "_node_name_"
            valueFrom:
              fieldRef:
                fieldPath: spec.nodeName
          - name: "_node_ip_"
            valueFrom:
              fieldRef:
                fieldPath: status.hostIP
        volumeMounts:
        - name: nginx-log
          mountPath: /var/log/nginx
      ##### share this volume
      volumes:
      - name: nginx-log
        emptyDir: {}

2つのLogtail設定を作成して、NGINXアクセスログとNGINXエラーログを収集します。

• NGINXアクセスログの収集
  重要 Sidecarモードでは、dockerFileパラメーターをfalseに設定する必要があります。

  apiVersion: log.alibabacloud.com/v1alpha1
  kind: AliyunLogConfig
  メタデータ:
    # リソースの名前。 名前はKubernetesクラスター内で一意である必要があります。 
    名前: nginx-log-access-example
  spec:
    # プロジェクトの名前。 デフォルト値は、Logtailのインストールに使用するプロジェクトの名前です。 
    project: k8s-nginx-sidecar-demo
    # Logstoreの名前。 指定されたLogstoreが存在しない場合、Log Serviceは自動的にLogstoreを作成します。 
    logstore: nginx-access
    # マシングループの名前。 名前は、Sidecarのインストール時に設定した ${your_machine_group_user_defined_id} パラメーターの値と同じである必要があります。 
    machineGroups:
    - nginx-log-sidecar
    # Logtail設定を設定します。 
    logtailConfig：
      # データソースのタイプ。 Sidecarモードでは、CRDを使用してテキストログのみを収集できます。 したがって、値をfileに設定する必要があります。 
      inputType：ファイル
      # Logtail設定の名前。 名前は、e metadata.nameフィールドで指定されたリソース名と同じである必要があります。 
      configName: nginx-log-access-example
      inputDetail：
        # Logtailがフル正規表現モードでテキストログを収集できるようにする設定。 
        logType：common_reg_log
        # ログファイルのパス。 
        logPath: /var/log/nginx
        # ログファイルの名前。 ログファイル名を指定するときに、アスタリスク (*) や疑問符 (?) などのワイルドカード文字を使用できます。 例: log_*.log。 
        filePattern: access.log
        # dockerFileパラメーターをfalseに設定します。 この設定はSidecarモードで必要です。 
        dockerFile: false
        # ログの最初の行の先頭を一致させるために使用される正規表現。 1行のログを収集する場合は、値を '.*' に設定します。 
        logBeginRegex: '.*'
        # ログコンテンツの抽出に使用される正規表現。 ビジネスシナリオに基づいてこのパラメーターを設定します。 
        regex: '(\S +)\s(\S +)\s\S \s + \S "(\s +)\S (\s +)\S +([^"]+)"\s +(\s +)\S (\s +)\S (\d +)\s(\d +) (\S +)\s"([^ "]+)"\s.*'
        # ログから抽出する新しいフィールド。 
        キー: ["time", "ip", "method", "url", "protocol", "latency", "payload", "status", "response-size",user-agent "]

• NGINXエラーログの収集
  重要 Sidecarモードでは、dockerFileパラメーターをfalseに設定する必要があります。

  # エラーログの設定
  apiVersion: log.alibabacloud.com/v1alpha1
  kind: AliyunLogConfig
  メタデータ:
    # リソースの名前。 名前は、現在のKubernetesクラスターで一意である必要があります。 
    名前: nginx-log-error-example
  spec:
    # プロジェクトの名前。 デフォルト値は、Logtailのインストールに使用するプロジェクトの名前です。 
    project: k8s-nginx-sidecar-demo
    # Logstoreの名前。 指定されたLogstoreが存在しない場合、Log Serviceは自動的にLogstoreを作成します。 
    logstore: nginx-error
    # マシングループの名前。 名前は、Sidecarのインストール時に設定した ${your_machine_group_user_defined_id} パラメーターの値と同じである必要があります。 
    machineGroups:
    - nginx-log-sidecar
    # Logtail設定を設定します。 
    logtailConfig：
      # データソースのタイプ。 Sidecarモードでは、CRDを使用してテキストログのみを収集できます。 したがって、値をfileに設定する必要があります。 
      inputType：ファイル
      # Logtail設定の名前。 名前は、e metadata.nameフィールドで指定されたリソース名と同じである必要があります。 
      configName: nginx-log-error-example
      inputDetail：
        # Logtailがフル正規表現モードでテキストログを収集できるようにする設定。 
        logType：common_reg_log
        # ログファイルのパス。 
        logPath: /var/log/nginx
        # ログファイル名。 ログファイル名を指定するときに、アスタリスク (*) や疑問符 (?) などのワイルドカード文字を使用できます。 例: log_*.log。 
        filePattern: error.log
        # dockerFileパラメーターをfalseに設定します。 この設定はSidecarモードで必要です。 
        dockerFile: false

apiVersion: batch/v1
種類: 仕事
メタデータ:
  name: nginx-log-sidecar-demo
  namespace: デフォルト
spec:
  template:
    metadata:
      name: nginx-log-sidecar-demo
    仕様：
      restartPolicy: Never
      コンテナ：
      - name: nginx-log-demo
        image: registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest
        command: ["/bin/mock_log"]
        args: ["--log-type=nginx", "--stdout=false", "--stderr=true", "--path=/var/log/nginx/access.log", "--total-count=1000000000", "--logs-per-sec=100"]
        ライフサイクル:
        volumeMounts:
        - name: nginx-log
          mountPath: /var/log/nginx
        -name: nginx-logs
          mountPath: /var/log/nginxs
      ##### logtail sidecar container
      - name: logtail
        # more info: https://cr.console.aliyun.com/repository/cn-hangzhou/log-service/logtail/detail
        # this images is released for every region
        image: registry.cn-hangzhou.aliyuncs.com/log-service/logtail:latest
        # recevie sigterm、logtailが10秒遅れてから停止する場合
        ライフサイクル:
        command:
        - sh
        - -c
        - /usr/local/ilogtail/run_logtail.sh 10
        livenessProbe:
          exec:
            command:
            - /etc/init.d/ilogtaild
            - status
          initialDelaySeconds: 30
          periodSeconds: 30
        resources:
          limits:
            memory: 512Mi
          requests:
            cpu: 10m
            memory: 30Mi
        env:
          ##### base config
          # user id
          value: "${your_aliyun_user_id}"
            値: "1023 **** 3423"
          # user defined id
          - name: "ALIYUN_LOGTAIL_USER_DEFINED_ID"
            value: "nginx-log-sidecar"
          # config file path in logtail's container
          - name: "ALIYUN_LOGTAIL_CONFIG"
            value: "/etc/ilogtail/conf/cn-hangzhou-internet/ilogtail_config.json"
          ##### env tags config
          - name: "ALIYUN_LOG_ENV_TAGS"
            value: "_pod_name_|_pod_ip_|_namespace_|_node_name_|_node_ip_"
          - name: "_pod_name_"
            valueFrom:
              fieldRef:
                fieldPath: metadata.name
          - name: "_pod_ip_"
            valueFrom:
              fieldRef:
                fieldPath: status.podIP
          - name: "_namespace_"
            valueFrom:
              fieldRef:
                fieldPath: metadata.namespace
          - name: "_node_name_"
            valueFrom:
              fieldRef:
                fieldPath: spec.nodeName
          - name: "_node_ip_"
            valueFrom:
              fieldRef:
                fieldPath: status.hostIP
        volumeMounts:
        - name: nginx-log
          mountPath: /var/log/nginx
        -name: nginx-logs
          mountPath: /var/log/nginxs
      ##### share this volume
      volumes:
      - name: nginx-log
        emptyDir: {}
      -name: nginx-logs
        emptyDir: {}

2つのLogtail設定を作成して、異なるディレクトリからNGINXアクセスログを収集します。

• /var/log /NGINX /access.logディレクトリからnginxアクセスログを収集します。
  重要 Sidecarモードでは、dockerFileパラメーターをfalseに設定する必要があります。

  apiVersion: log.alibabacloud.com/v1alpha1
  kind: AliyunLogConfig
  メタデータ:
    # リソースの名前。 名前は、現在のKubernetesクラスターで一意である必要があります。 
    名前: nginx-log-access-example
  spec:
    # プロジェクトの名前。 デフォルト値は、Logtailのインストールに使用するプロジェクトの名前です。 
    project: k8s-nginx-sidecar-demo
    # Logstoreの名前。 指定されたLogstoreが存在しない場合、Log Serviceは自動的にLogstoreを作成します。 
    logstore: nginx-access
    # マシングループの名前。 名前は、Sidecarのインストール時に設定した ${your_machine_group_user_defined_id} パラメーターの値と同じである必要があります。 
    machineGroups:
    - nginx-log-sidecar
    # Logtail設定を設定します。 
    logtailConfig：
      # データソースのタイプ。 Sidecarモードでは、CRDを使用してテキストログのみを収集できます。 したがって、値をfileに設定する必要があります。 
      inputType：ファイル
      # Logtail設定の名前。 名前は、e metadata.nameフィールドで指定されたリソース名と同じである必要があります。 
      configName: nginx-log-access-example
      inputDetail：
        # Logtailがフル正規表現モードでテキストログを収集できるようにする設定。 
        logType：common_reg_log
        # ログファイルのパス。 
        logPath: /var/log/nginx
        # ログファイル名。 ログファイル名を指定するときに、アスタリスク (*) や疑問符 (?) などのワイルドカード文字を使用できます。 例: log_*.log。 
        filePattern: access.log
        # dockerFileパラメーターをfalseに設定します。 この設定はSidecarモードで必要です。 
        dockerFile: false
        # ログの最初の行の先頭を一致させるために使用される正規表現。 1行のログを収集する場合は、値を '.*' に設定します。 
        logBeginRegex: '.*'
        # ログコンテンツの抽出に使用される正規表現。 
        regex: '(\S +)\s(\S +)\s\S \s + \S "(\s +)\S (\s +)\S +([^"]+)"\s +(\s +)\S (\s +)\S (\d +)\s(\d +) (\S +)\s"([^ "]+)"\s.*'
        # ログから抽出する新しいフィールド。 
        キー: ["time", "ip", "method", "url", "protocol", "latency", "payload", "status", "response-size",user-agent "]

• /var/log/nginxs/access.logディレクトリからNGINXアクセスログを収集します。
  重要 Sidecarモードでは、dockerFileパラメーターをfalseに設定する必要があります。

  apiVersion: log.alibabacloud.com/v1alpha1
  kind: AliyunLogConfig
  メタデータ:
    # リソースの名前。 名前は、現在のKubernetesクラスターで一意である必要があります。 
    名前: nginxs-log-access-example
  spec:
    # プロジェクトの名前。 デフォルト値は、Logtailのインストールに使用するプロジェクトの名前です。 
    project: k8s-nginx-sidecar-demo
    # Logstoreの名前。 指定されたLogstoreが存在しない場合、Log Serviceは自動的にLogstoreを作成します。 
    logstore: nginxs-access
    # マシングループの名前。 名前は、Sidecarのインストール時に設定した ${your_machine_group_user_defined_id} パラメーターの値と同じである必要があります。 
    machineGroups:
    - nginx-log-sidecar
    # Logtail設定を設定します。 
    logtailConfig：
      # データソースのタイプ。 Sidecarモードでは、CRDを使用してテキストログのみを収集できます。 したがって、値をfileに設定する必要があります。 
      inputType：ファイル
      # Logtail設定の名前。 名前は、e metadata.nameフィールドで指定されたリソース名と同じである必要があります。 
      configName: nginxs-log-access-example
      inputDetail：
        # Logtailがフル正規表現モードでテキストログを収集できるようにする設定。 
        logType：common_reg_log
        # ログファイルのパス。 
        logPath: /var/log/nginxs
        # ログファイル名。 ログファイル名を指定するときに、アスタリスク (*) や疑問符 (?) などのワイルドカード文字を使用できます。 例: log_*.log。 
        filePattern: access.log
        # dockerFileパラメーターをfalseに設定します。 この設定はSidecarモードで必要です。 
        dockerFile: false
        # ログの最初の行の先頭を一致させるために使用される正規表現。 1行のログを収集する場合は、値を '.*' に設定します。 
        logBeginRegex: '.*'
        # ログコンテンツの抽出に使用される正規表現。 
        regex: '(\S +)\s(\S +)\s\S \s + \S "(\s +)\S (\s +)\S +([^"]+)"\s +(\s +)\S (\s +)\S (\d +)\s(\d +) (\S +)\s"([^ "]+)"\s.*'
        # ログから抽出する新しいフィールド。 
        キー: ["time", "ip", "method", "url", "protocol", "latency", "payload", "status", "response-size",user-agent "]