Log Service:CRDを使用してDaemonSetモードでコンテナログを収集する

Collect stdoutとstderrすべて容器から除くコンテナその環境可変構成はCOLLECT_STDOUT_FLAG=偽。 コンテナの環境変数を表示するには、コンテナが存在するホストにログインします。 詳細については、「環境変数の取得」をご参照ください。

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
メタデータ:
  # リソースの名前。 名前は、現在のKubernetesクラスターで一意である必要があります。 
  name: simple-stdout-example
spec:
  # 指定したLogstoreが存在しない場合、Log Serviceは自動的にLogstoreを作成します。 
  logstore：k8s-stdout
  # Logtailの設定。 
  logtailConfig：
    # データソースのタイプ。 stdoutとstderrを収集する場合は、値をpluginに設定する必要があります。 
    inputType：プラグイン
    # Logtail設定の名前。 名前は、n metadata.nameで指定されたリソース名と同じである必要があります。 
    configName：simple-stdout-example
    inputDetail：
      プラグイン：
        入力：
          -
            ＃ 入力方式
            タイプ：service_docker_stdout
            詳細：
              # Logtailがstdoutとstderrの両方を収集できるようにする設定。 
              Stdout：true
              Stderr：true
              # 環境変数ブラックリスト。 この例では、環境変数設定がCOLLECT_STDOUT_FLAG=falseであるコンテナを除くすべてのコンテナからstdoutとstderrを収集します。 
              ExcludeEnv：
                COLLECT_STDOUT_FLAG: "false"

シンプルモードでコンテナからGrafanaのアクセスログを収集し、正規表現を使用してアクセスログを構造化データに解析します。 Grafanaのアクセスログを収集できるコンテナの環境変数設定には、GF_INSTALL_PLUGINS=grafana-piechart-... があります。 コンテナの環境変数を表示するには、コンテナが存在するホストにログインします。 詳細については、「環境変数の取得」をご参照ください。

t=2018-03-09T07:14:03+0000 lvl=info msg="Request Completed" logger=context userId=0 orgId=0 uname= method=GET path=/ status=302 remote_addr=172.16.64.154 time_ms=0 size=29 referer=

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
メタデータ:
  # リソースの名前。 名前は、現在のKubernetesクラスターで一意である必要があります。 
  名前: regex-stdout-example
spec:
  # 指定したLogstoreが存在しない場合、Log Serviceは自動的にLogstoreを作成します。 
  logstore：k8s-stdout-regex
  # Logtailの設定。 
  logtailConfig：
    # データソースのタイプ。 stdoutとstderrを収集する場合は、値をpluginに設定する必要があります。 
    inputType：プラグイン
    # Logtail設定の名前。 名前は、n metadata.nameで指定されたリソース名と同じである必要があります。 
    configName: regex-stdout-example
    inputDetail：
      プラグイン：
        入力：
          -
            ＃ 入力方式
            タイプ：service_docker_stdout
            詳細：
              # Logtailがstdoutのみを収集できるようにする設定。 
              Stdout：true
              標準エラー：false
              # 環境変数ホワイトリスト。 この例では、環境変数設定にGF_INSTALL_PLUGINSのキーが含まれているコンテナからのみstdoutが収集されます。 
              IncludeEnv：
                GF_INSTALL_PLUGINS： ''
        プロセッサ：
          -
            # processor_regexプラグインを使用して、正規表現を使用して収集されたstdoutを解析します。 
            タイプ：processor_regex
            詳細：
              # ソースフィールドの名前。 デフォルトでは、収集されたstdoutはcontentフィールドに格納されます。 
              SourceKey: content
              # ログコンテンツの抽出に使用される正規表現。 
              正規表現: 't=(\d +-\d +-\w +:\d +:\d +\d +) lvl=(\w +) msg="([^"]+)"logger=(\w +) userId=(\w +) orgId=(\w +) uname=(\S *) method=(\w +) path=(\S +) status=(\d +) remo_addr=S +) time_ms=(\d +) size=(\d +) referer=(\S *).*'
              # ログから抽出するキー。 
              キー：[時刻、レベル、メッセージ、ロガー、userId、orgId、uname、method、path、status、remote_addr、time_ms、、'size'、'referer']
              # Logtailがソースフィールドを保持できるようにする設定。 
              KeepSource：true
              # 指定されたソースフィールドが存在しない場合にLogtailがエラーを報告できるようにする設定。 
              NoKeyError：true
              # 指定された正規表現が指定されたソースフィールドの値と一致しない場合にLogtailがエラーを報告できるようにする設定。 
              NoMatchError: true

1. Kubernetesラベルを取得します。
2. Logtail設定を作成します。
   次のコードは、Logtail設定の例を示しています。 詳細については、「Log Serviceコンソールを使用してDaemonSetモードでコンテナのstdoutとstderrを収集する」をご参照ください。

   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   メタデータ:
     # リソースの名前。 名前は、現在のKubernetesクラスターで一意である必要があります。 
     name: simple-stdout-example
   spec:
     # 指定したLogstoreが存在しない場合、Log Serviceは自動的にLogstoreを作成します。 
     logstore：k8s-stdout
     # Logtailの設定。 
     logtailConfig：
       # データソースのタイプ。 stdoutとstderrを収集する場合は、値をpluginに設定する必要があります。 
       inputType：プラグイン
       # Logtail設定の名前。 名前は、n metadata.nameで指定されたリソース名と同じである必要があります。 
       configName: k8s-stdout-example
       inputDetail：
         プラグイン：
           入力：
             -
               ＃ 入力方式
               タイプ：service_docker_stdout
               詳細：
                 # Logtailがstdoutとstderrの両方を収集できるようにする設定。 
                 Stdout：true
                 Stderr：true
                 # Kubernetesラベルのホワイトリスト。 この例では、stdoutとstderrは、Kubernetesラベルにジョブ名キーと特定の値が含まれているコンテナーからのみ収集されます。 値はnginx-log-demoで始まります。 
                 IncludeK8sLabel:
                   job-name: "^(nginx-log-demo.*)$"

1. さまざまなレベルのKubernetes情報を取得します。
   1. ポッドに関する情報を取得します。
   2. 名前空間に関する情報を取得します。
2. Logtail設定を作成します。
   次のコードは、Logtail設定の例を示しています。 詳細については、「Log Serviceコンソールを使用してDaemonSetモードでコンテナのstdoutとstderrを収集する」をご参照ください。

   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   メタデータ:
     # リソースの名前。 名前は、現在のKubernetesクラスターで一意である必要があります。 
     name: simple-stdout-example
   spec:
     # 指定したLogstoreが存在しない場合、Log Serviceは自動的にLogstoreを作成します。 
     logstore：k8s-stdout
     # Logtailの設定。 
     logtailConfig：
       # データソースのタイプ。 stdoutとstderrを収集する場合は、値をpluginに設定する必要があります。 
       inputType：プラグイン
       # Logtail設定の名前。 名前は、n metadata.nameで指定されたリソース名と同じである必要があります。 
       configName: k8s-stdout-example
       inputDetail：
         プラグイン：
           入力：
             -
               ＃ 入力方式
               タイプ：service_docker_stdout
               詳細：
                 # Logtailがstdoutとstderrの両方を収集できるようにする設定。 
                 Stdout：true
                 Stderr：true
                 K8sNamespaceRegex: ^ (デフォルト) $
                 K8sPodRegex: '^(nginx-log-demo.*)$'
                 K8sContainerRegex: ^(nginx-log-demo-0)$
                           

環境変数設定にALIYUN_LOGTAIL_USER_DEFINED_IDのキーが含まれるコンテナーからテキストログを収集します。 ログファイルパスは /data/logs/app_1/simple. logです。

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
メタデータ:
  # リソースの名前。 名前は、現在のKubernetesクラスターで一意である必要があります。 
  name: simple-file-example
spec:
   # Logstoreの名前。 指定したLogstoreが存在しない場合、Log Serviceは自動的にLogstoreを作成します。 
  logstore：k8s-file
  # Logtailの設定。 
  logtailConfig：
    # データソースのタイプ。 テキストログを収集する場合は、値をfileに設定する必要があります。 
    inputType：ファイル
    # Logtail設定の名前。 名前は、n metadata.nameで指定されたリソース名と同じである必要があります。 
    configName：シンプルファイル - 例
    inputDetail：
      # Logtailがシンプルモードでテキストログを収集できるようにする設定。 
      logType：common_reg_log
      # ログファイルのパス。 
      logPath：/ data / logs / app_1
      # ログファイル名。 ログファイル名を指定するときに、アスタリスク (*) や疑問符 (?) などのワイルドカード文字を使用できます。 例: log_*.log。 
      filePattern：simple.LOG
      # コンテナテキストログを収集する場合は、dockerFileをtrueに設定する必要があります。 
      dockerFile：true
      # 環境変数ホワイトリスト。 この例では、環境変数設定にALIYUN_LOGTAIL_USER_DEFINED_IDのキーが含まれているコンテナーからのみテキストログが収集されます。 
      dockerIncludeEnv：
        ALIYUN_LOGTAIL_USER_DEFINED_ID： ""

Javaプログラムは、エラースタック情報を含む複数行のログを生成します。 フル正規表現モードでログを収集し、Logtail構成のログの最初の行の先頭と一致する正規表現を指定できます。

[2018-05-11T20:10:16、000] [INFO] [SessionTracker] [SessionTrackerImpl.java:148] Expiringセッション
java.sql.SQLException: 文字列の値が正しくありません: 行1の列 'data' の場合、'\xF0\x9F\x8E\x8F "、...'
でorg。springframework。jdbc.support。AbstractFallbackSQLExceptionTranslator。翻訳 (AbstractFallbackSQLExceptionTranslator.java:84)
org.springframework.jdbc.support.AbstractFallbackSQLExceptionで

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
メタデータ:
  # リソースの名前。 名前は、現在のKubernetesクラスターで一意である必要があります。 
  name: regex-file-example
spec:
  # Logstoreの名前。 指定したLogstoreが存在しない場合、Log Serviceは自動的にLogstoreを作成します。 
  logstore：k8s-file
  logtailConfig：
    # データソースのタイプ。 テキストログを収集する場合は、値をfileに設定する必要があります。 
    inputType：ファイル
    # Logtail設定の名前。 名前は、n metadata.nameで指定されたリソース名と同じである必要があります。 
    configName：regex-file-example
    inputDetail：
      # Logtailがフル正規表現モードでテキストログを収集できるようにする設定。 
      logType：common_reg_log
      # ログファイルのパス。 
      logPath：/ app / logs
      # ログファイル名。 ログファイル名を指定するときに、アスタリスク (*) や疑問符 (?) などのワイルドカード文字を使用できます。 例: log_*.log。 
      filePattern：error.LOG
      # ログの最初の行の先頭を一致させるために使用される正規表現。 
      logBeginRegex: '\[\d +-\d +-\w +:\d +:\d +,\d +]\s\[\w +]\s.*'
      # ログコンテンツの抽出に使用される正規表現。 
      regex: '\[([^]]+)]\s\[(\w +)]\s\[(\w +)]\s\[([^:]+):(\d +)]\s(.*)'
      # ログから抽出するキー。 
      キー: ["time", "level", "method", "file", "line", "message"]
      # The形式の時間値から抽出されログ。 ログがフル正規表現モードで収集されると、デフォルトではログの時間フィールドから時間値が抽出されます。 時間値を抽出したくない場合は、このパラメーターを空のままにすることができます。 timeFormatパラメーターを設定する場合は、adjustTimezoneパラメーターとlogTimezoneパラメーターも設定する必要があります。 
      timeFormat： '％Y-％m-％dT％H：％M：％S'
      # デフォルトでは、LogtailはUTCを使用します。 タイムゾーンを強制的に変更するには、次のパラメーター設定を設定する必要があります。 
      adjustTimezone: true
      # タイムゾーンのオフセット。 ログのタイムゾーンはUTC + 8です。 このパラメーターの値を変更して、タイムゾーンを変更できます。 
      logTimezone: "GMT + 08:00"
      # The設定許可Logtailにアップロード場合生ログログparsedに失敗。 
      discardUnmatch: false
      # コンテナテキストログを収集する場合は、dockerFileをtrueに設定する必要があります。 
      dockerFile：true
      # 環境変数ホワイトリスト。 この例では、環境変数設定にkeyが含まれているコンテナーからのみテキストログが収集されます。 
      dockerIncludeEnv：
        ALIYUN_LOGTAIL_USER_DEFINED_ID： ""

収集するコンテナーテキストログに区切り文字が含まれている場合は、区切り文字モードでコンテナーテキストログを収集できます。 デリミタ区切り値 (DSV) 形式のログは、改行を境界として使用します。 各ログは別々の行に配置されます。 各ログは、区切り文字を使用して複数のフィールドに解析されます。

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
メタデータ:
  # リソースの名前。 名前は、現在のKubernetesクラスターで一意である必要があります。 
  name: delimiter-file-example
spec:
  # Logstoreの名前。 指定したLogstoreが存在しない場合、Log Serviceは自動的にLogstoreを作成します。 
  logstore：k8s-file
  logtailConfig：
    # データソースのタイプ。 テキストログを収集する場合は、値をfileに設定する必要があります。 
    inputType：ファイル
    configName：区切り文字 - ファイル例
    # Logtail設定の名前。 名前は、n metadata.nameで指定されたリソース名と同じである必要があります。 
    inputDetail：
      # Logtailが区切り文字モードでテキストログを収集できるようにする設定。 
      logType：delimiter_log
      # ログファイルのパス。 
      logPath：/ usr / local / ilogtail
      # ログファイル名。 ログファイル名を指定するときに、アスタリスク (*) や疑問符 (?) などのワイルドカード文字を使用できます。 例: log_*.log。 
      filePattern：delimiter_log.LOG
      # 区切り文字。 
      セパレータ： '|＆|'
      # ログから抽出するキー。 
      キー: ['time', 'level', 'method', 'file', 'line', 'message']
      # 時間値が抽出されるフィールドの名前。 
      timeKey： '時刻'
      # ログから抽出される時間値の形式。 区切り文字モードでログを収集する場合、デフォルトではログの時間フィールドから時間値が抽出されます。 時間値を抽出したくない場合は、このパラメーターを空のままにすることができます。 timeFormatパラメーターを設定する場合は、adjustTimezoneパラメーターとlogTimezoneパラメーターも設定する必要があります。 
      timeFormat： '％Y-％m-％dT％H：％M：％S'
      # デフォルトでは、LogtailはUTCを使用します。 タイムゾーンを強制的に変更するには、次のパラメーター設定を設定する必要があります。 
      adjustTimezone: true
      # タイムゾーンのオフセット。 ログのタイムゾーンはUTC + 8です。 このパラメーターの値を変更して、タイムゾーンを変更できます。 
      logTimezone: "GMT + 08:00"
      # The設定許可Logtailにアップロード場合生ログログparsedに失敗。 
      discardUnmatch: false
      # コンテナテキストログを収集する場合は、dockerFileをtrueに設定する必要があります。 
      dockerFile：true
      # 環境変数ホワイトリスト。 この例では、環境変数設定にkeyが含まれているコンテナーからのみテキストログが収集されます。 
      dockerIncludeEnv：
        ALIYUN_LOGTAIL_USER_DEFINED_ID: ''

収集するコンテナーテキストログがObjectタイプのJSONログの場合、JSONモードでコンテナーテキストログを収集できます。

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek * * * * *&Date=Fri % 2C % 2028% 20Jun % 202013% 2006% 3A53% 3A30% 20GMT&Topic=生&Signature=pD12XYLmGxKQ % 2Bmkd6x7hAgQ7b1c % 3D HTTP/1.1" 、"ip": "10.200.98.220" 、"ユーザーエージェント": "aliyun-sdk-ジャワ" 、"要求": {"ステータス」:" 200 "、" レイテンシ ": " 18204 "} 、" 時間 ": " 05/Jan/2020:13:30:28 "}

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
メタデータ:
  # リソースの名前。 名前は、現在のKubernetesクラスターで一意である必要があります。 
  名前: json-file-example
spec:
  # Logstoreの名前。 指定したLogstoreが存在しない場合、Log Serviceは自動的にLogstoreを作成します。 
  logstore：k8s-file
  logtailConfig：
    # データソースのタイプ。 テキストログを収集する場合は、値をfileに設定する必要があります。 
    inputType：ファイル
    # Logtail設定の名前。 名前は、n metadata.nameで指定されたリソース名と同じである必要があります。 
    configName：json-file-example
    inputDetail：
      # LogtailがJSONモードでテキストログを収集できるようにする設定。 
      logType：json_log
      # ログファイルのパス。 
      logPath：/ usr / local / ilogtail
      # ログファイル名。 ログファイル名を指定するときに、アスタリスク (*) や疑問符 (?) などのワイルドカード文字を使用できます。 例: log_*.log。 
      filePattern：json_log.LOG
      # 時間値が抽出されるフィールドの名前。 要件が指定されていない場合は、timeKey: ''設定を使用します。 
      timeKey： '時刻'
      # The形式の時間値から抽出されログ。 Ifなし要件指定されている、使用timeFormat: '' 設定。 
      timeFormat： '％Y-％m-％dT％H：％M：％S'
      # コンテナテキストログを収集する場合は、dockerFileをtrueに設定する必要があります。 
      dockerFile：true
      # 環境変数ホワイトリスト。 この例では、環境変数設定にkeyが含まれているコンテナーからのみテキストログが収集されます。 
      dockerIncludeEnv：
        ALIYUN_LOGTAIL_USER_DEFINED_ID： ""

1. さまざまなレベルのKubernetes情報を取得します。
   1. ポッドに関する情報を取得します。
   2. 名前空間に関する情報を取得します。
   3. Kubernetesラベルを取得します。
2. Logtail構成の作成

   次のコードは、Logtail設定の例を示しています。 詳細については、「Log Serviceコンソールを使用してDaemonSetモードでコンテナのstdoutとstderrを収集する」をご参照ください。

   説明 advancedの下のk8sパラメーターでKubernetes関連のパラメーターを設定する必要があります。 Kubernetes関連のパラメーターには、IncludeK8sLabel、ExcludeK8sLabel、K8sNamespaceRegex、K8sPodRegex、K8sContainerRegex、ExternalEnvTag、およびExternalK8sLabelTagが含まれます。 詳しくは、「コンテナ標準出力」をご参照ください。

   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   メタデータ:
     # リソースの名前。 名前は、現在のKubernetesクラスターで一意である必要があります。 
     name: simple-file-example
   spec:
      # Logstoreの名前。 指定したLogstoreが存在しない場合、Log Serviceは自動的にLogstoreを作成します。 
     logstore：k8s-file
     # Logtailの設定。 
     logtailConfig：
       # データソースのタイプ。 テキストログを収集する場合は、値をfileに設定する必要があります。 
       inputType：ファイル
       # Logtail設定の名前。 名前は、n metadata.nameで指定されたリソース名と同じである必要があります。 
       configName：シンプルファイル - 例
       inputDetail：
         # Logtailがシンプルモードでテキストログを収集できるようにする設定。 
         logType：common_reg_log
         # ログファイルのパス。 
         logPath：/ data / logs / app_1
         # ログファイル名。 ログファイル名を指定するときに、アスタリスク (*) や疑問符 (?) などのワイルドカード文字を使用できます。 例: log_*.log。 
         filePattern：simple.LOG
         # コンテナテキストログを収集する場合は、dockerFileをtrueに設定する必要があります。 
         dockerFile：true
         # コンテナのフィルタリングに使用される条件。 
         高度な:
           k8s:
             K8sNamespaceRegex: ^ (デフォルト) $
             K8sPodRegex: '^(nginx-log-demo.*)$'
             K8sContainerRegex: ^(nginx-log-demo-0)$
             IncludeK8sLabel:
               job-name: "^(nginx-log-demo.*)$"