日志服务：通过DaemonSet-CRD方式采集容器日志

通过极简模式采集除环境变量为COLLECT_STDOUT_FLAG=false之外的所有容器的标准输出（stdout和stderr）。其中，您可以登录容器所在的宿主机查看容器的环境变量。具体操作，请参见获取容器环境变量。

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  # 设置资源名，在当前Kubernetes集群内唯一。
  name: simple-stdout-example
spec:
  # 设置Logstore名称。如果您所指定的Logstore不存在，日志服务会自动创建。
  logstore: k8s-stdout
  # 设置Logtail配置。
  logtailConfig:
    # 设置采集的数据源类型。采集标准输出时，需设置为plugin。
    inputType: plugin
    # 设置Logtail配置的名称，必须与资源名（metadata.name）相同。
    configName: simple-stdout-example
    inputDetail:
      plugin:
        inputs:
          -
            # input type
            type: service_docker_stdout
            detail:
              # 指定采集stdout和stderr。
              Stdout: true
              Stderr: true
              # 设置环境变量黑名单，采集除环境变量为COLLECT_STDOUT_FLAG=false之外的所有容器的标准输出。
              ExcludeEnv:
                COLLECT_STDOUT_FLAG: "false"

通过极简模式采集容器中Grafana的访问日志，并使用正则模式将其解析为结构化数据。其中，Grafana容器的环境变量为GF_INSTALL_PLUGINS=grafana-piechart-....，您可以登录容器所在的宿主机进行查看。具体操作，请参见获取容器环境变量。

t=2018-03-09T07:14:03+0000 lvl=info msg="Request Completed" logger=context userId=0 orgId=0 uname= method=GET path=/ status=302 remote_addr=172.16.64.154 time_ms=0 size=29 referer=

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  # 设置资源名，在当前Kubernetes集群内唯一。
  name: regex-stdout-example
spec:
  # 设置Logstore名称。如果您所指定的Logstore不存在，日志服务会自动创建。
  logstore: k8s-stdout-regex
  # 设置Logtail配置。
  logtailConfig:
    # 设置采集的数据源类型。采集标准输出时，需设置为plugin。
    inputType: plugin
    # 设置Logtail配置的名称，必须与资源名（metadata.name）相同。
    configName: regex-stdout-example
    inputDetail:
      plugin:
        inputs:
          -
            # input type
            type: service_docker_stdout
            detail:
              # 指定只采集标准输出stdout，不采集标准错误stderr。
              Stdout: true
              Stderr: false
              # 设置环境变量白名单，只采集容器环境变量中EnvKey为GF_INSTALL_PLUGINS的容器的标准输出。
              IncludeEnv:
                GF_INSTALL_PLUGINS: ''
        processors:
          -
            # 使用processor_regex插件（正则模式）解析所采集到的标准输出。
            type: processor_regex
            detail:
              # 设置原始字段名。采集到的容器标准输出默认保存在content字段中。
              SourceKey: content
              # 设置正则表达式，用于提取日志内容。
              Regex: 't=(\d+-\d+-\w+:\d+:\d+\+\d+) lvl=(\w+) msg="([^"]+)" logger=(\w+) userId=(\w+) orgId=(\w+) uname=(\S*) method=(\w+) path=(\S+) status=(\d+) remote_addr=(\S+) time_ms=(\d+) size=(\d+) referer=(\S*).*'
              # 设置提取的字段列表。
              Keys: ['time', 'level', 'message', 'logger', 'userId', 'orgId', 'uname', 'method', 'path', 'status', 'remote_addr', 'time_ms', 'size', 'referer']
              # 保留原始字段。
              KeepSource: true
              # 出现无匹配的原始字段时会报错。
              NoKeyError: true
              # 正则表达式与原始字段的值不匹配时会报错。
              NoMatchError: true

1. 获取Kubernetes Label。
2. 创建Logtail配置。
   配置示例如下所示。参数说明，请参见通过DaemonSet-控制台方式采集容器标准输出。

   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   metadata:
     # 设置资源名，在当前Kubernetes集群内唯一。
     name: simple-stdout-example
   spec:
     # 设置Logstore名称。如果您所指定的Logstore不存在，日志服务会自动创建。
     logstore: k8s-stdout
     # 设置Logtail配置。
     logtailConfig:
       # 设置采集的数据源类型。采集标准输出时，需设置为plugin。
       inputType: plugin
       # 设置Logtail配置的名称，必须与资源名（metadata.name）相同。
       configName: simple-stdout-example
       inputDetail:
         plugin:
           inputs:
             -
               # input type
               type: service_docker_stdout
               detail:
                 # 指定采集stdout和stderr。
                 Stdout: true
                 Stderr: true
                 # 设置K8s Label白名单，采集Kubernetes Label中Key为job-name，Value以nginx-log-demo开头的所有容器的标准输出。
                 IncludeK8sLabel:
                   job-name: "^(nginx-log-demo.*)$"

1. 获取Kubernetes层级的信息。
   1. 获取Pod信息。
   2. 获取Namespace等信息。
2. 创建Logtail配置。
   配置示例如下所示。参数说明，请参见通过DaemonSet-控制台方式采集容器标准输出。

   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   metadata:
     # 设置资源名，在当前Kubernetes集群内唯一。
     name: simple-stdout-example
   spec:
     # 设置Logstore名称。如果您所指定的Logstore不存在，日志服务会自动创建。
     logstore: k8s-stdout
     # 设置Logtail配置。
     logtailConfig:
       # 设置采集的数据源类型。采集标准输出时，需设置为plugin。
       inputType: plugin
       # 设置Logtail配置的名称，必须与资源名（metadata.name）相同。
       configName: simple-stdout-example
       inputDetail:
         plugin:
           inputs:
             -
               # input type
               type: service_docker_stdout
               detail:
                 # 指定采集stdout和stderr。
                 Stdout: true
                 Stderr: true
                 K8sNamespaceRegex: ^(default)$
                 K8sPodRegex: '^(nginx-log-demo.*)$'
                 K8sContainerRegex: ^(nginx-log-demo-0)$
                           

通过极简模式采集环境变量中包含EnvKey为ALIYUN_LOGTAIL_USER_DEFINED_ID的容器的文本日志，日志文件路径为/data/logs/app_1/simple.LOG。

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  # 设置资源名，在当前Kubernetes集群内唯一。
  name: simple-file-example
spec:
   # 设置Logstore名称。如果您所指定的Logstore不存在，日志服务会自动创建。
  logstore: k8s-file
  # 设置Logtail配置。
  logtailConfig:
    # 设置采集的数据源类型。采集文本日志时，需设置为file。
    inputType: file
    # 设置Logtail配置的名称，必须与资源名（metadata.name）相同。
    configName: simple-file-example
    inputDetail:
      # 指定通过极简模式采集文本日志。
      logType: common_reg_log
      # 设置日志文件所在路径。
      logPath: /data/logs/app_1
      # 设置日志文件的名称。支持通配符星号（*）和半角问号（?），例如log_*.log。
      filePattern: simple.LOG
      # 采集容器的文本日志时，需设置dockerFile为true。
      dockerFile: true
      # 设置环境变量白名单。只采集环境变量中包含EnvKey为ALIYUN_LOGTAIL_USER_DEFINED_ID的容器的文本日志。
      dockerIncludeEnv:
        ALIYUN_LOGTAIL_USER_DEFINED_ID: ""

某Java程序日志为多行日志，日志中包含错误堆栈信息。您可以通过完整正则模式进行采集，并在Logtail配置中指定置行首正则表达式。

[2018-05-11T20:10:16,000] [INFO] [SessionTracker] [SessionTrackerImpl.java:148] Expiring sessions
java.sql.SQLException: Incorrect string value: '\xF0\x9F\x8E\x8F",...' for column 'data' at row 1
at org.springframework.jdbc.support.AbstractFallbackSQLExceptionTranslator.translate(AbstractFallbackSQLExceptionTranslator.java:84)
at org.springframework.jdbc.support.AbstractFallbackSQLException

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  # 设置资源名，在当前Kubernetes集群内唯一。
  name: regex-file-example
spec:
  # 设置Logstore名称。如果您所指定的Logstore不存在，日志服务会自动创建。
  logstore: k8s-file
  logtailConfig:
    # 设置采集的数据源类型。采集文本日志时，需设置为file。
    inputType: file
    # 设置Logtail配置的名称，必须与资源名(metadata.name)相同。
    configName: regex-file-example
    inputDetail:
      # 指定通过完整正则模式采集文本日志。
      logType: common_reg_log
      # 设置日志文件的路径。
      logPath: /app/logs
      # 设置日志文件的名称。支持通配符星号（*）和半角问号（?），例如log_*.log。
      filePattern: error.LOG
      # 设置用于匹配日志行首的行首正则表达式。
      logBeginRegex: '\[\d+-\d+-\w+:\d+:\d+,\d+]\s\[\w+]\s.*'
      # 设置正则表达式，用于提取日志内容。
      regex: '\[([^]]+)]\s\[(\w+)]\s\[(\w+)]\s\[([^:]+):(\d+)]\s(.*)'
      # 设置提取的字段列表。
      key: ["time", "level", "method", "file", "line", "message"]
      # 使用完整正则模式采集日志时，默认从日志的time字段中提取时间。如果无需提取时间，可不设置该字段。如果您设置了timeFormat字段，则需配置adjustTimezone字段和logTimezone字段。
      timeFormat: '%Y-%m-%dT%H:%M:%S'
      # 由于Logtail默认工作在零时区，因此需通过如下配置，强制设置时区。
      adjustTimezone: true
      # 设置时区偏移量。日志时间为东八区，如果是其他时区，请调整该值。
      logTimezone: "GMT+08:00"
      # 解析失败时，上传原始日志。
      discardUnmatch: false
      # 采集容器的文本日志时，需设置dockerFile为true。
      dockerFile: true
      # 设置环境变量白名单。只采集环境变量中包含EnvKey为ALIYUN_LOGTAIL_USER_DEFINED_ID的容器的文本日志。
      dockerIncludeEnv:
        ALIYUN_LOGTAIL_USER_DEFINED_ID: ""

如果您要采集的容器文本日志中有明确的分隔符，您可以使用通过分隔符模式采集容器文本日志。分隔符日志以换行符为边界，每一行都是一条日志。分隔符日志使用分隔符将一条日志分割成多个字段。

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  # 设置资源名，在当前Kubernetes集群内唯一。
  name: delimiter-file-example
spec:
  # 设置Logstore名称。如果您所指定的Logstore不存在，日志服务会自动创建。
  logstore: k8s-file
  logtailConfig:
    # 设置采集的数据源类型。采集文本日志时，需设置为file。
    inputType: file
    configName: delimiter-file-example
    # 设置Logtail配置的名称，必须与资源名（metadata.name）相同。
    inputDetail:
      # 指定通过分隔符模式采集日志。
      logType: delimiter_log
      # 设置日志文件的路径。
      logPath: /usr/local/ilogtail
      # 设置日志文件的名称。支持通配符星号（*）和半角问号（?），例如log_*.log。
      filePattern: delimiter_log.LOG
      # 设置分隔符。
      separator: '|&|'
      # 设置提取的字段列表。
      key: ['time', 'level', 'method', 'file', 'line', 'message']
      # 设置时间字段。
      timeKey: 'time'
      # 使用分隔符模式采集日志时，默认从日志的time字段中提取时间。如果无需提取时间，可不设置该字段。如果您设置了timeFormat字段，则需配置adjustTimezone字段和logTimezone字段。
      timeFormat: '%Y-%m-%dT%H:%M:%S'
      # 由于Logtail默认工作在零时区，因此需通过如下配置，强制设置时区。
      adjustTimezone: true
      # 设置时区偏移量。日志时间为东八区，如果是其他时区，请调整该值。
      logTimezone: "GMT+08:00"
      # 解析失败时，上传原始日志。
      discardUnmatch: false
      # 采集容器的文本日志时，需设置dockerFile为true。
      dockerFile: true
      # 设置环境变量白名单。只采集环境变量中包含EnvKey为ALIYUN_LOGTAIL_USER_DEFINED_ID的容器的文本日志。
      dockerIncludeEnv:
        ALIYUN_LOGTAIL_USER_DEFINED_ID: ''

如果您要采集的容器文本日志为Object类型的JSON日志，则您可以使用JSON模式进行采集。

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2020:13:30:28"}

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  # 设置资源名，在当前Kubernetes集群内唯一。
  name: json-file-example
spec:
  # 设置Logstore名称。如果您所指定的Logstore不存在，日志服务会自动创建。
  logstore: k8s-file
  logtailConfig:
    # 设置采集的数据源类型。采集文本日志时，需设置为file。
    inputType: file
    # 设置Logtail配置的名称，必须与资源名（metadata.name）相同。
    configName: json-file-example
    inputDetail:
      # 指定通过JSON模式采集日志。
      logType: json_log
      # 设置日志文件的路径。
      logPath: /usr/local/ilogtail
      # 设置日志文件的名称。支持通配符星号（*）和半角问号（?），例如log_*.log。
      filePattern: json_log.LOG
      # 设置时间字段，如果无指定需求，则设置为timeKey: ''。
      timeKey: 'time'
      # 设置时间格式。如果无指定需求，则设置为timeFormat: ''。
      timeFormat: '%Y-%m-%dT%H:%M:%S'
      # 采集容器的文本日志时，需设置dockerFile为true。
      dockerFile: true
      # 设置环境变量白名单。只采集环境变量中包含EnvKey为ALIYUN_LOGTAIL_USER_DEFINED_ID的容器的文本日志。
      dockerIncludeEnv:
        ALIYUN_LOGTAIL_USER_DEFINED_ID: ""

1. 获取Kubernetes层级的信息。
   1. 获取Pod信息。
   2. 获取Namespace等信息。
   3. 获取Kubernetes Label。
2. 创建Logtail配置

   配置示例如下所示。更多信息，请参见通过DaemonSet-控制台方式采集容器标准输出。

   说明 IncludeK8sLabel、ExcludeK8sLabel、K8sNamespaceRegex、K8sPodRegex、K8sContainerRegex、ExternalEnvTag、ExternalK8sLabelTag等Kubernetes信息相关的参数，必须配置在advanced参数的k8s参数下。参数说明，请参见通过DaemonSet-控制台方式采集容器标准输出。

   apiVersion: log.alibabacloud.com/v1alpha1
   kind: AliyunLogConfig
   metadata:
     # 设置资源名，在当前Kubernetes集群内唯一。
     name: simple-file-example
   spec:
      # 设置Logstore名称。如果您所指定的Logstore不存在，日志服务会自动创建。
     logstore: k8s-file
     # 设置Logtail配置。
     logtailConfig:
       # 设置采集的数据源类型。采集文本日志时，需设置为file。
       inputType: file
       # 设置Logtail配置的名称，必须与资源名（metadata.name）相同。
       configName: simple-file-example
       inputDetail:
         # 指定通过极简模式采集文本日志。
         logType: common_reg_log
         # 设置日志文件所在路径。
         logPath: /data/logs/app_1
         # 设置日志文件的名称。支持通配符星号（*）和半角问号（?），例如log_*.log。
         filePattern: simple.LOG
         # 采集容器的文本日志时，需设置dockerFile为true。
         dockerFile: true
         #设置容器过滤条件。
         advanced:
           k8s:
             K8sNamespaceRegex: ^(default)$
             K8sPodRegex: '^(nginx-log-demo.*)$'
             K8sContainerRegex: ^(nginx-log-demo-0)$
             IncludeK8sLabel:
               job-name: "^(nginx-log-demo.*)$"