本文介绍如何在控制台上创建Logtail配置,并以DaemonSet方式采集容器文件日志。
前提条件
功能特点
- 采集文本日志时,只需配置容器内的日志文件路径,无需关心该路径到宿主机的映射。
- 支持通过容器Label白名单指定待采集的容器。
- 支持通过容器Label黑名单排除不要采集的容器。
- 支持通过环境变量白名单指定待采集的容器。
- 支持通过环境变量黑名单排除不要采集的容器。
- 支持采集多行日志(例如Java Stack日志)。
- 支持上报容器日志时自动关联Meta信息(例如容器名、镜像、Pod、Namespace、环境变量等)。
- 当容器运行于Kubernetes时,Logtail还具有以下功能。
- 支持通过Kubernetes Namespace名称、Pod名称、容器名称指定待采集的容器。
- 支持通过Kubernetes Label白名单指定待采集的容器。
- 支持通过Kubernetes Label黑名单排除不要采集的容器。
- 支持上报容器日志时自动关联Kubernetes Label信息。
限制说明
- 采集停止策略:当容器被停止后,Logtail监听到容器
die
的事件后会停止该容器日志的采集。如果此时采集出现延迟,则可能丢失停止前的部分日志。 - Docker存储驱动限制:目前只支持overlay、overlay2,其他存储驱动需将日志所在目录通过数据卷挂载为临时目录。
如果日志目录是以PVC方式挂载到NAS,则不支持使用Daemonset方式采集日志,建议使用Sidecar方式采集。
- 不支持采集软链接:目前Logtail无法访问业务容器的软链接,请按真实路径配置采集目录。
- 如果业务容器的数据目录是通过数据卷(Volume)挂载的,则不支持采集它的父目录,需设置采集目录为完整的数据目录。
例如/var/log/service目录是数据卷挂载的路径,则设置采集目录为/var/log将采集不到该目录下的日志,需设置采集目录为/var/log/service。
- Kubernetes默认将宿主机根目录挂载到Logtail容器的
/logtail_host
目录。如果您要采集宿主机文本日志,则配置日志文件路径时,需加上/logtail_host
前缀。例如需要采集宿主机上
/home/logs/app_log/
目录下的日志,则设置日志路径为/logtail_host/home/logs/app_log/
。 - Logtail支持Docker和Containerd两种容器引擎的数据采集,访问路径说明如下:
- Docker:Logtail通过/run/docker.sock访问Docker,请确保该路径存在且具备访问权限。
- Containerd:Logtail通过/run/containerd/containerd.sock访问Containerd,请确保该路径存在且具备访问权限。
创建Logtail采集配置
配置示例
示例1:通过环境变量黑白名单过滤容器
采集环境变量为NGINX_SERVICE_PORT=80
且不为POD_NAMESPACE=kube-system
的容器的文本日志,日志文件路径为/var/log/nginx/access.log
,日志解析模式为极简模式。
- 获取环境变量
您可以登录容器所在的宿主机查看容器的环境变量。具体操作,请参见获取容器环境变量。
- 创建Logtail采集配置
Logtail采集配置示例如下图所示。极简模式的相关配置说明请参见使用极简模式采集日志。
示例2:通过容器Label黑白名单过滤容器
采集容器Label为io.kubernetes.container.name=nginx
的容器的文本日志,日志文件路径为/var/log/nginx/access.log
,日志解析方式为极简模式。
- 获取容器Label
您可以登录容器所在的宿主机查看容器的Label。具体操作,请参见获取容器Label。
- 创建Logtail采集配置
Logtail采集配置示例如下图所示。极简模式的相关配置说明请参见使用极简模式采集日志。
示例3:通过Kubernetes Namespace名称、Pod名称和容器名称过滤容器
采集default命名空间下以nginx-log-demo开头的Pod中的nginx-log-demo-0容器。
- 获取Kubernetes层级的信息
- 获取Pod信息
- 获取Namespace等信息
- 获取Pod信息
- 创建Logtail采集配置
Logtail采集配置示例如下图所示。极简模式的相关配置说明请参见使用极简模式采集日志。
示例4:通过Kubernetes Label过滤容器
采集Kubernetes Label中Key为job-name,Value以nginx-log-demo开头的所有容器。
- 获取Kubernetes Label
- 创建Logtail采集配置
Logtail采集配置示例如下图所示。极简模式的相关配置说明请参见使用极简模式采集日志。
默认字段
字段名称 | 说明 |
---|---|
_image_name_ | 镜像名 |
_container_name_ | 容器名 |
_pod_name_ | Pod名 |
_namespace_ | Pod所在的命名空间 |
_pod_uid_ | Pod的唯一标识 |
_container_ip_ | Pod的IP地址 |
问题排查
当您使用Logtail采集容器(标准容器、Kubernetes)日志遇到异常情况时,您可以参见如下内容进行排查。