日志服务：设置Logtail启动参数

设置场景

推荐参数值

根据实际经验推荐如下参数配置，适用于普通JSON文件的采集场景。完整正则模式和分隔符模式的性能与JSON模式相近，极简模式性能为JSON模式的5倍。由于数据、规则的复杂度、采集目录和文件的数量都会对CPU和MEM消耗带来影响，请参照下述表格并结合实际情况按需调整。

• 主机环境

  参数	默认的采集速率	采集速率大于10 MB/s	采集速率大于20 MB/s	采集速率大于40 MB/s
  cpu_usage_limit	0.4	1	2	4
  mem_usage_limit	384	1024	2048	4096
  max-bytes-per-sec	20971520	209715200	209715200	209715200
  process_thread_count	1	2	4	8
  send_request_concurrency	4	20	40	80

• 容器或Kubernetes环境

  环境变量	默认的采集速率	采集速率大于10 MB/s	采集速率大于20 MB/s	采集速率大于40 MB/s
  cpu_usage_limit	2	3	5	9
  mem_usage_limit	2048	2048	2048	4096
  max_bytes_per_sec	209715200	209715200	209715200	209715200
  process_thread_count	1	2	4	8
  send_request_concurrency	20	20	40	80
  resources.limits.cpu	500M	1000M	2000M	4000M
  resources.limits.memory	2 Gi	2 Gi	3 Gi	5 Gi

  在容器或Kubernetes环境下，您需要通过修改daemonset环境变量来修改Logtail启动参数。部分环境引用configmap，configmap路径为configmap > kube-system > alibaba-log-configuration。同时还需调整daemonset > kube-system > logtail-ds中的resources.limits.cpu和resources.limits.memory，避免Container资源超限。

按照上述表格中的采集速率大于40 MB/s列配置Logtail启动参数时，Logtail的采集性能接近极限，继续增加线程对性能提升效果不显著。采集端的性能极限说明如下表所示。

设置启动参数

1. 在安装Logtail的服务器上，打开/usr/local/ilogtail/ilogtail_config.json文件。

   此步骤适用于主机环境。

   在容器或Kubernetes环境下，您需要通过修改daemonset环境变量来修改Logtail启动参数。部分环境引用configmap，configmap路径为configmap > kube-system > alibaba-log-configuration

2. 根据需求设置启动参数。

   启动参数示例如下：

   {
       ...
       "cpu_usage_limit" : 0.4,
       "mem_usage_limit" : 384,
       "max_bytes_per_sec" : 20971520,
       "process_thread_count" : 1,
       "send_request_concurrency" : 4,
       "buffer_file_num" : 25,
       "buffer_file_size" : 20971520,
       "buffer_file_path" : "",
       ...
   }

   说明

   • 下表中只列出您需要关注的常用启动参数，未列出的启动参数，保持默认配置即可。
   • 您可以根据需要新增或修改指定启动参数。

   表 1. Logtail启动参数

   参数	类型	说明	示例
   cpu_usage_limit	double	CPU使用阈值，以单核计算。取值如下： 取值范围：0.1~当前机器的CPU核心数 默认值：0.4 警告 cpu_usage_limit为软限制，实际Logtail占用的CPU可能超过限制值，超限5分钟后将触发熔断保护，Logtail自动重启。 例如设置为0.4，表示日志服务将尽可能限制Logtail的CPU使用为CPU单核的40%，超出后Logtail自动重启。 一般情况下，通过极简模式采集日志时，单核处理能力约100 MB/s；通过完整正则模式采集日志时，单核处理能力约20 MB/s 。	"cpu_usage_limit" : 0.4
   mem_usage_limit	int	内存使用阈值。取值如下： 取值范围：128 MB ~ 8192 MB 默认值：384 MB（主机），2048 MB（ACK组件） 警告 mem_usage_limit为软限制，实际Logtail占用的内存可能超过限制值，超限5分钟后将触发熔断保护，Logtail自动重启。 采集速率、监控目录和文件数量、发送阻塞程度与mem_usage_limit参数有关。更多信息，请参见Logtail限制说明。	"mem_usage_limit" : 384
   max_bytes_per_sec	int	每秒钟Logtail发送原始数据的流量限制。取值如下： 取值范围：1024 Byte/s ~ 52428800 Byte/s 默认值：20971520 Byte/s 例如设置为2097152，表示Logtail发送数据的速率为2 MB/s。 重要 设置的值超过20971520 Byte/s（20MB/s），表示不限速。	"max_bytes_per_sec" : 2097152
   process_thread_count	int	Logtail处理数据的线程数。 取值如下： 取值范围：1~64 默认值：1 一般情况下，可以处理极简模式下24 MB/s的数据写入或完整正则模式12 MB/s的数据写入。默认情况下无需调整该参数取值。	"process_thread_count" : 1
   send_request_concurrency	int	异步并发的个数。取值如下： 取值范围：1~1000 默认值：20 如果写入TPS很高，可以设置更高的异步并发个数。可以按照一个并发支持0.5 MB/s~1 MB/s网络吞吐来计算，实际根据网络延时而定。 说明 设置异步并发个数过高容易导致网络端口占用过多，需调整TCP相关参数。	"send_request_concurrency" : 4
   buffer_file_num	int	限制缓存文件的最大数目。取值如下： 取值范围：1~100 默认值：25 遇到网络异常、写入配额超限等情况时，Logtail将实时解析后的日志写入本地文件（安装目录下）缓存起来，等待恢复后尝试重新发送。	"buffer_file_num" : 25
   buffer_file_size	int	单个缓存文件允许的最大字节数。取值如下： 取值范围：1048576 Byte ~ 104857600 Byte 默认值：20971520 Byte buffer_file_size*buffer_file_num是缓存文件可以实际使用的最大磁盘空间。	"buffer_file_size" : 20971520
   buffer_file_path	String	缓存文件存放目录。 默认值为空，即缓存文件存放于logtail安装目录/usr/local/ilogtail下。 当您设置此参数后，需手动将原目录下名为logtail\_buffer\_file_*的文件移动到此目录，以保证Logtail可以读取到该缓存文件并在发送后进行删除。	"buffer_file_path" : ""
   bind_interface	String	本机绑定的网卡名。默认值为空，自动绑定可用的网卡。 如果设置为指定的网卡（例如eth1），则表示Logtail将强制使用该网卡上传日志。 只支持Linux版本。	"bind_interface" : ""
   check_point_filename	String	Logtail的checkpoint文件的保存路径， 默认值：/tmp/logtail_check_point。	"check_point_filename" : /tmp/logtail_check_point
   check_point_dump_interval	int	Logtail更新Checkpoint文件的周期，默认值：900，单位：秒。即默认情况下每15分钟更新一次Checkpoint文件。 仅支持Logtail 1.0.19及以上版本。	"check_point_dump_interval" : 900
   user_config_file_path	String	Logtail配置文件的保存路径，默认为进程binary所在目录，文件名为user_log_config.json。	"user_config_file_path" : user_log_config.json
   docker_file_cache_path	String	该文件记录了容器文件到宿主机文件的路径映射，默认为/usr/local/ilogtail/docker_path_config.json。 仅支持Logtail 0.16.54及以上版本。	"docker_file_cache_path": /usr/local/ilogtail/docker_path_config.json
   discard_old_data	Boolean	是否丢弃历史日志。默认值：true，表示丢弃距离当前时间超过12小时的日志。	"discard_old_data" : true
   ilogtail_discard_interval	int	丢弃历史日志距离当前时间的阈值。默认值：43200（12小时），单位：秒。	"ilogtail_discard_interval": 43200
   working_ip	String	Logtail上报本服务器的IP地址。默认值为空，表示自动从本服务器获取IP地址。	"working_ip" : ""
   working_hostname	String	Logtail上报的本服务器的主机名。默认值为空，表示自动从本服务器获取主机名。	"working_hostname" : ""
   max_read_buffer_size	long	每条日志读取的最大值。默认值：524288（512 KB），最大值：4194304（4 MB）。单位：Byte。 如果您的单条日志超过524288 Byte，可修改此参数。	"max_read_buffer_size" : 524288
   oas_connect_timeout	long	Logtail发起获取Logtail配置、访问密钥等请求时，连接阶段的超时时间。默认值：5，单位：秒。 网络条件较差，建立连接时间过长时可修改此参数。	"oas_connect_timeout" : 5
   oas_request_timeout	long	Logtail发起获取Logtail配置、访问密钥等请求时，整个请求阶段的超时时间。默认值：10，单位：秒。 网络条件较差，建立连接时间过长时可修改此参数。	"" : 10
   data_server_port	long	设置data_server_port为443后，Logtail将通过HTTPS协议传输数据到日志服务。 仅支持Logtail 1.0.10及以上版本。	"data_server_port": 443
   enable_log_time_auto_adjust	Boolean	设置enable_log_time_auto_adjust为true后，日志时间可自适应服务器本地时间。 出于数据安全考虑，日志服务会对请求（包括Logtail发起的请求）所携带的时间进行校验，拒绝与日志服务端时间相差超过15分钟的请求。Logtail发起请求时所携带的时间为服务器本地时间，当服务器本地时间被修改后（例如某些测试场景下需要调整本地时间为未来时间），Logtail请求将被拒绝，导致写入数据失败。您可以使用该参数实现日志时间自适应服务器本地时间。 仅支持Logtail 1.0.19及以上版本。 重要 开启该功能后，日志时间将被加上日志服务端的时间与服务器本地时间的偏移量。由于偏移量只在请求被日志服务端拒绝时更新，因此可能出现日志服务端所查询到的日志的时间和日志实际的写入时间不一致的情况。 Logtail的部分逻辑依赖于系统时间的递增，建议在每次机器时间调整后重启Logtail。	"enable_log_time_auto_adjust": true
   accept_multi_config	Boolean	是否允许多个Logtail配置采集同一个文件。默认值：false，表示不允许。 默认情况下，一个文件只能被一个Logtai配置采集，您可以通过该参数消除限制。每个Logtail配置的处理过程是独立的，当允许多个Logtai配置采集同一个文件时，需要消耗多倍的CPU、内存开销。 仅支持Logtail 0.16.26及以上版本。	"accept_multi_config": true
   enable_checkpoint_sync_write	Boolean	是否开启sync写功能。默认值：false，表示不开启。 sync写功能主要用于搭配ExactlyOnce写入功能。开启ExactlyOnce写入功能后，Logtail会在本地磁盘记录细粒度的Checkpoint信息（文件级别）。但出于性能考虑，默认写入Checkpoint时不会调用sync落盘，所以如果机器重启导致buffer数据来不及写入磁盘时，可能导致Checkpoint丢失。此时，您可以设置enable_checkpoint_sync_write为true，开启sync写功能。更多信息，请参见Logtail配置。 仅支持Logtail 1.0.20及以上版本。	"enable_checkpoint_sync_write": false
   enable_env_ref_in_config	Boolean	是否启用采集配置环境变量替换功能。默认值：false。 开启该功能后，您可以在控制台的Logtail采集配置中使用${xxx}作为环境变量xxx的占位符。例如设置采集路径为/${xxx}/logs，环境变量为xxx=user，则生效的采集路径为/user/logs。 如果配置中需要使用${、}，则您可以使用$${、$}进行转义。 仅支持Logtail 1.0.31及以上版本。	"enable_env_ref_in_config": false
   docker_config_update_interval	int	容器路径更新的最小时间间隔。默认值：3（1.0.32及以上版本）、10（1.0.32之前版本）。单位：秒。 与max_docker_config_update_times配合使用，任意一个参数达到阈值则不再更新容器路径。	"docker_config_update_interval": 3
   max_docker_config_update_times	int	3分钟内更新容器路径最大次数。默认值：10（1.0.32及以上版本）、3（1.0.32之前版本）。默认情况下，3分钟内容器路径更新次数超过3次则不再更新容器路径。	"max_docker_config_update_times": 10
   DOCKER_HOST	String	与Docker通信的Socket地址，需通过环境变量进行配置。 默认值：空，表示使用默认地址unix:///var/run/docker.sock。	DOCKER_HOST=unix:///var/run/docker.sock
   CONTAINERD_SOCK_PATH	String	与Containerd通信的Socket地址，需通过环境变量进行配置。 默认值：空，表示使用默认地址unix:///run/containerd/containerd.sock。如果是K3s集群，可按照示例修改。	CONTAINERD_SOCK_PATH=/run/k3s/containerd/containerd.sock
   logreader_max_rotate_queue_size	Int	轮转队列最大长度。默认值：20。当日志采集发生阻塞或延时时，待采集的文件会持有文件句柄在队列中等待。 当采集延时时，如果需要控制磁盘最大用量，可考虑减小该值。 警告 当延时的文件数超过该值时，Logtail将直接跳过新文件的采集。	"logreader_max_rotate_queue_size" : 10
   force_release_deleted_file_fd_timeout	Int	容器退出或者文件删除将在一定时间内释放句柄，您可以指定对应的时间。默认值：-1，表示关闭功能。值为0时，表示立刻释放。单位：秒。 如果您要控制containerd容器的最大销毁延时，可考虑将值设置该参数。 警告 当采集发生延时时，延时超过配置的数据会丢失。	"force_release_deleted_file_fd_timeout" : 0
   default_max_inotify_watch_num	Int	使用inotify监听的最大目录（含子目录）数。默认值：3000。	"default_max_inotify_watch_num" : 5000

3. 重启Logtail使配置生效。

   /etc/init.d/ilogtaild stop && /etc/init.d/ilogtaild start                        

   重启后，您可以执行/etc/init.d/ilogtaild status命令检查Logtail状态。

附录：环境变量说明

环境变量与Logtail启动参数的对应关系如下，具体的参数说明请参见Logtail启动参数。