在采集日志或投递数据到其他云产品时,日志服务会将日志来源、时间戳等信息以Key-Value对的形式添加到日志中。这些字段是日志服务的保留字段。本文介绍日志服务的保留字段。

重要
  • 使用API写入日志数据或添加Logtail配置时,请不要将Key即字段名称设置为这些保留字段,否则可能会造成字段名称重复、查询不精确等问题。
  • 旧版投递任务不支持投递__tag__前缀的字段。
  • 若当前Logstore的计费模式为按写入数据量计费时,日志服务为日志数据增加的字段将不产生费用。具体内容,可参见按写入数据量计费
  • 若当前Logstore的计费模式为按使用功能计费时,日志服务为日志数据增加的字段按照按使用功能计费方式正常收费,为其开启索引时也会产生少量索引流量及存储费用。更多信息,请参见按使用功能计费
保留字段数据格式索引与统计设置说明
__time__整型,Unix标准时间格式。
  • 索引设置:__time__通过API中的参数from和to选择,无需添加该字段的索引。
  • 统计设置:当您为任何一列开启统计后,日志服务默认为__time__开启统计。
写入日志数据时指定的日志时间。该字段可用于日志投递、查询、分析。
__source__字符串格式。
  • 索引设置:开启索引后,日志服务默认为__source__创建索引,索引数据类型为text类型,分词字符为空。查询时输入source:127.0.0.1 或者 __source__:127.0.0.1
  • 统计设置:当您为任何一列开启统计后,日志服务默认为__source__开启统计。
日志来源设备。该字段可用于日志投递、查询、分析、自定义消费。
__topic__字符串格式。
  • 索引设置:开启索引后,日志服务默认为__topic__创建索引,索引数据类型为text类型,分词字符为空。查询时输入__topic__:XXX
  • 统计设置:当您为任何一列开启统计后,日志服务默认为__topic__开启统计。
日志主题(Topic)。如果您设置了日志主题,日志服务会自动为您的日志添加日志主题字段,Key为__topic__,Value为您的主题内容。该字段可用于日志投递、查询、分析、自定义消费。更多信息,请参见日志主题
_extract_others_字符串格式,可反序列化成JSON Map。日志内容中不存在该字段,无需设置索引。__extract_others__相同,建议使用__extract_others__
__tag__:__client_ip__字符串格式。
  • 索引设置:开启索引后,日志服务默认为所有字段创建索引,索引数据类型为text类型,分词字符为空,在查询时要完全命中,或采用模糊查询。
  • 统计设置:默认没有为该列开启统计。如需开启统计,请手动添加__tag__:__client_ip__的索引,并开启统计功能。
日志来源设备的公网IP。该字段为系统标签(Tag)。开启记录外网IP功能后,服务端接收日志时为原始日志追加该字段。可用于日志查询、分析、自定义消费。对该字段进行SQL分析时,需要给该字段加上双引号。更多信息,请参见标签(Tags)记录外网IP
__tag__:__receive_time__字符串,可转换为整型的Unix标准时间格式。
  • 索引设置:开启索引后,日志服务默认为所有标签(Tag)创建索引,索引数据类型为text类型,分词字符为空,在查询时要完全命中,或采用模糊查询。
  • 统计设置:默认没有为该列开启统计。如需开启统计,请手动添加__tag__:__receive_time__的索引,并开启统计功能。
日志到达服务端的时间,该字段为系统标签(Tag)。开启记录外网IP功能后,服务端接收日志时为原始日志追加该字段。该字段可用于日志查询、分析、自定义消费。更多信息,请参见标签(Tags)记录外网IP
__tag__:__path__字符串格式。
  • 索引设置:开启索引后,日志服务默认为__tag__:__path__创建索引,索引数据类型为text类型,分词字符为空。查询时输入__tag__:__path__:XXX
  • 统计设置:默认没有为该列开启统计。如需开启统计,请手动添加__tag__:__path__的索引,并开启统计功能。
Logtail采集的日志文件路径,Logtail为日志自动填加该字段。可用于日志查询、分析、自定义消费。对该字段进行SQL分析时,需要给该字段加上双引号。
__tag__:__hostname__字符串格式。
  • 索引设置:开启索引后,日志服务默认为__tag__:__hostname__创建索引,索引数据类型为text类型,分词字符为空。查询时输入__tag__:__hostname__:XXX
  • 统计设置:默认没有为该列开启统计。如需开启统计,请手动添加__tag__:__hostname__的索引,并开启统计功能。
logtail采集数据的来源机器主机名。Logtail为日志自动填加该字段。可用于日志查询、分析、自定义消费。对该字段进行SQL分析时,需要给该字段加上双引号。
__raw_log__字符串格式。请手动添加并设置该字段的索引,索引数据类型为text,并根据需求选择是否开启统计。解析失败的原始日志。关闭丢弃解析失败日志功能后,Logtail在解析日志失败时上传原始日志。其中Key为__raw_log__、Value为日志内容。该字段可用于日志投递、查询、分析、自定义消费。更多信息,请参见丢弃解析失败日志
__raw__字符串格式。请手动添加并设置该字段的索引,索引数据类型为text,并根据需求选择是否开启统计。解析成功的原始日志。开启上传原始日志功能后,Logtail会将原始日志作为__raw__字段,和解析后的日志一并上传。该字段可用于审计、合规审查等场景。该字段可用于日志投递、查询、分析、自定义消费。更多信息,请参见上传原始日志