日志服务提供的服务日志功能可记录多种日志类型,本文介绍各种日志类型及不同日志类型的日志字段。

日志类型

开启服务日志功能时,您可以选择服务日志的类型,具体说明如下表所示。
注意 为保证您自定义查询语句的兼容性,建议您在查询语句中通过__topic__: XXX指定特定的日志类型。
日志类型 概述 Logstore名称 日志来源 说明
详细日志 包括Project内所有资源的创建、修改、更新、删除操作日志和数据读写日志。 internal-operation_log 操作日志 所有API请求和操作日志,包括控制台、消费组、SDK等所有客户端发送的请求。
重要日志 包括Logstore粒度的消费组消费延时日志、Logtail相关的错误、心跳和统计日志。 internal-diagnostic_log 消费组延迟日志 消费组的消费延时日志,2分钟上报一次。指定查询消费组延迟日志时,需要在查询语句中指定__topic__: consumergroup_log
Logtail告警日志 Logtail的错误日志。

每30秒记录一次,30秒内重复出现的错误类型只记录错误总和,错误Message随机选择一条。指定查询Logtail告警日志时,需要在查询语句中指定__topic__: logtail_alarm

Logtail采集日志 Logtail采集统计信息。

10分钟记录一次。查询Logtail采集日志时,需要在查询语句中指定__topic__: logtail_profile

Logtail状态日志

Logtail定时上报的状态日志。

每分钟记录一次。指定查询Logtail状态日志时,需要在查询语句中指定__topic__: logtail_status
作业运行日志 记录指定Project内Scheduled SQL、数据导入、数据投递等作业的运行日志与报错信息。 internal-diagnostic_log Scheduled SQL作业运行日志 一个Scheduled SQL实例对应一条Scheduled SQL日志,即一个Scheduled SQL实例运行结束后,上报一条日志。

查询Scheduled SQL运行日志时,需要在查询语句中指定__topic__: scheduled_sql_alert

数据导入、投递等作业的运行日志 每分钟上报一次日志。作业相关的数据源无数据时,不会上报。
查询作业运行日志时,需要在查询语句中指定__topic__: etl_metrics
说明 此类日志只针对新版数据导入作业和新版数据投递作业。

操作日志

根据Method字段,操作日志被分为读操作、写操作和资源操作三类日志,具体如下:
分类 请求方式
读操作 产生读操作日志的请求方式如下:
  • GetHistograms
  • GetLogs
  • PullLogs
  • GetCursor
  • GetCursorTime
写操作 产生写操作日志的请求方式如下:
  • PutLogs
  • PutWebtracking
资源操作 产生资源操作日志的请求方式如下:

CreateProject、DeleteProject等其他接口。

操作日志的公共字段

字段 说明 示例
APIVersion API版本。 0.6.0
AccessKeyId 访问日志服务时使用的访问密钥。 LTA****TRx
CallerType 访问用户的类型。 Subuser
InvokerUid 执行操作的阿里云账号ID。 175****532
Latency 请求延时,单位:微秒。 123279
LogStore 操作的Logstore名称。 logstore-1
Method 产生该日志的请求方式。 GetLogStoreLogs
NetOutFlow 读取的流量,单位:字节。 120
NetworkOut 通过公网入口读取的流量,单位:字节。 10
Project 操作的Project名称。 project-1
RequestId 请求ID。 8AEADC8B0AF2FA2592C9****
SourceIP 发送请求的客户端IP地址。 47.100.**.**
Status 请求响应的状态码。 200
UserAgent 客户端用户代理。 sls-java-sdk-v-0.6.1

读操作日志特有字段

字段 说明 示例
BeginTime 请求开始时间,格式为Unix时间戳。 1523868463
DataStatus 请求响应数据状态。包括Complete、OK、Unknown等。 OK
EndTime 请求结束时间,格式为Unix时间戳。 1523869363
Offset GetLogs请求偏移行数。 20
Query 原始查询语句。 UserAgent: [consumer-group-java]*
RequestLines 期望返回行数。 100
ResponseLines 返回行数。 100
Reverse 是否按照日志时间戳逆序返回日志。
  • 1:按照逆序返回。
  • 0:按照顺序返回。
0
TermUnit 查询语句经过分词处理后包含的单词个数。 0
Topic 日志主题。 topic-1

写操作日志特有字段

字段 说明 示例
InFlow 原始写入数据的字节数。 200
InputLines 请求写入的行数。 10
NetInflow 压缩后,写入数据的字节数。 100
Shard 写入的Shard ID。 1
Topic 日志主题。 topic-1

消费组延迟日志

字段 说明 示例
consumer_group 消费组名称。 consumer-group-1
fallbehind 当前消费位置距离最新写入日志的落后时间,单位:秒。 12345
logstore Logstore名称。 logstore-1
project Project名称。 project-1
shard 消费的Shard ID。 1

Logtail告警日志

字段 说明 示例
alarm_count 时间窗口内的告警次数。 10
alarm_message 触发告警的原始日志采样。 M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b
alarm_type 告警类型。 REGISTER_INOTIFY_FAIL_ALARM
logstore Logstore名称。 logstore-1
os 操作系统,如Linux或Windows等。 Linux
project Project名称。 project-1
source_ip Logtail所在机器的IP地址。 47.100.**.**
version Logtail版本号。 0.14.2

Logtail采集日志

Logtail采集日志可以根据file_name字段分为如下两类。
  • 针对单个文件的采集统计信息。
  • 针对Logstore的统计信息,即file_name字段值为logstore_statistics
字段说明如下所示:
字段 说明 示例
logstore Logstore名称。 logstore-1
config_name Logtail采集配置名称。由##配置版本号##projectName$配置名称组成,全局唯一。 ##1.0##project-1$logstore-1
error_line 引起错误的原始日志。 M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b
file_dev 日志文件的device ID。
说明file_namelogstore_statistics时,该字段无意义。
1​23
file_inode 日志文件的inode。
说明file_namelogstore_statistics时,该字段无意义。
124
file_name 日志文件的完整路径或者值为logstore_statistics /abc/file_1
file_size 日志文件大小,单位:字节。 12345
history_data_failures 历史处理失败次数。 0
last_read_time 时间窗口内最近的读取时间,Unix时间戳。 1525346677
project Project名称。 project-1
logtail_version Logtail版本。 0.14.2
os 操作系统。 Windows
parse_failures 时间窗口内日志解析失败的行数。 12
read_avg_delay 时间窗口内平均每次读取日志数据时,当前偏移量与文件大小差值的平均值。 65
read_count 时间窗口内日志读取次数。 10
read_offset 当前读取到文件偏移位置,单位:字节。 12345
regex_match_failures 正则表达式匹配失败次数。 1
send_failures 时间窗口内发送失败的次数。 12
source_ip Logtail所在机器的IP地址。 47.100.**.**
succeed_lines 处理成功的日志行数。 123
time_format_failures 日志时间匹配失败次数。 122
total_bytes 读取的总字节数。 12345
Logstore统计特有日志字段,只有file_name字段值为logstore_statistics时才存在,具体说明如下表所示。
字段 说明 示例
send_block_flag 时间窗口结束时发送队列是否阻塞。 false
send_discard_error 时间窗口内因数据异常或无权限导致丢弃数据包的个数。 0
send_network_error 时间窗口内因网络错误导致发送失败的数据包个数。 12
send_queue_size 时间窗口结束时当前发送队列中未发送数据包数。 3
send_quota_error 时间窗口内因Quota超限导致发送失败的数据包个数。 0
send_success_count 时间窗口内发送成功的数据包个数。 12345
sender_valid_flag 时间窗口结束时该Logstore的发送标志位是否正常。
  • true:正常。
  • false:可能因为网络错误或Quota错误而被禁用。
true
max_send_success_time 在时间窗口内最近一次发送数据成功的时间,为Unix时间戳。 1525342763
max_unsend_time 在时间窗口内,发送队列中最近一次数据包发送失败的时间。Unix时间戳,队列为空时该值为0。 1525342764
min_unsend_time 在时间窗口内,发送队列中第一次数据包发送失败的时间。Unix时间戳,队列为空时该值为0。 1525342764

Logtail状态日志

字段 说明 示例
cpu 进程CPU的负载。 ​0.001333156
hostname 主机名。 abc2.****
instance_id 实例ID,随机值。 ​05AFE618-0701-11E8-A95B-00163E025256_10.11.12.13_151745****
ip 主机的IP地址。 ​47.100.**.**
load 系统的平均负载。 ​0.01 0.04 0.05 2/376 5277
memory Logtail进程占用的内存大小,单位:MB。 12
detail_metric 各项计量值,JSON格式。更多信息,请参见detail_metric detail_metric
os 操作系统。 Linux​
os_cpu 系统整体的CPU使用率。 ​0.004120005
os_detail 操作系统详细信息。 ​2.6.32-220.23.8.tcp1.34.el6.x86_64
status 客户端状态。
  • ok
  • busy
  • many_log_files
  • process_block
  • send_block
  • send_error
更多信息,请参见Logtail运行状态
​busy
user 用户名。 ​root
user_defined_id 用户定义的ID。 ​aliyun-log-id
uuid 机器的UUID。 ​64F28D10-D100-492C-8FDC-0C62907F****
version Logtail版本号。 ​0.14.2
project Logtail采集配置所属的Project。 my-project
其中,detail_metric字段包含如下子字段。
字段 说明 示例
config_count Logtail采集配置的数量。 ​1
config_get_last_time 上一次获取Logtail采集配置的时间。 2021-07-20 16:19:22
config_update_count Logtail启动后,Logtail采集配置更新的次数。 ​1
config_update_item_count Logtail启动后,Logtail采集配置项更新的总和。 ​1
config_update_last_time Logtail启动后,Logtail采集配置最后一次更新的时间。 2021-07-20 16:18:42
env_config 是否使用环境变量创建Logtail采集配置。 false
event_tps 事件TPS。 1​
last_read_event_time 上一次获取事件的时间。 2021-07-20 16:18:42
last_send_time 上一次发送数据的时间。 2021-07-20 16:18:42
multi_config 是否开启多个Logtail采集配置采集相同的文件。 false
net_err_stat 最近1分钟、5分钟和15分钟内网络发生错误的次数。 0,0,0
open_fd 目前打开的文件数量。 ​1
plugin_enabled 是否使用了插件功能。
  • true:使用了插件功能。
  • false:未使用插件功能。
false
poll_modify_size 监听修改事件的文件数量。 ​1
polling_dir_cache 扫描的文件夹数量。 ​1
polling_file_cache 扫描的文件数量。 ​1
process_bytes_ps 每秒处理的日志量,单位:字节。 ​1000
process_lines_ps 每秒处理的日志条数。 ​1000
process_queue_full 达到最大长度限制的处理队列个数。 ​1
process_queue_total 处理队列数量。 ​10
process_tps 处理TPS。 ​0
reader_count 正在处理的文件数。 ​1
region Logtail所在的地域。 ​cn-hangzhou
register_handler 要监控的文件夹数量。 ​1
send_bytes_ps 每秒发送的原始日志量(字节)。 ​11111
send_lines_ps 每秒发送的日志条数。 1000​
send_net_bytes_ps 每秒发送的网络数据量(字节)。 1000​
send_queue_full 达到最大长度限制的发送队列个数。 ​1
send_queue_total 发送队列数量。 ​12
send_request_concurrency 发送并发上限数。 10
send_tps 发送TPS。 ​0.075
sender_invalid 异常的发送队列数。 ​0
start_time 启动时间。 2021-07-20 16:19:22
used_sending_concurrency 当前已使用的发送并发数。 0

Scheduled SQL作业运行日志

字段 说明 示例
__topic__ 日志主题,固定为scheduled_sql_alert。 scheduled_sql_alert。
project Scheduled SQL作业所在的Project。 my-project-name
job_name Scheduled SQL作业名称。 sql-16xxxxxxx-xxxxxx
schedule_id 作业ID。 77****ca
job_type Scheduled SQL作业类型,固定为ScheduledSQL。 ScheduledSQL
instance_id Scheduled SQL作业中实例的标识。 7e****dc
create_time 实例的创建时间,单位:秒。 1652343365
schedule_time 实例的调度时间,单位:秒。 1652343360
trigger_time 实例的触发时间,单位:秒。 1652343365
status 实例的执行结果,取值为FAILED、SUCCEEDED。 FAILED
error_code 实例执行失败时的错误原因。 SQLFailed
error_message 实例执行失败时的错误详情。 sql syntax error
fallbehind 实例的触发时间和调度时间的间隔,用于表示实例执行的延迟情况。单位:秒。 85
succeed_lines
  • 如果实例执行成功,该值代表写入行数。
  • 如果实例执行失败,该值为0。
100

数据导入、投递等作业的运行日志

字段 说明 示例
__topic__ 日志主题,固定为etl_metrics。 etl_metrics
metric_type 作业运行日志的类型标识,固定为ConnectorMetrics。 ConnectorMetrics
project 作业所属的Project。 my-sls-project
job_name 作业名称。 job-16****53
instance_id 作业运行的实例ID。 10e****b4f6
_etl_:connector_meta 数据源或者目标的任务元信息。更多信息,请参见_etl_:connector_meta
_etl_:connector_metrics 数据源或者目标的任务运行指标。更多信息,请参见_etl_:connector_metrics
_etl_:connector_meta字段包含如下子字段。
字段 说明 示例
action 任务的操作。
  • ingest: 从数据源读取数据
  • deliver:将数据写入到目标。
ingest
connector 数据源类型或者目标类型。
  • sls:日志服务
  • oss:对象存储
  • kafka:Kafka
  • maxcompute:MaxCompute
  • elasticsearch:Elasticsearch
  • cms:阿里云云监控服务
  • mysql:MySQL
  • mssql:SQL Server
  • cloudtrail:AWS CloudTrail
oss
instance 数据源实例名称或目标实例名称。 my-oss-bucket
task_id 任务ID。 1669277
task_name 任务名称。 1652765276578_task_0
task_type 任务类型,固定为CONNECTOR。 CONNECTOR
_etl_:connector_metrics字段包含如下子字段。
字段 说明 示例
state 任务运行状态。
  • 0:正常。
  • 1:报错,可能减缓运行进度。
  • 2:失败,完全阻塞运行。
0
error 任务运行的错误信息。

无错误信息时,日志中不存在该字段。

fail to pull logs, unauthorized
lags 任务运行进度。

只针对数据读取任务,即action字段值为ingest时,日志中存在lags字段。该字段值与数据源类型(connector字段)相关。

  • connector字段为sls时,lags字段值表示Shard消费延迟时间,单位:秒。
  • connector字段为kafka时,lags字段值表示Topic级别的消费Lag。
  • connector字段为cms时,lags字段值表示云监控读取的延迟时间,单位:秒。
0.813
desc 只针对数据读取任务,即action字段值为ingest时,日志中存在desc字段。该字段值与数据源类型(connector字段)相关。
  • connector字段为sls时,desc字段值为时间单位s。
  • connector字段为kafka时,desc字段值为lags描述信息。
  • connector字段为cms时,desc字段值为时间单位s。
s
events 时间范围内处理的数据条目数。 13245
failed 时间范围内处理失败的数据条目数。 3
native_bytes 时间范围内处理的数据的原始大小。 7539125
events_bytes 时间范围内处理的数据被解析后的大小。 13295475
pub_net_bytes 时间范围内处理的数据的公网流量。 45678
req_count 时间范围内数据源或者目标的请求次数。 89
req_count 时间范围内数据源或者目标的平均请求延迟。 38
rate_limit_hits 时间范围内数据源或者目标请求被限流次数。 1
extras 其他相关信息。当字段值存在时,日志中才会展示该字段。

该字段值与数据源类型(connector字段)相关。

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}