Simple Log Service：服務日誌類型

日誌類型

概述

LogStore名稱

日誌詳情

說明

詳細日誌

包括Project內所有資源的建立、修改、更新、刪除動作記錄和資料讀寫日誌。

internal-operation_log

詳細日誌

所有API請求和操作所涉及的詳細日誌，包括控制台、消費組、SDK等所有用戶端發送的請求。

重要日誌

包括LogStore粒度的消費組消費延時日誌、Logtail相關的錯誤、心跳和統計日誌。

internal-diagnostic_log

消費組延遲日誌

消費組的消費延時日誌，每2分鐘上報一次。指定查詢消費組延遲日誌時，需要在查詢語句中指定__topic__: consumergroup_log。

Logtail警示日誌

Logtail的錯誤記錄檔。

每30秒記錄一次，30秒內重複出現的錯誤類型只記錄錯誤總和，錯誤Message隨機播放一條。指定查詢Logtail警示日誌時，需要在查詢語句中指定__topic__: logtail_alarm。

Logtail採集日誌

Logtail採集統計資訊。

10分鐘記錄一次。查詢Logtail採集日誌時，需要在查詢語句中指定__topic__: logtail_profile。

Logtail狀態日誌

Logtail定時上報的狀態日誌。

每分鐘記錄一次。指定查詢Logtail狀態日誌時，需要在查詢語句中指定__topic__: logtail_status。

任務作業記錄

記錄指定Project內資料加工（新版）、定時SQL、資料匯入、資料投遞（新版）任務的運行指標和作業記錄。

internal-diagnostic_log

定時SQL任務作業記錄

一個定時SQL執行個體對應一條定時SQL日誌，即一個定時SQL執行個體運行結束後，上報一條日誌。

查詢定時SQL作業記錄時，需要在查詢語句中指定__topic__: scheduled_sql_alert。

資料加工（新版）、匯入和投遞（新版）任務作業記錄

每分鐘上報一次日誌。任務相關的資料來源無資料時，不會上報。

分類

請求方式

讀操作

產生讀動作記錄的請求方式如下：

• GetHistograms

• GetLogs

• PullLogs

• GetCursor

• GetCursorTime

寫操作

產生寫動作記錄的請求方式如下：

• PostLogStoreLogs

• PutWebTracking

• WebTrackingImg

• BatchPostLogStoreLogs

• WebTracking

• PutData

資源操作

產生資源動作記錄的請求方式如下：

CreateProject、DeleteProject等其他介面。

欄位

說明

樣本

LogStore

LogStore名稱。

LogStore-1

config_name

Logtail採集配置名稱。由##配置版本號碼##projectName$配置名稱組成，全域唯一。

##1.0##project-1$LogStore-1

error_line

引起錯誤的原始日誌。

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b

file_dev

記錄檔的device ID。

1​23

file_inode

記錄檔的inode。

124

file_name

記錄檔的完整路徑或者值為logstore_statistics。

/abc/file_1

file_size

記錄檔大小，單位：位元組。

12345

history_data_failures

歷史處理失敗次數。

0

last_read_time

時間視窗內最近的讀取時間，Unix時間戳記。

1525346677

project

Project名稱。

project-1

logtail_version

Logtail版本。

0.14.2

os

作業系統。

Windows

parse_failures

時間視窗內日誌解析失敗的行數。

12

read_avg_delay

時間視窗內平均每次讀取日誌資料時，當前位移量與檔案大小差值的平均值。

65

read_count

時間視窗內日誌讀取次數。

10

read_offset

當前讀取到檔案位移位置，單位：位元組。

12345

regex_match_failures

Regex匹配失敗次數。

1

send_failures

時間視窗內發送失敗的次數。

12

source_ip

Logtail所在機器的IP地址。

47.100.**.**

succeed_lines

處理成功的日誌行數。

123

time_format_failures

日誌時間匹配失敗次數。

122

total_bytes

讀取的總位元組數。

12345

欄位

說明

樣本

send_block_flag

時間視窗結束時發送隊列是否阻塞。

false

send_discard_error

時間視窗內因資料異常或無許可權導致丟棄資料包的個數。

0

send_network_error

時間視窗內因網路錯誤導致發送失敗的資料包個數。

12

send_queue_size

時間視窗結束時當前發送隊列中未發送資料包數。

3

send_quota_error

時間視窗內因Quota超限導致發送失敗的資料包個數。

0

send_success_count

時間視窗內發送成功的資料包個數。

12345

sender_valid_flag

時間視窗結束時該LogStore的發送標誌位是否正常。

• true：正常。

• false：可能因為網路錯誤或Quota錯誤而被禁用。

true

max_send_success_time

在時間視窗內最近一次發送資料成功的時間，為Unix時間戳記。

1525342763

max_unsend_time

在時間視窗內，發送隊列中最近一次資料包發送失敗的時間。Unix時間戳記，隊列為空白時該值為0。

1525342764

min_unsend_time

在時間視窗內，發送隊列中第一次資料包發送失敗的時間。Unix時間戳記，隊列為空白時該值為0。

1525342764

欄位

說明

樣本

config_count

Logtail採集配置的數量。

​1

config_get_last_time

上一次擷取Logtail採集配置的時間。

2021-07-20 16:19:22

config_update_count

Logtail啟動後，Logtail採集配置更新的次數。

​1

config_update_item_count

Logtail啟動後，Logtail採集配置項更新的總和。

​1

config_update_last_time

Logtail啟動後，Logtail採集配置最後一次更新的時間。

2021-07-20 16:18:42

env_config

是否使用環境變數建立Logtail採集配置。

false

event_tps

事件TPS。

1​

last_read_event_time

上一次擷取事件的時間。

2021-07-20 16:18:42

last_send_time

上一次發送資料的時間。

2021-07-20 16:18:42

multi_config

是否開啟多個Logtail採集配置採集相同的檔案。

false

net_err_stat

最近1分鐘、5分鐘和15分鐘內網路發生錯誤的次數。

0,0,0

open_fd

目前開啟的檔案數量。

​1

plugin_enabled

是否使用了外掛程式功能。

• true：使用了外掛程式功能。

• false：未使用外掛程式功能。

false

poll_modify_size

監聽修改事件的檔案數量。

​1

polling_dir_cache

掃描的檔案夾數量。

​1

polling_file_cache

掃描的檔案數量。

​1

process_bytes_ps

每秒處理的日誌量，單位：位元組。

​1000

process_lines_ps

每秒處理的日誌條數。

​1000

process_queue_full

達到最大長度限制的處理隊列個數。

​1

process_queue_total

處理隊列數量。

​10

process_tps

處理TPS。

​0

reader_count

正在處理的檔案數。

​1

region

Logtail所在的地區。

​cn-hangzhou

register_handler

要監控的檔案夾數量。

​1

send_bytes_ps

每秒發送的原始日誌量（位元組）。

​11111

send_lines_ps

每秒發送的日誌條數。

1000​

send_net_bytes_ps

每秒發送的網路資料量（位元組）。

1000​

send_queue_full

達到最大長度限制的發送隊列個數。

​1

send_queue_total

發送隊列數量。

​12

send_request_concurrency

發送並發上限數。

10

send_tps

發送TPS。

​0.075

sender_invalid

異常的發送隊列數。

​0

start_time

啟動時間。

2021-07-20 16:19:22

used_sending_concurrency

當前已使用的發送並發數。

0

欄位

說明

樣本

action

任務的操作。

• ingest： 從資料來源讀取資料

• deliver：將資料寫入到目標。

ingest

connector

資料來源類型或者目標類型。

• sls：阿里雲Log Service

• oss：阿里雲Object Storage Service

• maxcompute：阿里雲MaxCompute

• cms：阿里雲CloudMonitor服務

• cloudtrail：AWS CloudTrail

• kafka：Apache Kafka

• elasticsearch：Elasticsearch

• mysql：MySQL（開源、阿里雲等廠商）

• mssql：SQL Server（開源、阿里雲等廠商）

oss

instance

資料來源執行個體名稱或目標執行個體名稱。

my-oss-bucket

task_id

任務ID。

1669277

task_name

任務名稱。

1652765276578_task_0

task_type

任務類型，固定為CONNECTOR。

CONNECTOR

欄位

說明

樣本

state

任務運行狀態。

• 0：正常。

• 1：報錯，可能減緩運行進度。

• 2：失敗，完全阻塞運行。

0

error

任務啟動並執行錯誤資訊。

無錯誤資訊時，日誌中不存在該欄位。

fail to pull logs, unauthorized

lags

任務運行進度。

只針對資料讀取任務，即action欄位值為ingest時，日誌中存在lags欄位。該欄位值與資料來源類型（connector欄位）相關。

• 當connector欄位為sls時，lags欄位值表示Shard消費延遲時間，單位：秒。

• 當connector欄位為kafka時，lags欄位值表示Topic層級的消費Lag。

• 當connector欄位為cms時，lags欄位值表示CloudMonitor讀取的延遲時間，單位：秒。

0.813

desc

只針對資料讀取任務，即action欄位值為ingest時，日誌中存在desc欄位。該欄位值與資料來源類型（connector欄位）相關。

• 當connector欄位為sls時，desc欄位值為時間單位s。

• 當connector欄位為kafka時，desc欄位值為lags描述資訊。

• 當connector欄位為cms時，desc欄位值為時間單位s。

s

events

時間範圍內處理的資料條目數。

13245

failed

時間範圍內處理失敗的資料條目數。

3

native_bytes

時間範圍內處理的資料的原始大小。

7539125

events_bytes

時間範圍內處理的資料被解析後的大小。

13295475

pub_net_bytes

時間範圍內處理的資料的公網流量。

45678

req_count

時間範圍內資料來源或者目標的請求次數。

89

rep_time

時間範圍內資料來源或者目標的平均請求延遲。

38

rate_limit_hits

時間範圍內資料來源或者目標請求被限流次數。

1

extras

其他相關資訊。當欄位值存在時，日誌中才會展示該欄位。

該欄位值與資料來源類型（connector欄位）相關。

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}