Simple Log Service:サービスログタイプ

タイプ

概要

Logstore 名

詳細

説明

詳細ログ

プロジェクト内のすべてのリソースに対して実行された操作 (作成、変更、更新、削除、読み取り、書き込み操作など) を記録します。

internal-operation_log

操作ログ

コンソール、コンシューマーグループ、SDK などのクライアントからのリクエストを含む、すべての API リクエストと操作の詳細な操作ログです。

重要ログ

Logstore レベルのコンシューマーグループ遅延ログ、および Logtail のエラー、ハートビート、統計ログが含まれます。

internal-diagnostic_log

コンシューマーグループ遅延ログ

コンシューマーグループ遅延ログは 2 分ごとに生成されます。コンシューマーグループ遅延ログをクエリするには、クエリ文で __topic__: consumergroup_log を指定します。

Logtail アラートログ

Logtail のエラーを記録します。

ログは 30 秒ごとに生成されます。この期間内に同じタイプのエラーが複数回発生した場合、システムは発生総数とランダムなエラーメッセージを 1 つだけ記録します。Logtail アラートログをクエリするには、クエリ文で __topic__: logtail_alarm を指定します。

Logtail 収集ログ

Logtail の収集統計を記録します。

ログは 10 分ごとに生成されます。Logtail 収集ログをクエリするには、クエリ文で __topic__: logtail_profile を指定します。

Logtail ステータスログ

Logtail からの定期的なステータスログを記録します。

ログは 1 分ごとに生成されます。Logtail ステータスログをクエリするには、クエリ文で __topic__: logtail_status を指定します。

運用ログ

プロジェクト内のデータ変換、Scheduled SQL、データインポート、データ転送ジョブの運用メトリックと運用ログを記録します。

internal-diagnostic_log

Scheduled SQL 運用ログ

各 Scheduled SQL インスタンスが完了した後にログが生成されます。

Scheduled SQL 運用ログをクエリするには、クエリ文で __topic__: scheduled_sql_alert を指定します。

データ変換、データインポート、データ転送ジョブの運用ログ

ログは 1 分ごとに生成されますが、ジョブのデータソースにデータが含まれている場合に限ります。

カテゴリ

リクエストメソッド

読み取り操作

読み取り操作ログは、次の API オペレーションを呼び出すときに生成されます。

• GetHistograms

• GetLogs

• PullLogs

• GetCursor

• GetCursorTime

書き込み操作

書き込み操作ログは、次の API オペレーションを呼び出すときに生成されます。

• PostLogStoreLogs

• PutWebTracking

• WebTrackingImg

• BatchPostLogStoreLogs

• WebTracking

• PutData

リソース操作

他のすべての API オペレーションは、リソース操作ログを生成します。

例：`CreateProject` と `DeleteProject`。

パラメーター

説明

例

Logstore

Logstore の名前です。

Logstore-1

config_name

Logtail 構成の名前です。名前はグローバルに一意で、##ConfigVersion##ProjectName$ConfigName の形式です。

##1.0##project-1$LogStore-1

error_line

エラーの原因となった生ログエントリです。

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b

file_dev

ログファイルのデバイス ID です。

1​23

file_inode

ログファイルの inode です。

124

file_name

ログファイルの完全なパス、または値 logstore_statistics。

/abc/file_1

file_size

ログファイルのサイズです (単位：バイト)。

12345

history_data_failures

データ処理の累積失敗回数です。

0

last_read_time

タイムウィンドウ内の最新の読み取り操作の UNIX タイムスタンプです。

1525346677

Project

プロジェクト名。

project-1

logtail_version

Logtail のバージョンです。

0.14.2

os

オペレーティングシステムです。

Windows

parse_failures

タイムウィンドウ内で解析に失敗した行数です。

12

read_avg_delay

タイムウィンドウ内の各読み取り操作における、ファイルサイズと読み取りオフセットの平均差です。

65

read_count

タイムウィンドウ内での読み取り操作の回数です。

10

read_offset

ファイル内での現在の読み取りオフセットをバイト単位で示します。

12345

regex_match_failures

正規表現マッチングの失敗数。

1

send_failures

タイムウィンドウ内での送信失敗回数。

12

source_ip

Logtail がインストールされているサーバーの IP アドレス。

47.100..

succeed_lines

正常に処理されたログ行の数です。

123

time_format_failures

時間フォーマットのマッチングに失敗した回数です。

122

total_bytes

読み取られたバイトの総数。

12345

パラメーター

説明

例

send_block_flag

タイムウィンドウの終わりに送信キューがブロックされているかどうかを示します。

false

send_discard_error

データエラーまたは権限不足のためにタイムウィンドウ内で破棄されたパケット数です。

0

send_network_error

ネットワークエラーのためにタイムウィンドウ内で送信に失敗したパケット数です。

12

send_queue_size

タイムウィンドウの終わりに送信キューにある未送信パケットの数です。

3

send_quota_error

クォータを超過したため、タイムウィンドウ内に送信できなかったパケット数。

0

send_success_count

タイムウィンドウ内で正常に送信されたパケット数です。

12345

sender_valid_flag

タイムウィンドウの終了時点において、Logstore の送信フラグが有効であるかどうかを示します。有効な値：

• true：フラグは有効です。

• false：フラグは無効です。ネットワークエラーまたはクォータエラーが原因である可能性があります。

true

max_send_success_time

タイムウィンドウ内の最新の正常な送信操作の UNIX タイムスタンプです。

1525342763

max_unsend_time

タイムウィンドウ内で、送信キューからの送信に失敗した最新パケットの UNIX タイムスタンプです。キューが空の場合、値は 0 になります。

1525342764

min_unsend_time

タイムウィンドウ内で送信キューからの送信に失敗した、最も古いパケットの UNIX タイムスタンプです。キューが空の場合、値は 0 になります。

1525342764

パラメーター

説明

例

config_count

Logtail 構成の数です。

​1

config_get_last_time

Logtail 構成が最後に取得された時刻です。

2021-07-20 16:19:22

config_update_count

Logtail の起動以降の Logtail 構成の更新回数です。

​1

config_update_item_count

Logtail の起動以降に更新された Logtail 構成項目の総数です。

​1

config_update_last_time

最後の Logtail 構成更新のタイムスタンプです。

2021-07-20 16:18:42

env_config

環境変数を使用して Logtail 構成を作成するかどうかを示します。

false

event_tps

1 秒あたりのイベント数 (TPS) です。

1​

last_read_event_time

最後に読み取られたイベントのタイムスタンプです。

2021-07-20 16:18:42

last_send_time

データが最後に送信されたときのタイムスタンプです。

2021-07-20 16:18:42

multi_config

同じファイルが複数の Logtail 構成によって収集されているかどうかを示します。

false

net_err_stat

過去 1、5、15 分間に発生したネットワークエラーの数です。

0,0,0

open_fd

現在開いているファイルディスクリプタの数です。

​1

plugin_enabled

プラグイン機能が有効かどうかを示します。

• true：プラグイン機能は有効です。

• false：プラグイン機能は無効です。

false

poll_modify_size

変更イベントを監視しているファイルの数です。

​1

polling_dir_cache

ポーリングキャッシュ内のディレクトリ数です。

​1

polling_file_cache

ポーリングキャッシュ内のファイル数です。

​1

process_bytes_ps

1 秒あたりに処理されるログの量 (バイト単位) です。

​1000

process_lines_ps

1 秒あたりに処理されるログ行の数です。

​1000

process_queue_full

フル処理キューの数

​1

process_queue_total

処理キューの数です。

​10

process_tps

1 秒あたりの処理トランザクション数 (TPS) です。

​0

reader_count

現在読み取られているファイルの数です。

​1

region

ホストマシンが配置されているリージョンです。

​cn-hangzhou

register_handler

モニタリングのために登録されたディレクトリの数です。

​1

send_bytes_ps

1 秒あたりに送信される生ログの量 (バイト単位) です。

​11111

send_lines_ps

1 秒あたりに送信されるログ行の数です。

1000​

send_net_bytes_ps

1 秒あたりに送信されるネットワークトラフィックの量 (バイト単位) です。

1000

send_queue_full

満杯の送信キューの数です。

​1

send_queue_total

送信キューの数です。

​12

send_request_concurrency

同時送信リクエストの最大数です。

10

send_tps

1 秒あたりの送信トランザクション数 (TPS) です。

​0.075

sender_invalid

エラーステータスの送信キューの数です。

​0

start_time

Logtail プロセスの起動時刻です。

2021-07-20 16:19:22

used_sending_concurrency

現在のアクティブな送信リクエストの数です。

0

パラメーター

説明

例

action

ジョブが実行する操作です。有効な値：

• ingest：データソースからデータを読み取ります。

• deliver：送信先にデータを書き込みます。

ingest

connector

データソースまたは送信先のタイプです。

• sls：Simple Log Service

• oss：Object Storage Service (OSS)

• maxcompute：MaxCompute

• cms：CloudMonitor

• cloudtrail：AWS CloudTrail

• kafka：Apache Kafka

• elasticsearch：Elasticsearch

• mysql：MySQL (オープンソース、Alibaba Cloud、またはサードパーティ製)

• mssql：SQL Server (オープンソース、Alibaba Cloud、またはサードパーティ製)

oss

instance

ソースまたは送信先インスタンスの名前です。

my-oss-bucket

task_id

タスク ID です。

1669277

task_name

タスク名です。

1652765276578_task_0

task_type

タスクのタイプです。値は常に `CONNECTOR` です。

CONNECTOR

パラメーター

説明

例

state

ジョブの運用ステータスです。

• 0：正常。ジョブは期待どおりに実行されています。

• 1：エラー。ジョブの速度を低下させる可能性のあるエラーが発生しました。

• 2：失敗。ジョブは失敗し、ブロックされています。

0

error

ジョブのエラーメッセージです。

このフィールドは、エラーが発生した場合にのみ存在します。

fail to pull logs, unauthorized

lags

ジョブの進行状況です。

lags フィールドは、データ読み取りジョブのログにのみ存在します。つまり、action フィールドの値が ingest の場合です。このフィールドの値は、データソースタイプ (connector フィールド) に関連しています。

• connector フィールドが sls の場合、lags フィールドはシャードの消費遅延を秒単位で示します。

• connector フィールドが `kafka` の場合、lags フィールドの値はトピックレベルの消費遅延を示します。

• connector フィールドが cms の場合、lags フィールドは CloudMonitor の読み取りレイテンシーを秒単位で指定します。

0.813

desc

データ読み取りジョブの場合、つまり action フィールドが ingest に設定されている場合、desc フィールドがログに存在します。このフィールドの値は、データソースタイプ (connector フィールド) に関連しています。

• connector フィールドが `sls` の場合、desc フィールドの値は秒 (s) です。

• connector フィールドが Kafka の場合、desc フィールドの値は遅延の説明です。

• connector フィールドが cms の場合、desc フィールドの値は秒単位です。

s

events

レポート間隔で処理されたデータエントリの数です。

13245

failed

レポート間隔で処理に失敗したデータエントリの数です。

3

native_bytes

レポート間隔で処理された生データのサイズ (バイト単位) です。

7539125

events_bytes

レポート間隔で処理された解析済みデータのサイズ (バイト単位) です。

13295475

pub_net_bytes

レポート間隔で処理されたデータによって生成されたインターネットトラフィック (バイト単位) です。

45678

req_count

レポート間隔でデータソースまたは送信先に送信されたリクエストの数です。

89

rep_time

レポート間隔におけるデータソースまたは送信先の平均リクエストレイテンシーです。

38

rate_limit_hits

レポート間隔におけるデータソースまたは送信先でのレート制限ヒット数です。

1

extras

追加情報。このフィールドは、値が存在する場合にのみ含まれます。

このフィールドの値は、データソースタイプ (connector フィールド) に依存します。

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}