Simple Log Service:サービスログのタイプ

ログタイプ

概要

Logstore

ログ詳細

説明

詳細ログ

プロジェクト内のリソースに対して実行された操作 (作成、変更、削除、読み取り、書き込み操作など) を記録します。

internal-operation_log

操作ログ

SLS コンソール、コンシューマーグループ、SDK を使用して送信されたリクエストを含む、すべての API リクエストの詳細ログです。

重要ログ

コンシューマーグループの消費遅延イベントと、Logstore ごとの Logtail のエラー、ハートビート、統計に関連するイベントを記録します。

internal-diagnostic_log

コンシューマーグループの消費遅延ログ

コンシューマーグループの消費遅延ログです。これらのログは 2 分間隔で生成されます。コンシューマーグループの消費遅延ログをクエリする場合は、クエリ文に __topic__: consumergroup_log を指定する必要があります。

Logtail アラートログ

Logtail のエラーを記録するアラートログです。

アラートログは 30 秒間隔で生成されます。同じエラーが 30 秒以内に複数回発生した場合、アラートログは 1 つだけ生成されます。アラートログには、エラーが発生した合計回数と 1 つのエラーメッセージが含まれます。Logtail アラートログをクエリする場合は、クエリ文に __topic__: logtail_alarm を指定する必要があります。

Logtail 収集ログ

Logtail 構成に関する統計を記録する収集ログです。

これらのログは 10 分間隔で生成されます。Logtail 収集ログをクエリする場合は、クエリ文に __topic__: logtail_profile を指定する必要があります。

Logtail ステータスログ

Logtail のステータスログです。Logtail は定期的にステータスをレポートします。

これらのログは 1 分間隔で生成されます。Logtail ステータスログをクエリする場合は、クエリ文に __topic__: logtail_status を指定する必要があります。

ジョブ操作ログ

指定されたプロジェクトのデータ変換 (新バージョン) ジョブ、Scheduled SQL ジョブ、データインポートジョブ、データシッピング (新バージョン) ジョブの実行メトリックと操作を記録します。

internal-diagnostic_log

Scheduled SQL ジョブの操作ログ

Scheduled SQL インスタンスは、Scheduled SQL ログに対応します。Scheduled SQL インスタンスの実行が停止すると、ログがレポートされます。

Scheduled SQL 操作ログをクエリする場合は、クエリ文に __topic__: scheduled_sql_alert を指定する必要があります。

データ変換 (新バージョン) ジョブ、データインポートジョブ、データシッピング (新バージョン) ジョブの操作ログ

これらのログは 1 分間隔で生成されます。ジョブ関連のデータソースにデータがない場合、ログはレポートされません。

カテゴリ

リクエストメソッド

読み取り操作ログ

読み取り操作ログは、次の API 操作を呼び出すときに生成されます。

• GetHistograms

• GetLogs

• PullLogs

• GetCursor

• GetCursorTime

書き込み操作ログ

書き込み操作ログは、次の API 操作を呼び出すときに生成されます。

• PostLogStoreLogs

• PutWebTracking

• WebTrackingImg

• BatchPostLogStoreLogs

• WebTracking

• PutData

リソース操作ログ

リソース操作ログは、次の API 操作を呼び出すときに生成されます。

CreateProject や DeleteProject などの API 操作

フィールド

説明

例

logstore

Logstore の名前です。

logstore-1

config_name

Logtail 構成の名前です。名前は次の形式である必要があります：##Logtail 構成バージョン##プロジェクト名$構成名。

##1.0##project-1$logstore-1

error_line

エラーの原因となった生ログです。

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b

file_dev

ログファイルのデバイス ID です。

123

file_inode

ログファイルの inode です。

124

file_name

ログファイルの完全なパス、または logstore_statistics の値です。

/abc/file_1

file_size

ログファイルのサイズです。単位：バイト。

12345

history_data_failures

データ処理に失敗した回数です。

0

last_read_time

指定されたタイムウィンドウでの最終読み取り時刻です。値は UNIX タイムスタンプです。

1525346677

project

プロジェクトの名前です。

project-1

logtail_version

Logtail のバージョンです。

0.14.2

os

オペレーティングシステムです。

Windows

parse_failures

指定されたタイムウィンドウで解析に失敗した行数です。

12

read_avg_delay

指定されたタイムウィンドウでログデータが読み取られるたびに生成される、実際のファイルサイズとオフセット値の差の平均です。

65

read_count

指定されたタイムウィンドウでの読み取り回数です。

10

read_offset

ログファイルの最終読み取りオフセットです。単位：バイト。

12345

regex_match_failures

正規表現のマッチングに失敗した回数です。

1

send_failures

指定されたタイムウィンドウでログの送信に失敗した回数です。

12

source_ip

Logtail がインストールされているサーバーの IP アドレスです。

47.100.**.**

succeed_lines

処理された行数です。

123

time_format_failures

ログ時刻のマッチングに失敗した回数です。

122

total_bytes

読み取られたデータの合計サイズです。単位：バイト。

12345

フィールド

説明

例

send_block_flag

指定されたタイムウィンドウが終了したときに送信キューがブロックされているかどうかを示します。

false

send_discard_error

指定されたタイムウィンドウでデータエラーまたは権限不足のために破棄されたパケットの数です。

0

send_network_error

指定されたタイムウィンドウでネットワークエラーのために送信に失敗したパケットの数です。

12

send_queue_size

指定されたタイムウィンドウが終了したときに現在の送信キューにある未送信パケットの数です。

3

send_quota_error

指定されたタイムウィンドウで Logtail クォータを超えたために送信に失敗したパケットの数です。

0

send_success_count

指定されたタイムウィンドウで送信されたパケットの数です。

12345

sender_valid_flag

指定されたタイムウィンドウが終了したときに現在の Logstore の送信フラグが有効かどうかを示します。有効値：

• true：フラグは有効です。

• false：フラグはネットワークまたはクォータエラーのために無効になっています。

true

max_send_success_time

指定されたタイムウィンドウでデータが最後に送信された時刻です。値は UNIX タイムスタンプです。

1525342763

max_unsend_time

指定されたタイムウィンドウで送信キューのパケットが最後に送信に失敗した時刻です。値は UNIX タイムスタンプです。送信キューが空の場合、値は 0 です。

1525342764

min_unsend_time

指定されたタイムウィンドウで送信キューのパケットが最初に送信に失敗した時刻です。値は UNIX タイムスタンプです。送信キューが空の場合、値は 0 です。

1525342764

フィールド

説明

例

config_count

Logtail 構成の数です。

1

config_get_last_time

Logtail 構成が最後に取得された時刻です。

2021-07-20 16:19:22

config_update_count

Logtail の起動後に Logtail 構成が更新された回数です。

1

config_update_item_count

Logtail の起動後に更新された設定項目の合計数です。

1

config_update_last_time

Logtail の起動後に Logtail 構成が最後に更新された時刻です。

2021-07-20 16:18:42

env_config

環境変数を使用して Logtail 構成を作成するかどうかを示します。

false

event_tps

トランザクション/秒 (TPS) です。

1

last_read_event_time

データが最後に読み取られた時刻です。

2021-07-20 16:18:42

last_send_time

データが最後に送信された時刻です。

2021-07-20 16:18:42

multi_config

同じファイルからログを収集するために複数の Logtail 構成が有効になっているかどうかを示します。

false

net_err_stat

過去 1、5、15 分間に発生したネットワーク送信エラーの回数です。

0,0,0

open_fd

開いているログファイルの数です。

1

plugin_enabled

Logtail プラグインが有効かどうかを示します。

• true：Logtail プラグインは有効です。

• false：Logtail プラグインは無効です。

false

poll_modify_size

変更された監視対象ログファイルの数です。

1

polling_dir_cache

スキャンされたディレクトリの数です。

1

polling_file_cache

スキャンされたファイルの数です。

1

process_bytes_ps

1 秒あたりに処理されるログデータのサイズです。単位：バイト。

1000

process_lines_ps

1 秒あたりに処理されるログの数です。

1000

process_queue_full

最大処理能力に達した処理キューの数です。

1

process_queue_total

処理キューの合計数です。

10

process_tps

1 秒あたりのデータ処理トランザクション数です。

0

reader_count

処理中のログファイルの数です。

1

region

Logtail が存在するリージョンです。

cn-hangzhou

register_handler

監視対象のディレクトリ数です。

1

send_bytes_ps

1 秒あたりに送信される生ログデータのサイズです。単位：バイト。

11111

send_lines_ps

1 秒あたりに送信されるログの数です。

1000

send_net_bytes_ps

1 秒あたりに送信されるネットワークデータの量です。単位：バイト。

1000

send_queue_full

最大送信能力に達した送信キューの数です。

1

send_queue_total

送信キューの合計数です。

12

send_request_concurrency

送信キューから同時に送信できるパケットの最大数です。

10

send_tps

1 秒あたりのデータ送信トランザクション数です。

0.075

sender_invalid

異常な送信キューの数です。

0

start_time

開始時刻です。

2021-07-20 16:19:22

used_sending_concurrency

同時に送信されるパケットの数です。

0

フィールド

説明

例

action

タスクによって実行される操作です。有効値：

• ingest：データソースからデータを読み取ります。

• deliverer：宛先にデータを書き込みます。

ingest

connector

データソースまたは宛先のタイプです。

• sls：Simple Log Service

• oss：Object Storage Service (OSS)

• maxcompute：MaxCompute

• cms：CloudMonitor

• cloudtrail：AWS CloudTrail

• kafka：Apache Kafka

• elasticsearch：Elasticsearch

• mysql：オープンソース、サードパーティ、または Alibaba Cloud MySQL

• mssql：オープンソース、サードパーティ、または Alibaba Cloud SQL Server

oss

instance

データソースインスタンスまたは宛先インスタンスの名前です。

my-oss-bucket

task_id

タスクの ID です。

1669277

task_name

タスクの名前です。

1652765276578_task_0

task_type

タスクのタイプです。有効値：CONNECTOR。

CONNECTOR

フィールド

説明

例

state

タスクのステータスです。

• 0：タスクは実行中です。

• 1：エラーが報告されました。実行の進行が遅くなる可能性があります。

• 2：タスクは失敗し、実行の進行はブロックされています。

0

error

タスクのエラーメッセージです。

エラーメッセージが存在しない場合、このフィールドはログに表示されません。

fail to pull logs, unauthorized

lags

タスクの進行状況です。

このフィールドは、データを読み取るために使用されるタスクでのみ使用できます。lags フィールドは、action フィールドの値が ingest の場合にのみログに表示されます。このフィールドの値は、connector フィールドで指定されたデータソースのタイプによって異なります。

• connector フィールドの値が sls の場合、lags フィールドの値はシャードごとの消費遅延を示します。単位：秒。

• connector フィールドの値が kafka の場合、lags フィールドの値は Topic ごとの消費ラグを示します。

• connector フィールドの値が cms の場合、lags フィールドの値は CloudMonitor からのデータ読み取りの遅延を示します。単位：秒。

0.813

desc

このフィールドは、データを読み取るために使用されるタスクでのみ使用できます。desc フィールドは、action フィールドの値が ingest の場合にのみログに表示されます。このフィールドの値は、connector フィールドで指定されたデータソースのタイプによって異なります。

• connector フィールドの値が sls の場合、desc フィールドの値は s (時間単位) です。

• connector フィールドの値が kafka の場合、desc フィールドはラグの説明です。

• connector フィールドの値が cms の場合、desc フィールドは s (時間単位) です。

s

events

指定された時間範囲内に処理されたデータエントリの数です。

13245

failed

指定された時間範囲内に処理に失敗したデータエントリの数です。

3

native_bytes

指定された時間範囲内に処理された生データのサイズです。

7539125

events_bytes

指定された時間範囲内に処理された解析済みデータのサイズです。

13295475

pub_net_bytes

指定された時間範囲内にインターネット経由で処理されたトラフィックの量です。

45678

req_count

指定された時間範囲内にデータソースまたは宛先に送信されたリクエストの数です。

89

rep_time

指定された時間範囲内のデータソースまたは宛先の平均リクエストレイテンシです。

38

rate_limit_hits

指定された時間範囲内にデータソースまたは宛先に送信されたリクエストがスロットルされた回数です。

1

extras

その他の関連情報です。このフィールドは、フィールドの値が存在する場合にのみログに表示されます。

このフィールドの値は、connector フィールドで指定されたデータソースのタイプによって異なります。

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}