Simple Log Service:ログの種類

ログタイプ

概要

LogStore

ログ詳細

説明

詳細ログ

プロジェクト内のリソースに対して行う操作 (作成、変更、削除、読み取り、書き込みなど) を記録します。

internal-operation_log

操作ログ

Simple Log Service コンソールで送信されたリクエストや、コンシューマーグループ、SDKを使用して送信されるリクエストなど、すべての API リクエストに関する詳細なログ。

重要ログ

Logstore ごとのコンシューマグループの消費遅延イベント、Logtail のエラー、ハートビート、統計に関するイベントを記録します。

internal-diagnostic_log

コンシューマーグループの消費遅延ログ

コンシューマーグループの消費遅延ログ。これらのログは 2 分ごどに生成されます。コンシューマーグループの消費遅延ログをクエリするには、クエリ文に __topic__: consumergroup_logを指定する必要があります。

Logtail アラートログ

Logtail のエラーを記録するアラートログ。

アラートログは 30 秒ごとに生成されます。同じエラーが 30 秒以内に複数回発生した場合、アラートログは 1 つだけ生成されます。アラートログには、エラーが発生した合計回数と 1 つのエラーメッセージが記録されます。Logtail アラートログをクエリするには、クエリ文に __topic__: logtail_alarmを指定する必要があります。

Logtail 収集ログ

Logtail 設定に関する統計を記録する収集ログ。

これらのログは 10 分ごとに生成されます。Logtail 収集ログをクエリするには、クエリ文に __topic__: logtail_profileを指定する必要があります。

Logtail ステータスログ

Logtail のステータスログ。Logtail は定期的にステータスを報告します。

これらのログは 1 分ごとに生成されます。Logtail ステータスログをクエリするには、クエリステートメントで __topic__: logtail_statusを指定する必要があります。

ジョブ実行ログ

指定したプロジェクトのデータ変換 (新バージョン) ジョブ、スケジュールされた SQL ジョブ、データインポートジョブ、およびデータ転送 (新バージョン) ジョブを実行するメトリクスと操作を記録します。

internal-diagnostic_log

スケジュールされた SQL ジョブ実行ログ

スケジュールされた SQL インスタンスと スケジュールされた SQLログは一対一の関係です。すなわち、1 つのスケジュールされた SQL インスタンスが実行中に停止すると、1 つのログが報告されます。

スケジュールされた SQL 実行ログをクエリする際、クエリ文に __topic__: scheduled_sql_alertを指定する必要があります。

データ変換 (新バージョン) ジョブ、データインポートジョブ、データ転送 (新バージョン) ジョブの操作ログ

これらのログは 1 分ごとに生成されます。ジョブ関連のデータソースにデータがない場合、ログは報告されません。

カテゴリ

リクエストメソッド

読み取り操作ログ

読み取り操作ログは、下記の API を呼び出すと生成されます。

• GetHistograms

• GetLogs

• PullLogs

• GetCursor

• GetCursorTime

書き込み操作ログ

書き込み操作ログは、下記の API を呼び出すと生成されます。

• PostLogStoreLogs

• PutWebTracking

• WebTrackingImg

• BatchPostLogStoreLogs

• WebTracking

• PutData

リソース操作ログ

リソース操作ログは、下記の API を呼び出すと生成されます。

CreateProject や DeleteProject などの API。

フィールド

説明

例

logstore

LogStore の名前。

logstore-1

config_name

Logtail 設定の名前。名前は、##Logtail 設定バージョン## プロジェクト名 $ 設定名の形式である必要があります。

##1.0##project-1$logstore-1

error_line

エラーの原因となった生ログ。

M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i-23xebl5ni.1569395.715455,901,00789b

file_dev

ログファイルのデバイス ID。

123

file_inode

ログファイルの inode。

124

file_name

ログファイルの完全パスまたはlogstore_statistics 。

/abc/file_1

file_size

ログファイルのサイズ。単位：バイト。

12345

history_data_failures

データ処理に失敗した回数。

0

last_read_time

指定された期間内の最後の読み取り日付と時刻。値は UNIX タイムスタンプです。

1525346677

project

プロジェクトの名前。

project-1

logtail_version

Logtail のバージョン。

0.14.2

os

オペレーティングシステム。

Windows

parse_failures

指定された期間内で解析に失敗した行数。

12

read_avg_delay

指定された期間内でログデータが読み取られるたびに生成されるオフセット値と実際のファイルサイズの差の平均値。

65

read_count

指定された期間内の読み取り回数。

10

read_offset

ログファイルの最後の読み取りオフセット。単位：バイト。

12345

regex_match_failures

正規表現の照合に失敗した回数。

1

send_failures

指定された期間内でログの送信に失敗した回数。

12

source_ip

Logtail がインストールされているサーバーの IP アドレス。

47.100.**.**

succeed_lines

処理された行数。

123

time_format_failures

ログ日付と時刻の照合に失敗した回数。

122

total_bytes

読み取られた合計データ量。単位：バイト。

12345

フィールド

説明

例

send_block_flag

指定されたウィンドウの終了時に送信キューがブロックされるかどうかを示します。

false

send_discard_error

指定された期間内で、データエラーまたは権限不足のために破棄されたパケットの数。

0

send_network_error

指定された期間内に、ネットワークエラーのために送信に失敗したパケットの数。

12

send_queue_size

指定されたタイムウィンドウの終了時に、現在の送信キュー内の未送信のパケット数。

3

send_quota_error

指定された期間内に、Logtail クォータが限度超過したために送信に失敗したパケットの数。

0

send_success_count

指定された期間内に送信されたパケットの数。

12345

sender_valid_flag

指定されたタイムウィンドウが終了したときに、現在の Logstore の送信フラグが有効かどうかを示します。 有効値：

• true：フラグは有効です。

• false：ネットワークエラーまたはクォータエラーのためにフラグが無効になっています。

true

max_send_success_time

指定された期間内でデータが最後に送信された日付と時刻。値は UNIX タイムスタンプです。

1525342763

max_unsend_time

指定された時間ウィンドウ内に送信キュー内のパケットの送信に失敗した最後の日付と時刻。 値は UNIX タイムスタンプです。送信キューが空の場合、値は 0 です。

1525342764

min_unsend_time

指定された期間内に、送信キュー内のパケットの送信に最初に失敗した日付と時刻。値は UNIX タイムスタンプです。送信キューが空の場合、値は 0 です。

1525342764

フィールド

説明

例

config_count

Logtail 設定の数。

1

config_get_last_time

Logtail 設定が最後に取得された日付と時刻。

2021-07-20 16:19:22

config_update_count

Logtail の起動後に Logtail 設定が更新された回数。

1

config_update_item_count

Logtail の起動後に各設定項目が更新された回数の合計。

1

config_update_last_time

Logtail の起動後に、 Logtail 設定が最後に更新された日付と時刻。

2021-07-20 16:18:42

env_config

環境変数を使用して Logtail 設定を作成するかどうかを示します。

false

event_tps

1秒あたりのトランザクション数 (TPS)。

1

last_read_event_time

データが最後に読み取られた日付と時刻。

2021-07-20 16:18:42

last_send_time

データが最後に送信された日付と時刻。

2021-07-20 16:18:42

multi_config

同じファイルからログを収集するために複数の Logtail 設定が有効になっているかどうかを示します。

false

net_err_stat

過去 1 分、5 分、15 分間にネットワーク送信エラーが発生した回数。

0,0,0

open_fd

開いているログファイルの数。

1

plugin_enabled

Logtail プラグインが有効になっているかどうかを示します。

• true：Logtail プラグインが有効になっています。

• false：Logtail プラグインが無効になっています。

false

poll_modify_size

監視によって発見された、変更が発生したログファイルの数

1

polling_dir_cache

スキャンされたディレクトリの数。

1

polling_file_cache

スキャンされたファイルの数。

1

process_bytes_ps

1 秒あたりに処理されるログデータのサイズ。 単位：バイト。

1000

process_lines_ps

1 秒あたりに処理されるログの数。

1000

process_queue_full

最大処理能力に達した処理キューの数。

1

process_queue_total

処理キューの総数。

10

process_tps

1 秒あたりのデータ処理トランザクションの数。

0

reader_count

処理中のログファイルの数。

1

region

Logtail が存在するリージョン。

cn-hangzhou

register_handler

監視対象のディレクトリの数。

1

send_bytes_ps

1 秒あたりに送信される生ログデータのサイズ。 単位：バイト。

11111

send_lines_ps

1 秒あたりに送信されるログの数。

1000

send_net_bytes_ps

1 秒あたりに送信されるネットワークデータの量。単位：バイト。

1000

send_queue_full

最大送信容量に達した送信キューの数。

1

send_queue_total

送信キューの総数。

12

send_request_concurrency

送信キューから同時に送信できるパケットの最大数。

10

send_tps

1 秒あたりのデータ送信トランザクション数。

0.075

sender_invalid

異常な送信キューの数。

0

start_time

開始日付と時刻

2021-07-20 16:19:22

used_sending_concurrency

同時に送信されるパケットの数。

0

フィールド

説明

例

Action

タスクによって実行される操作。有効値：

• ingest：データソースからデータを読み取ります。

• deliver：保存先にデータを書き込みます。

ingest

connector

データソースまたは保存先のタイプ。

• sls： Simple Log Service

• oss：Object Storage Service (OSS)

• maxcompute：MaxCompute

• cms：CloudMonitor

• cloudtrail： AWS CloudTrail

• kafka：Apache Kafka

• elasticsearch：Elasticsearch

• mysql：オープンソース、サードパーティ、またはAlibaba Cloud の MySQL

• mssql：オープンソース、サードパーティ、またはAlibaba Cloud の SQL Server

oss

instance

データソースインスタンスまたは保存先インスタンスの名前。

my-oss-bucket

task_id

タスクの ID。

1669277

task_name

タスクの名前。

1652765276578_task_0

task_type

タスクのタイプ。有効値：CONNECTOR。

CONNECTOR

フィールド

説明

例

state

タスクのステータス。

• 0：タスクが実行中です。

• 1：エラーが発生し、実行が遅くなる可能性があります。

• 2： タスクの実行が失敗し、進行がブロックされました。

0

error

タスクのエラーメッセージ。

エラーメッセージがない場合、このフィールドはログに表示されません。

fail to pull logs, unauthorized

lags

タスクの進行状況。

このフィールドは、データの読み取りタスクでのみ、利用できます。lagsフィールドは、actionフィールドの値が ingest の場合にのみ、ログに表示されます。このフィールドの値は、connectorフィールドで指定されるデータソースのタイプによって異なります。

• connectorフィールドの値が sls の場合、lagsフィールドの値はシャード の消費遅延を示します。単位：秒。

• connectorフィールドの値が kafka の場合、lagsフィールドの値は トピックごとの消費遅延を示します。

• connectorフィールドの値が cms の場合、lagsフィールドの値は CloudMonitor からのデータ読み取りの遅延を示します。単位：秒。

0.813

desc

このフィールドは、データの読み取りタスクでのみ利用できます。descフィールドは、actionフィールドの値が ingest の場合にのみログに表示されます。このフィールドの値は、connectorフィールドで指定されるデータソースのタイプによって異なります。

• connectorフィールドの値が sls の場合、descフィールドの値は s (時間単位) です。

• connectorフィールドの値が kafka の場合、descフィールドの値は lags の説明情報です。

• connectorフィールドの値が cms の場合、descフィールドの値は s (時間単位) です。

s

events

指定された期間内で処理されたデータエントリの数。

13245

failed

指定された期間内で処理に失敗したデータエントリの数。

3

native_bytes

指定された期間内で処理された生データのサイズ。

7539125

events_bytes

指定された期間内で処理された解析済みデータのサイズ。

13295475

pub_net_bytes

指定された期間内でインターネット経由で処理されたトラフィックの量。

45678

req_count

指定された期間内でデータソースまたは保存先に送信されたリクエストの数。

89

req_count

指定された期間内におけるデータソースまたは保存先の平均リクエストレイテンシ。

38

rate_limit_hits

データソースまたは保存先に送信されたリクエストが、指定された期間内でスロットリングにより制限された回数。

1

extras

その他の関連情報。このフィールドは、フィールドの値が存在する場合にのみログに表示されます。

このフィールドの値は、connector フィールドで指定されたデータソースのタイプによって異なります。

{"events":"898","objectName":"shenzhen/2022/05/18/15/19_1652858350000000000_315eb857efeb9f00.snappy","objectSize":"212792"}