サービスログ機能は複数のログタイプを記録します。 本ドキュメントでは、各タイプのログで使用されるフィールドについて詳しく説明します。

ログのタイプ

サービスログ機能を有効にすると、次のログタイプのいずれかを選択できます。
  • 操作ログ:作成、変更、削除、更新、書き込み、および読み取り操作を含む、プロジェクト内のリソースに対するすべての操作を記録します。 これらのログは、対象プロジェクト の internal-operation_log ログストアに格納されています。
  • その他のログ:ログ記録の粒度でメータリングログを含めます。これは、消費グループ遅延ログ、Logtailエラー情報、ハートビート情報、および統計ログです。 これらのログは、対象プロジェクト の internal-diagnostic_log ログストアに格納されています。
ログのタイプ ログストア ログソース 説明
操作ログ internal-operation_log ユーザーの操作ログ コンソール、コンシューマーグループ、SDK、およびクライアントから送信されたリクエストを含む、すべての API リクエストと操作ログ。
その他のログ internal-diagnostic_log コンシューマーグループのスナップショットログ 2 分ごとに報告されるコンシューマーグループの消費遅延ログ。 特定のコンシューマーグループのスナップショットログをクエリするには、クエリステートメントで __topic__: consumergroup_log を指定する必要があります。
Logtail アラームログ Logtail エラーログは 30 秒ごとに記録されます。 30 秒以内に発生する同一タイプのエラーは、エラーの総数を累積するだけで、送信されるエラーメッセージはそのうちからランダムに選択された 1 件だけです。 特定のアラームログをクエリするには、クエリステートメントで __topic__: logtail_alarm を指定する必要があります。
Logtail 収集ログ 10 分ごとに記録される Logtail 収集ログ。 特定の Logtail 収集ログをクエリするには、クエリステートメントで __topic__: logtail_profile を指定する必要があります。
メータリングログ 1 時間ごとに収集されるユーザーメータリングログ。 ログには、ログストアの粒度でのストレージスペースに関する情報、読み取りと書き込みのトラフィック、インデックスのトラフィック、およびリクエスト数が含まれます。 特定のメータリングログをクエリするには、クエリステートメントで __topic__: metering を指定する必要があります。
Logtail ステータスログ Logtail によって定期的に報告されるステータスログ。 ログは毎分記録されます。 特定の Logtail ステータスログをクエリするには、クエリステートメントで __topic__: logtail_status を指定する必要があります。

ユーザー操作ログ

操作ログには、 メソッド フィールドに従って、データの読み書き操作およびさまざまなリソースに対するその他の操作が含まれます。
データ型 メソッド
データ読み取り操作 以下の API を呼び出します。
  • GetLogStoreHistogram
  • GetLogStoreLogs
  • PullData
  • GetCursor
  • GetCursorTime
データ書き込み操作 以下の API を呼び出します。
  • PostLogStoreLogs
  • WebTracking
リソースに対するその他の操作 CreateProject および DeleteProject API を呼び出します。

共通フィールド

次の表は、さまざまな操作で使用できる一般的なフィールドの一覧です。
フィールド フィールドの説明 例:
APIVersion API のバージョン 0.6.0
InvokerUid 操作を実行したユーザーのアカウント ID 1759218115323050
NetworkOut インバウンドインターネット読み取りトラフィック(バイト) 10
Latency マイクロ秒単位のリクエスト遅延 123279
LogStore ログストアの名前 logstore-1
Method 使用されている方法 GetLogStoreLogs
Project プロジェクトの名前 project-1
NetOutFlow バイト単位の読み取りトラフィック 120
RequestId リクエストの ID 8AEADC8B0AF2FA2592C9509E
SourceIP リクエストを送信するクライアントの IP アドレス 1.2.3.4
Status 応答ステータスコード 200
UserAgent クライアント上のユーザーエージェント sls-java-sdk-v-0.6.1

データ読込項目

下表は、読み取りリクエスト固有のフィールドの一覧です。
フィールド フィールドの説明 例:
BeginTime Unix タイムスタンプでのリクエスト開始時刻 1523868463
DataStatus CompleteOKUnknown などの応答ステータス。 OK
EndTime Unix タイムスタンプでのリクエスト終了時刻 1523869363
Offset GetLog リクエストのオフセット 20
Query オリジナルクエリステートメント UserAgent: [consumer-group-java]*
RequestLines 返される行数 100
ResponseLines クエリ結果の行数 100
Reverse ログをタイムスタンプの逆順で返すかどうかを示します。そのうち:
  • 1 は逆の順序を示します。
  • 0 は通常の順序を示します。
デフォルト値は 0 です。
0
TermUnit 検索ステートメントに含まれる単語数 0
Topic 読み取ったトピックの名前 topic-1

データ書き込みフィールド

以下の表は、書き込みリクエスト固有のフィールドを示します。
フィールド フィールドの説明 例:
InFlow 書き込みの元のバイト数 200
InputLines リクエストされた書き込み行数 10
NetInflow 圧縮後の書き込みバイト数 100
Shard データが書き込まれるシャードの ID 1
Topic データが書き込まれるトピックの名前 topic-1

コンシューマーグループのスナップショットログ

フィールド 説明 例:
consumer_group コンシューマーグループの名前 consumer-group-1
fallbehind 現在の消費ポイントから最新の書き込みログまでの期間(秒) 12345
logstore ログストアの名前 logstore-1
project プロジェクトの名前 project-1
shard シャードの ID 1

Logtail アラームログ

フィールド 説明 例:
alarm_count サンプリングウィンドウ内のアラーム数 10
alarm_message アラームをトリガーしたオリジナルログのサンプル M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i- 23xebl5ni.1569395.715455,901,00789b
alarm_type アラームのタイプ REGISTER_INOTIFY_FAIL_ALARM
logstore ログストアの名前 logstore-1
source_ip Logtail が実行されているサーバーの IP アドレス 1.2.3.4
os Linux や Windows などのオペレーティングシステム Linux
project プロジェクトの名前 project-1
version Logtail のバージョン 0.14.2

Logtail 収集ログ

file_name フィールドに基づいて、Logtail 収集ログは、単一ファイル統計とログストアレベルログの 2 種類に分類できます。 2 番目のタイプの場合、 file_name 内の logstore_statistics は、ログがログストア全体の統計を収集することを示します。 このログタイプでは、 file_devfile_inode などのファイル関連フィールドは無視できます。 以下の表は、Logtail 収集ログで使用されるフィールドをリストしています。
フィールド 説明 例:
logstore ログストアの名前 logstore-1
config_name 一意な Logtail Config の名前。## Config version##Project name$Config nameで構成されています。 ##1.0##project-1$logstore-1
error_line エラーの原因となった生ログ M_INFO_COL,all_status_monitor,T22380,0,2018-04-17 10:48:25.0,AY66K,AM5,2018-04-17 10:48:25.0,2018-04-17 10:48:30.561,i- 23xebl5ni.1569395.715455,901,00789b
file_dev ログファイルのデバイス ID 123
file_inode ログファイルの inode 124
file_name ログファイルのストレージパスまたは logstore_statistics /abc/file_1
file_size ログファイルのサイズ(バイト) 12345
history_data_failures 履歴プロセスの失敗数 0
last_read_time ウィンドウ内の最新の読み取り時間(Unixタイムスタンプ) 1525346677
project プロジェクトの名前 project-1
logtail_version Logtail のバージョン 0.14.2
os OS Windows
parse_failures 現行ウィンドウのログで解析に失敗した行数 12
read_avg_delay 読み取りごとのオフセットと現行ウィンドウのファイルサイズの差の平均値 65
read_count 現行ウィンドウでのログ読み取り数 10
read_offset 現在読み込まれているファイルのオフセット(バイト) 12345
regex_match_failures 正規表現マッチングの失敗数 1
send_failures 現行ウィンドウでのリクエスト送信失敗の数 12
source_ip Logtail が実行されているサーバーの IP アドレス 1.2.3.4
succeed_lines 正常に処理されたログの行数 123
time_format_failures ログ時間マッチングの失敗数 122
total_bytes 読み取りの合計数(バイト数) 12345
次の表に、 file_namelogstore_statistics の場合にのみ有効なフィールドをリストします。
フィールド 説明 例:
send_block_flag 送信キューがウィンドウの最後でブロックされているかどうかを示します。 false
send_discard_error 現行ウィンドウでデータ例外または許可を得られなかったために破棄されたデータパケットの数 0
send_network_error 現行ウィンドウのネットワークエラーのために送信されなかったデータパケットの数 12
send_queue_size ウィンドウが終了したときの現在の送信キュー内の未送信データパケットの数。 3
send_quota_error 現行ウィンドウのクォータ不足のために送信されなかったデータパケットの数 0
send_success_count 現行ウィンドウで正常に送信されたデータパケットの数 12345
sender_valid_flag 現行ログストアの送信フラグがウィンドウ終了時に有効かどうかを示します。そのうち:
  • 値の true は、フラグが有効であることを示します。
  • 値の false は、ネットワークエラーまたはクォータエラーのためにフラグが禁止されている可能性があることを示します。
true
max_send_success_time ウィンドウ内でデータを正常に送信できる最大期間(Unix タイムスタンプ) 1525342763
max_unsend_time ウィンドウ終了時に送信キューに残る未送信データの最大期間(Unix タイムスタンプ)。 キューが空の場合、フィールドは 0 です。 1525342764
min_unsend_time ウィンドウ終了時に送信キューに残る未送信データの最小期間(Unix タイムスタンプ)。 キューが空の場合、フィールドは 0 です。 1525342764

メータリングログ

フィールド 説明 例:
begin_time 統計ウィンドウの開始時刻(Unix タイムスタンプ) 1525341600
index_flow 統計ウィンドウのインデックストラフィック(バイト) 12312
inflow 統計ウィンドウ内の書き込みトラフィック(バイト) 12345
logstore ログストアの名前 logstore-1
network_out 統計ウィンドウからインターネットへのアウトバウンドトラフィック(バイト) 12345
outflow 統計ウィンドウ内の読み取りトラフィック(バイト) 23456
project プロジェクトの名前 project-1
read_count 統計ウィンドウで読み取られたデータの数 100
shard 統計ウィンドウで使用されているシャードの平均数 10.0
storage_index 統計時点での Logstore 内のインデックスストレージの合計量(バイト) 10000000
storage_raw 統計時点でのログストア内のログの合計数(バイト) 20000000
write_count 統計ウィンドウ内のデータ書き込み数 199

Logtail ステータスログ

フィールド 説明 例:
CPU CPU の負荷 0.001333156
hostname ホスト名 abc2.et12
instance_id ランダムに割り当てられたインスタンス ID 05AFE618-0701-11E8-A95B-00163E025256_10.11.12.13_1517456122
ip IP アドレス 1.0.1.0
load 平均システム負荷 0.01 0.04 0.05 2/376 5277
memory Logtail プロセスによって占有されているメモリの量(MB) 12
detail_metric 計測項目の値(JSON 形式)。 詳細は、detail_metric をご参照ください。 detail_metric
os OS Linux
os_cpu 全体 CPU 使用率 0.004120005
os_detail OS に関する詳細 2.6.32-220.23.8.tcp1.34.el6.x86_64
status クライアントの状態。次のいずれかになります。
  • ok
  • busy
  • many_log_files
  • process_block
  • send_block
  • send_error
詳細は、Logtail 実行状態 をご確認ください。
busy
user ユーザー名 root
user_defined_id ユーザ定義 ID aliyun-log-id
uuid サーバーの UUID 64F28D10-D100-492C-8FDC-0C62907F1234
version Logtail のバージョン 0.14.2
project Logtail Config の所属プロジェクト my-project
次の表は、 detail_metric に含まれているフィールドのリストです。
フィールド 説明 例:
config_count Logtail Config の数 1
config_get_last_time 構成情報が最後に取得された時刻 1525686673
config_update_count Logtail が起動した後の Config の更新数 1
config_update_item_count Logtail が起動した後の構成アイテムの更新の総数 1
config_update_last_time Logtail の起動後に Config が最後に更新された時刻 1
event_tps TPS 1
last_read_event_time イベントが最後に取得された時刻 1525686663
last_send_time データが最後に送信された時刻 1525686663
open_fd 現在開いているファイルの数 1
poll_modify_size リスナー変更イベントを含むファイルの数 1
polling_dir_cache スキャンしたフォルダの数 1
polling_file_cache スキャンしたファイルの数 1
process_byte_ps 1 秒間に処理されたログの数(バイト) 1000
process_lines_ps 1 秒間に処理されたログの数 1000
process_queue_full 最大キューの長さに達した送信キューの数 1
process_queue_total 処理キュー数 10
process_tps 処理 TPS 0
reader_count 処理中のファイル数 1
region Logtail の所属リージョン cn-hangzhou,cn-shanghai
register_handler リスナーに登録されているフォルダーの数 1
send_byte_ps 1 秒あたりに送信された生ログの数(バイト) 11111
send_line_ps 1 秒あたりに送信されたログの数 1000
send_net_bytes_ps 1 秒あたりに送信されたネットワークデータの量(バイト) 1000
send_queue_full 最大キューの長さに達した送信キューの数 1
send_queue_total 送信キューの数 12
send_tps 送信 TPS 0.075
sender_invalid 異常送信キューの数 0