Simple Log Service:Logtailのログ収集の詳細

Logtailが更新されたログファイルを検出すると、Logtailはログファイルのデータを読み取ります。

• Logtailがログファイル内のデータを初めて読み取るとき、Logtailはデフォルトでログファイル内の最大1,024 KBのデータを読み取ることができます。

  • ファイルサイズが1,024 KB未満の場合、Logtailはファイルの先頭からデータを読み取ります。

  • ファイルサイズが1,024 KBを超える場合、Logtailはファイル内の最後の1,024 KBのデータを読み取ります。

  説明

  Simple Log Serviceを使用すると、Logtailが初めてファイルを読み取るときに、Logtailがログファイルで読み取ることができるデータサイズを指定できます。

  • コンソールモード: Logtail設定ページの [詳細オプション] セクションの [最初のコレクションサイズ] パラメーターを変更します。 詳細については、「詳細設定」をご参照ください。

  • APIモード: Logtail設定のtail_size_kbパラメーターを変更します。 詳細については、「advanced」をご参照ください。

• ログファイル内のデータが以前に読み取られている場合、Logtailは以前のチェックポイントからファイル内のデータを読み取ります。

• Logtailは一度に最大512 KBのデータを読み取ることができます。 ログファイル内の各ログのサイズが512 KBを超えないようにしてください。 それ以外の場合、Logtailは期待どおりにデータを読み取ることができません。

Logtailがログファイル内のログを読み取るとき、Logtailはファイル内の各ログを複数の行に分割し、ログを解析してから、ログの時間フィールドを構成します。

• ログを複数の行に分割する

  ログの最初の行の先頭と一致する正規表現を指定した場合、Logtailは正規表現に基づいてログを複数の行に分割します。 正規表現を指定しない場合、1つのログ行がログとして処理されます。

• ログの解析

  Logtailは、Logtail設定で指定した収集モードに基づいて各ログを解析します。

  説明

  複雑な正規表現を指定すると、Logtailは過剰な量のCPUリソースを消費する可能性があります。 Logtailが効率的にログを解析できるようにする正規表現を指定することを推奨します。

  Logtailがログの解析に失敗した場合、LogtailはLogtail設定のDrop Failed to parse Logsパラメーターの設定に基づいて失敗を処理します。

  • Drop Failed to Parse Logsをオンにすると、Logtailはログをドロップし、エラーを報告します。

  • [Drop Failed to Parse Logs] をオフにすると、Logtailはログをアップロードします。 ログのキーはraw_logに設定され、値はログの内容に設定されます。

• ログの時間フィールドを設定する

  • ログの時間フィールドを設定しない場合、ログ時間はログが解析される時間です。

  • ログの時間フィールドを設定する場合、ログの処理方法は次のシナリオで異なります。

    • ログが生成された時刻と現在の時刻の差が12時間以内の場合、解析されたログフィールドからログ時間が抽出されます。

    • ログが生成された時刻と現在の時刻の差が12時間を超える場合、ログはドロップされ、エラーが報告されます。