Simple Log Service:ナノ秒精度のタイムスタンプでログを収集する

ユースケース

分散トレーシング、高頻度取引、パフォーマンスプロファイリングなどのシナリオ、または厳密なログの順序が重要なシナリオでは、秒レベルの時間精度では不十分です。これらのシナリオのログには、ミリ秒、マイクロ秒、さらにはナノ秒精度のタイムスタンプが含まれていることがよくあります。このガイドでは、Logtail を設定してこの高精度の時間情報を収集、保存、分析し、ログ分析の正確性と時系列順を確保する方法について説明します。

ソリューションアーキテクチャ

LoongCollector (Logtail) は、標準の秒レベルのタイムスタンプに加えてナノ秒レベルのオフセットを保存することで、ナノ秒精度のタイムスタンプを収集します。この設計により、既存の秒ベースの時間システムとの互換性を確保しながら、高精度のソート機能を提供します。

コアワークフローは次のとおりです。

1. ナノ秒サポートの有効化: Logtail 収集構成の高度なオプションで、{ "EnableTimestampNanosecond": true } を設定して高精度時間処理を有効にします。これには Logtail 1.8.0 以降が必要で、Linux 環境でのみ利用可能です。

2. ログの解析: デリミタ、JSON、または正規表現プラグインなどの解析プラグインを使用して、生ログから高精度タイムスタンプを含む文字列を抽出します。

3. 時間の変換: 時間解析プラグインは、抽出された時間文字列を標準の時間フォーマットに変換します。

4. 時間の保存: Simple Log Service (SLS) は時間を 2 つのフィールドに分割します。

   • __time__: 標準の Unix タイムスタンプ (長整数)、秒単位。

   • __time_ns_part__: ナノ秒部分 (長整数)、値の範囲は 0 から 999,999,999 です。

5. クエリと分析: 厳密な時系列分析を実行するには、__time__ フィールドと __time_ns_part__ フィールドの両方でソートします。

実装ステップ

このセクションでは、ナノ秒レベルのタイムスタンプを持つ JSON ログを例として使用し、ログの収集、解析、インデックス構成、および最終的なクエリと分析のための完全なエンドツーエンドの手順を説明します。

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_parse_timestamp_native
        SourceKey: asctime
        SourceFormat: '%Y-%m-%d %H:%M:%S,%f'
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{\"no\": 45, \"inner_loop\": 15, \"loop\": 1697, \"uuid\": \"80366fca-a57d-b65a-be07-2ac1173505d9\"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_strptime
        SourceKey: asctime
        Format: '%Y-%m-%d %H:%M:%S,%f'
        KeepSource: true
        AlarmIfFail: true
        AdjustUTCOffset: false
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{\"no\": 45, \"inner_loop\": 15, \"loop\": 1697, \"uuid\": \"80366fca-a57d-b65a-be07-2ac1173505d9\"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_gotime
        SourceKey: asctime
        SourceFormat: '2006-01-02 15:04:05,999999999'
        DestKey: result_asctime
        DestFormat: '2006-01-02 15:04:05,999999999Z07:00'
        SetTime: true
        KeepSource: true
        NoKeyError: true
        AlarmIfFail: true
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{\"no\": 45, \"inner_loop\": 15, \"loop\": 1697, \"uuid\": \"80366fca-a57d-b65a-be07-2ac1173505d9\"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

FAQ

Logtail がナノ秒タイムスタンプの解析に失敗するのはなぜですか？

Logtail でナノ秒精度の収集を有効にした後、タイムスタンプが正しく解析されず、ログの時間値が無効になることがあります。

• 原因

  この問題は、ほとんどの場合、Logtail 構成の時間フォーマット文字列とログ内の実際のタイムスタンプフォーマットの不一致が原因です。フォーマットは、秒と小数部の間の区切り文字 (例: コンマ ,) を含め、完全に一致する必要があります。

• 解決策

  これを修正するには、エラーを診断し、Logtail 構成の時間フォーマット文字列を修正する必要があります。

  1. ステップ 1: 解析エラーの診断

     まず、Logtail プラグインログを確認して解析エラーを確認します。サーバーに SSH で接続し、/usr/local/ilogtail/logtail_plugin.LOG ファイルで STRPTIME_PARSE_ALARM メッセージを確認します。

     tail -f /usr/local/ilogtail/logtail_plugin.LOG
     以下のエラーはフォーマットの不一致を示します。
     

  2. ステップ 2: 時間フォーマット文字列の修正

     収集構成の時間フォーマット文字列を更新して、ログのタイムスタンプと完全に一致させます。2023-10-26 00:30:10,199999999 のようにコンマ区切り文字を使用するタイムスタンプの場合、修正は次のようになります。

     • 不正なフォーマット: %Y-%m-%d %H:%M:%S %f (区切り文字としてスペースを使用)

     • 正しいフォーマット: %Y-%m-%d %H:%M:%S,%f (区切り文字としてコンマを使用)

     この変更を時間解析プラグインの設定に適用します。

コストと制限

• コストへの影響: time_ns_part フィールドはログコンテンツの一部として保存されるため、生ログのストレージサイズがわずかに増加します。

• 環境の制限: これは Linux 上の Logtail 1.8.0 以降のバージョンでのみ利用可能です。Windows では効果がありません。

関連ドキュメント

• ログのダウンロード

• クエリ構文と機能

付録 1: 一般的なログ時間フォーマット

Linux では、Logtail は strftime 関数が提供するすべての時間フォーマットをサポートしています。

付録 2: Go 言語の時間フォーマット

以下は、Go 標準ライブラリの時間フォーマットの例です。

const (
    Layout      = "01/02 03:04:05PM '06 -0700" // The reference time, in numerical order.
    ANSIC       = "Mon Jan _2 15:04:05 2006"
    UnixDate    = "Mon Jan _2 15:04:05 MST 2006"
    RubyDate    = "Mon Jan 02 15:04:05 -0700 2006"
    RFC822      = "02 Jan 06 15:04 MST"
    RFC822Z     = "02 Jan 06 15:04 -0700" // RFC822 with numeric zone
    RFC850      = "Monday, 02-Jan-06 15:04:05 MST"
    RFC1123     = "Mon, 02 Jan 2006 15:04:05 MST"
    RFC1123Z    = "Mon, 02 Jan 2006 15:04:05 -0700" // RFC1123 with numeric zone
    RFC3339     = "2006-01-02T15:04:05Z07:00"
    RFC3339Nano = "2006-01-02T15:04:05.999999999Z07:00"
    Kitchen     = "3:04PM" // Handy time stamps.
    Stamp      = "Jan _2 15:04:05"
    StampMilli = "Jan _2 15:04:05.000"
    StampMicro = "Jan _2 15:04:05.000000"
    StampNano  = "Jan _2 15:04:05.000000000"
)