Simple Log Service：日誌採集支援納秒精度時間戳記

業務情境說明

在分布式追蹤、高頻交易、效能剖析或對日誌嚴格保序等情境中，秒級的時間精度無法滿足業務需求。這些情境的業務日誌中通常會記錄毫秒、微秒甚至納秒級的時間戳記。本方案旨在指導如何配置 Logtail，以完整地採集、儲存和分析這些高精度時間資訊，確保日誌分析的準確性和時序性。

方案架構

LoongCollector（Logtail）採集納秒精度時間戳記的核心機制是在標準秒級時間戳記之外，額外儲存一個納秒級的位移量。此設計旨在相容現有以秒為單位的時間系統，同時提供高精度排序能力。

核心工作流程如下：

1. 開啟納秒支援：在 Logtail 採集配置的進階參數中，通過 { "EnableTimestampNanosecond": true } 啟用高精度時間處理能力。此功能僅適用於 Logtail 1.8.0 及以上版本的 Linux 環境。

2. 日誌解析：使用分隔字元、JSON 或Regex等外掛程式從原始日誌中提取包含高精度時間戳記的字串。

3. 時間轉換：時間解析外掛程式將時間字串轉換為標準時間格式。

4. 時間儲存：Log Service將時間拆分為兩個欄位進行儲存：

   • __time__：標準的 Unix 時間戳記（長整型），單位為秒。

   • __time_ns_part__：納秒部分（長整型），取值範圍為 0 到 999,999,999。

5. 查詢與分析：在查詢分析時，通過對 __time__ 和 __time_ns_part__ 兩個欄位組合排序，可以實現嚴格的日誌時序分析。

實施步驟

本節將以一個包含納秒級時間戳記的JSON 日誌為例，提供一個從日誌採集、解析、索引配置到最終查詢分析的完整端到端操作流程。

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_parse_timestamp_native
        SourceKey: asctime
        SourceFormat: '%Y-%m-%d %H:%M:%S,%f'
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{"no": 45, "inner_loop": 15, "loop": 1697, "uuid": "80366fca-a57d-b65a-be07-2ac1173505d9"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_strptime
        SourceKey: asctime
        Format: '%Y-%m-%d %H:%M:%S,%f'
        KeepSource: true
        AlarmIfFail: true
        AdjustUTCOffset: false
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{"no": 45, "inner_loop": 15, "loop": 1697, "uuid": "80366fca-a57d-b65a-be07-2ac1173505d9"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_gotime
        SourceKey: asctime
        SourceFormat: '2006-01-02 15:04:05,999999999'
        DestKey: result_asctime
        DestFormat: '2006-01-02 15:04:05,999999999Z07:00'
        SetTime: true
        KeepSource: true
        NoKeyError: true
        AlarmIfFail: true
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{"no": 45, "inner_loop": 15, "loop": 1697, "uuid": "80366fca-a57d-b65a-be07-2ac1173505d9"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

常見問題

採集日誌無法正常解析納秒時間戳記

配置採集後，發現高精度時間並未正常提取。

• 錯誤原因

  外掛程式模式支援%f，但是時間格式需要與源時間內容保持一致。

• 解決方案

  • 登入LoongCollector（Logtail）機器，查看日誌，發現大量STRPTIME_PARSE_ALARM異常日誌。

    tail -f /usr/local/ilogtail/logtail_plugin.LOG
    2023-10-26 00:30:39 [WRN] [strptime.go:164] [processLog] [##1.0##xxxx,xxx]    AlarmType:STRPTIME_PARSE_ALARM    strptime(2023-10-26 00:30:10,199999999, %Y-%m-%d %H:%M:%S %f) failed: 0001-01-01 00:00:00 +0000 UTC, <nil>

  • 修改外掛程式日誌解析格式。

    原始日誌時間為2023-10-26 00:30:10,199999999，秒與高精度時間（這裡是毫秒）之間分隔字元為半形逗號（,），解析格式為%Y-%m-%d %H:%M:%S %f，秒與高精度時間之間分隔字元為空白格 。修改採集配置中時間轉換格式為%Y-%m-%d %H:%M:%S,%f即可。

成本與限制說明

• 成本影響： __time_ns_part__ 欄位會作為日誌內容的一部分被儲存，略微增加原始日誌的儲存量。

• 環境限制：此功能僅支援 Linux 系統的 Logtail 1.8.0 及以上版本，在 Windows 系統上配置不生效。

相關文檔

• 下載日誌

• 查詢文法與功能

• 查詢與分析概述

附錄一：常見日誌時間格式

Linux伺服器中，Logtail支援strftime函數提供的所有時間格式。即能被strftime函數格式化的日誌時間字串都能被Logtail解析並使用。

附錄二：Golang時間格式

以下為Golang官方的時間格式樣本：

const (
    Layout      = "01/02 03:04:05PM '06 -0700" // The reference time, in numerical order.
    ANSIC       = "Mon Jan _2 15:04:05 2006"
    UnixDate    = "Mon Jan _2 15:04:05 MST 2006"
    RubyDate    = "Mon Jan 02 15:04:05 -0700 2006"
    RFC822      = "02 Jan 06 15:04 MST"
    RFC822Z     = "02 Jan 06 15:04 -0700" // RFC822 with numeric zone
    RFC850      = "Monday, 02-Jan-06 15:04:05 MST"
    RFC1123     = "Mon, 02 Jan 2006 15:04:05 MST"
    RFC1123Z    = "Mon, 02 Jan 2006 15:04:05 -0700" // RFC1123 with numeric zone
    RFC3339     = "2006-01-02T15:04:05Z07:00"
    RFC3339Nano = "2006-01-02T15:04:05.999999999Z07:00"
    Kitchen     = "3:04PM"// Handy time stamps.
    Stamp      = "Jan _2 15:04:05"
    StampMilli = "Jan _2 15:04:05.000"
    StampMicro = "Jan _2 15:04:05.000000"
    StampNano  = "Jan _2 15:04:05.000000000"
)