Simple Log Service：Kumpulkan log dengan cap waktu presisi nanodetik

Konfigurasikan di konsol

Setelah Anda menginstal LoongCollector dan mengonfigurasi kelompok mesin, pergi ke halaman Logtail Configuration untuk menentukan aturan pengumpulan dan pemrosesan log.

1. Aktifkan dukungan presisi nanodetik

Tentukan sumber pengumpulan log dan aturan, serta aktifkan dukungan presisi nanodetik.

Global Configurations:

• Configuration Name: Tetapkan nama yang unik dalam Proyek. Anda tidak dapat mengubah nama setelah konfigurasi dibuat.

• : Nyalakan sakelar Opsi Lanjutan dan masukkan konten JSON berikut untuk mengaktifkan dukungan presisi nanodetik:

  {
    "EnableTimestampNanosecond": true
  }

Input Configurations:

• Type: Text Log Collection.

• File Path: Jalur dari mana log dikumpulkan.

  • Linux: Harus dimulai dengan garis miring (/), seperti /data/mylogs/**/*.log. Jalur ini cocok dengan semua file yang berakhiran .log di direktori /data/mylogs dan subdirektorinya.

  • Windows: Harus dimulai dengan huruf drive, seperti C:\Program Files\Intel\**\*.Log.

• Maximum Directory Monitoring Depth: Kedalaman direktori maksimum yang bisa dicocokkan oleh wildcard ** di File Path. Nilai default adalah 0, yang berarti hanya direktori saat ini yang dipantau.

2. Konfigurasikan plugin pemrosesan

Karena log sumber dalam format JSON, tambahkan plugin JSON - Parse di bagian Konfigurasi Pemrosesan. Plugin ini mengekstrak data dari objek JSON ke dalam bidang log terpisah.

1. Tambahkan sampel log

   Asumsikan format log dalam file log adalah sebagai berikut, di mana bidang asctime berisi timestamp dengan presisi nanodetik.

   {
     "asctime": "2023-10-25 23:51:10,199999999",
     "filename": "generate_data.py",
     "levelname": "INFO",
     "lineno": 51,
     "module": "generate_data",
     "message": "{\"no\": 14, \"inner_loop\": 166, \"loop\": 27451, \"uuid\": \"9be98c29-22c7-40a1-b7ed-29ae6c8367af\"}",
     "threadName": "MainThread"
   }

2. Tambahkan plugin penguraian JSON

   Klik Add Processing Plug-in, pilih Native Processing Plug-in > JSON - Parse, lalu klik Confirm.

3. Tambahkan plugin penguraian waktu

   Konversikan string waktu yang diekstraksi (bidang asctime) menjadi timestamp nanodetik standar dan gunakan sebagai waktu event untuk entri log.

   Nama Plugin	Fungsi Inti	Skenario Aplikasi
   Parse Time	Penguraian waktu dasar.	Skema sederhana dengan format tetap.
   Ekstrak Waktu Log (format strptime)	Fleksibel, mendukung berbagai format strptime.	Direkomendasikan. Fitur komprehensif dan kompatibel dengan standar industri.
   Ekstrak Waktu Log (format bahasa Go)	Menggunakan format pustaka standar bahasa Go.	Untuk pengguna yang familiar dengan Go atau ketika format log sesuai dengan pustaka standar Go.

   Parse time

   Klik Add Processing Plug-in, pilih Native Processing Plug-in > Parse Time, dan konfigurasikan parameter berikut:

   • Source Field: Bidang asli yang menyimpan waktu sebelum penguraian log. Dalam contoh ini, itu adalah asctime.

   • Time Format: Tetapkan format waktu yang sesuai berdasarkan isi bidang waktu log. Dalam contoh ini, itu adalah %Y-%m-%d %H:%M:%S,%f. %f mewakili bagian pecahan detik, dengan presisi hingga nanodetik.

     String format waktu harus persis cocok dengan format waktu dalam log asli, termasuk pemisah antara detik dan nanodetik (seperti , atau .). Jika tidak, penguraian akan gagal.

   • Time Zone: Pilih zona waktu bidang waktu log. Secara default, zona waktu mesin digunakan.

   Ekstrak waktu log (format strptime)

   Klik Add Processing Plug-in, pilih Extension Processing Plug-in > Extract Log Time (strptime format), dan konfigurasikan parameter berikut:

   • Source Field: Bidang asli yang menyimpan waktu sebelum penguraian log. Dalam contoh ini, itu adalah asctime.

   • Source Time Format: Tetapkan format waktu yang sesuai berdasarkan isi bidang waktu log. Dalam contoh ini, itu adalah %Y-%m-%d %H:%M:%S,%f. %f mewakili bagian pecahan detik, dengan presisi hingga nanodetik.

     String format waktu harus persis cocok dengan format waktu dalam log asli, termasuk pemisah antara detik dan nanodetik (seperti , atau .). Jika tidak, penguraian akan gagal.

   Ekstrak waktu log (format bahasa Go)

   Klik Add Processing Plug-in, pilih Extension Processing Plug-in > Extract Log Time (Go language format), dan konfigurasikan parameter berikut:

   • Source Time Field: Bidang asli yang menyimpan waktu sebelum penguraian log. Dalam contoh ini, itu adalah asctime.

   • Source Time Format: Tetapkan format waktu berdasarkan bidang waktu dalam log asli. Format tersebut harus mengikuti spesifikasi format waktu bahasa Go. Referensi waktu untuk pemformatan adalah waktu kelahiran Go: 2006-01-02 15:04:05 -0700 MST. Format waktu yang sesuai untuk contoh ini adalah 2006-01-02 15:04:05,999999999.

     String format waktu harus persis cocok dengan format waktu dalam log asli, termasuk pemisah antara detik dan nanodetik (seperti , atau .). Jika tidak, penguraian akan gagal.

   • Result Time Field: Bidang tujuan untuk menyimpan waktu setelah penguraian. Dalam contoh ini, itu adalah result_asctime.

   • Result Time Format: Format waktu setelah penguraian, ditulis sesuai dengan spesifikasi format waktu bahasa Go. Dalam contoh ini, itu adalah 2006-01-02 15:04:05,999999999Z07:00.

Konfigurasikan menggunakan CRD (untuk Kubernetes)

Di dalam Container Service for Kubernetes (ACK) atau kluster Kubernetes yang dikelola sendiri, Anda dapat mengonfigurasi pengumpulan timestamp dengan presisi nanodetik menggunakan Custom Resource Definition (CRD) AliyunLog. Berikut ini adalah contoh konfigurasi untuk tiga plugin berbeda.

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_parse_timestamp_native
        SourceKey: asctime
        SourceFormat: '%Y-%m-%d %H:%M:%S,%f'
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{\"no\": 45, \"inner_loop\": 15, \"loop\": 1697, \"uuid\": \"80366fca-a57d-b65a-be07-2ac1173505d9\"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_strptime
        SourceKey: asctime
        Format: '%Y-%m-%d %H:%M:%S,%f'
        KeepSource: true
        AlarmIfFail: true
        AdjustUTCOffset: false
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{\"no\": 45, \"inner_loop\": 15, \"loop\": 1697, \"uuid\": \"80366fca-a57d-b65a-be07-2ac1173505d9\"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_gotime
        SourceKey: asctime
        SourceFormat: '2006-01-02 15:04:05,999999999'
        DestKey: result_asctime
        DestFormat: '2006-01-02 15:04:05,999999999Z07:00'
        SetTime: true
        KeepSource: true
        NoKeyError: true
        AlarmIfFail: true
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{\"no\": 45, \"inner_loop\": 15, \"loop\": 1697, \"uuid\": \"80366fca-a57d-b65a-be07-2ac1173505d9\"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}