Simple Log Service:Collecte de journaux avec des horodatages à la précision de la nanoseconde

Configuration via la console

Après avoir installé LoongCollector et configuré le groupe de machines, accédez à la page Logtail Configurations pour définir les règles de collecte et de traitement des journaux.

1. Activer la prise en charge de la précision des nanosecondes

Définissez la source des journaux et les règles de collecte, et activez la prise en charge de la précision des nanosecondes.

Global Configurations :

• Configuration Name : Définissez un nom unique pour la configuration au sein du projet. Le nom ne peut pas être modifié après la création.

• Other Global Configurations : Activez l'interrupteur Advanced et saisissez le contenu JSON suivant pour activer la prise en charge de la précision des nanosecondes :

  {
    "EnableTimestampNanosecond": true
  }

Input Configurations :

• Type : Text Log Collection.

• File Path : Le chemin à partir duquel collecter les journaux.

  • Linux : Un chemin commençant par une barre oblique (/), tel que /data/mylogs/**/*.log, spécifie tous les fichiers avec l'extension .log dans le répertoire /data/mylogs et ses sous-répertoires.

  • Windows : Commence par une lettre de lecteur, telle que C:\Program Files\Intel\**\*.Log.

• Maximum Directory Monitoring Depth : Spécifie la profondeur maximale de répertoire que le caractère générique ** dans File Path peut correspondre. La valeur par défaut est 0, ce qui signifie que seul le répertoire actuel est surveillé.

2. Configurer les processeurs

Étant donné que le journal source est au format JSON, ajoutez le processeur Data Parsing (JSON Mode) dans la section Processing Steps. Cela extrait la chaîne d'horodatage en nanosecondes du journal original dans un champ séparé.

1. Ajouter un exemple de journal

   Supposons qu'un fichier journal contienne des journaux au format suivant, où le champ asctime contient un horodatage à la précision de la nanoseconde.

   {
     "asctime": "2023-10-25 23:51:10,199999999",
     "filename": "generate_data.py",
     "levelname": "INFO",
     "lineno": 51,
     "module": "generate_data",
     "message": "{\"no\": 14, \"inner_loop\": 166, \"loop\": 27451, \"uuid\": \"9be98c29-22c7-40a1-b7ed-29ae6c8367af\"}",
     "threadName": "MainThread"
   }

2. Ajouter un processeur d'analyse JSON

   Cliquez sur Add Processor, sélectionnez Native Processor > Data Parsing (JSON Mode), puis cliquez sur Confirm.

3. Ajouter un processeur d'analyse temporelle

   Convertissez la chaîne temporelle extraite à l'étape précédente (le champ asctime) en un horodatage standard en nanosecondes, et utilisez-la comme heure d'événement pour cette entrée de journal.

   Nom du processeur	Fonctionnalité principale	Cas d'utilisation
   Time Parsing	Analyse temporelle de base	Scénarios simples avec un format fixe.
   Time - Strptime	Flexible, prenant en charge des formats strptime riches	Recommandé. Fonctionnalités complètes et compatible avec les normes de l'industrie.
   Time - Go	Utilise les formats de la bibliothèque standard Go	Pour les utilisateurs familiers avec Go ou dans les scénarios où le format du journal correspond à la bibliothèque standard Go.

   Time parsing

   Cliquez sur Add Processor, sélectionnez Native Processor > Time Parsing, et configurez les paramètres suivants :

   • Original Field : Le champ d'origine qui stocke l'heure avant l'analyse du journal. Dans cet exemple, le champ est asctime.

   • Time Format : Définissez le format temporel pour correspondre au champ temporel de vos journaux. Dans cet exemple, le format est %Y-%m-%d %H:%M:%S,%f. Dans ce format, %f représente la partie fractionnaire d'une seconde. La précision maximale prise en charge est la nanoseconde.

     La chaîne de format temporel doit être identique au format temporel dans les journaux d'origine, y compris le séparateur entre les secondes et les nanosecondes, tel que , ou . . Sinon, les journaux ne peuvent pas être analysés correctement.

   • Time Zone : Sélectionnez le fuseau horaire du champ temporel du journal. Par défaut, le fuseau horaire du serveur est utilisé.

   Time - strptime

   Cliquez sur Add Processor, sélectionnez Extended Processor > Time - Strptime, et configurez les paramètres suivants :

   • Original Field : Le champ qui contient l'heure avant l'analyse du journal. Dans cet exemple, la valeur est asctime.

   • Original Time Format : Définissez le format temporel selon le champ temporel de vos journaux, tel que %Y-%m-%d %H:%M:%S,%f. Dans ce format, %f est la partie fractionnaire d'une seconde, avec une précision allant jusqu'à la nanoseconde.

     La chaîne de format temporel doit correspondre exactement au format temporel dans les journaux d'origine, y compris le séparateur entre les secondes et les nanosecondes, tel que , ou . . Sinon, les journaux ne peuvent pas être analysés correctement.

   Time - Go

   Cliquez sur Add Processor, sélectionnez Extended Processor > Time - Go, et configurez les paramètres suivants :

   • Original Time Field : Le champ d'origine utilisé pour stocker l'heure avant l'analyse du journal. Dans cet exemple, ce champ est asctime.

   • Original Time Format : Spécifiez le format temporel en fonction du champ temporel du journal d'origine. Le format doit être écrit conformément à la spécification du format temporel Go. Le modèle de format temporel est l'heure de naissance du langage Go, 2006-01-02 15:04:05 -0700 MST. Le format temporel pour cet exemple est 2006-01-02 15:04:05,999999999.

     La chaîne de format temporel doit correspondre exactement au format temporel dans les journaux d'origine, y compris le séparateur entre les secondes et les nanosecondes, tel que , ou . . Sinon, les journaux ne peuvent pas être analysés correctement.

   • New Time Field : Le champ cible où l'heure est stockée après l'analyse d'un journal. Dans cet exemple, le champ est result_asctime.

   • New Time Format : Le format temporel pour les journaux analysés, qui doit suivre la spécification du format temporel Golang. Par exemple : 2006-01-02 15:04:05,999999999Z07:00.

Configuration via un CRD (scénarios Kubernetes)

Dans un cluster ACK ou Kubernetes autogéré, configurez la collecte d'horodatages à la précision de la nanoseconde en utilisant une définition de ressource personnalisée (CRD) AliyunLog. Les exemples suivants montrent la configuration pour chacun des trois processeurs.

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_parse_timestamp_native
        SourceKey: asctime
        SourceFormat: '%Y-%m-%d %H:%M:%S,%f'
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{\"no\": 45, \"inner_loop\": 15, \"loop\": 1697, \"uuid\": \"80366fca-a57d-b65a-be07-2ac1173505d9\"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_strptime
        SourceKey: asctime
        Format: '%Y-%m-%d %H:%M:%S,%f'
        KeepSource: true
        AlarmIfFail: true
        AdjustUTCOffset: false
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{"no": 45, "inner_loop": 15, "loop": 1697, "uuid": "80366fca-a57d-b65a-be07-2ac1173505d9"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}

apiVersion: telemetry.alibabacloud.com/v1alpha1
kind: ClusterAliyunPipelineConfig
metadata:
  name: ${your-config-name}
spec:
  config:
    aggregators: []
    global:
      EnableTimestampNanosecond: true
    inputs:
      - Type: input_file
        FilePaths:
          - /test/sls/json_nano.log
        MaxDirSearchDepth: 0
        FileEncoding: utf8
        EnableContainerDiscovery: true
    processors:
      - Type: processor_parse_json_native
        SourceKey: content
      - Type: processor_gotime
        SourceKey: asctime
        SourceFormat: '2006-01-02 15:04:05,999999999'
        DestKey: result_asctime
        DestFormat: '2006-01-02 15:04:05,999999999Z07:00'
        SetTime: true
        KeepSource: true
        NoKeyError: true
        AlarmIfFail: true
    flushers:
      - Type: flusher_sls
        Logstore: ${your-logstore-name}
    sample: |-
      {
        "asctime": "2025-11-03 15:39:14,229939478",
        "filename": "log_generator.sh",
        "levelname": "INFO",
        "lineno": 204,
        "module": "log_generator",
        "message": "{"no": 45, "inner_loop": 15, "loop": 1697, "uuid": "80366fca-a57d-b65a-be07-2ac1173505d9"}",
        "threadName": "MainThread"
      }
  project:
    name: ${your-project-name}
  logstores:
    - name: ${your-logstore-name}