Simple Log Service:Importer des journaux historiques à partir de fichiers journaux

Prérequis

• Installez Logtail V0.16.15 ou version ultérieure sur votre serveur Linux, ou Logtail V1.0.0.1 ou version ultérieure sur votre serveur Windows. Pour plus d'informations, consultez Installer Logtail sur un serveur Linux ou Installer Logtail sur un serveur Windows.

• Créez une configuration Logtail et appliquez-la à votre groupe de machines. Pour plus d'informations, consultez Présentation de la collecte de journaux texte.

  Remarque

  Si une configuration Logtail sert uniquement à importer des journaux historiques à partir de fichiers journaux, vous pouvez spécifier un chemin de collecte inexistant.

Contexte

Logtail collecte les journaux en se basant sur les événements de modification des fichiers surveillés. Il peut charger des événements à partir de fichiers locaux pour collecter des journaux historiques.

Importez les journaux historiques à partir des fichiers journaux situés dans le répertoire d'installation de Logtail. Ce répertoire varie selon le système d'exploitation. Le tableau suivant liste les répertoires d'installation de Logtail pour différents systèmes d'exploitation.

Procédure

1. Obtenez l'identifiant unique de la configuration Logtail.

   Récupérez l'identifiant unique d'une configuration Logtail dans le fichier user_log_config.json situé dans le répertoire d'installation de Logtail. Par exemple, exécutez la commande suivante pour obtenir l'identifiant unique d'une configuration Logtail sur un serveur Linux :

   grep "##" /usr/local/ilogtail/user_log_config.json | awk '{print $1}'

2. Ajoutez un événement local.

   1. Créez le fichier local_event.json dans le répertoire d'installation de Logtail.

   2. Ajoutez l'événement local au format JSON dans le fichier local_event.json.

      Important

      Pour empêcher Logtail de charger un événement JSON non valide, enregistrez la configuration de l'événement local dans un fichier temporaire pour la modifier, puis copiez-la dans le fichier local_event.json une fois la modification terminée.

      [ 
        {
          "config" : "${your_config_unique_id}",
          "dir" : "${your_log_dir}",
          "name" : "${your_log_file_name}"
         },
        {
         ...
         }
         ...
      ]

      Paramètre	Description
      config	Saisissez l'identifiant unique de la configuration Logtail obtenu à l'étape 1. Exemple : ##1,0##log-config-test$ecs-test.
      dir	Spécifiez le répertoire du fichier journal à partir duquel vous souhaitez importer des journaux historiques. Exemple : /data/logs. Important Ne terminez pas la valeur par une barre oblique (/). Ne spécifiez pas le répertoire d'installation de Logtail, tel que /usr/local/ilogtail.
      name	Spécifiez le nom du fichier journal à partir duquel vous souhaitez importer des journaux historiques. Les caractères génériques sont pris en charge. Exemples : access.log.2018-08-08 et access.log*.

      L'exemple de code suivant montre comment configurer un événement local sous Linux :

      $ cat /usr/local/ilogtail/local_event.json
      [
        {
          "config": "##1.0##log-config-test$ecs-test",
          "dir": "/data/log",
          "name": "access.log*"
        },
        {
          "config": "##1.0##log-config-test$tmp-test",
          "dir": "/tmp",
          "name": "access.log.2017-08-09"
        }
      ]                            

FAQ

• Comment vérifier si Logtail charge une configuration Logtail ?

  Dans la plupart des cas, après avoir enregistré le fichier local_event.json, Logtail charge le contenu du fichier en mémoire dans un délai d'une minute, puis vide le fichier.

  Utilisez les méthodes suivantes pour vérifier si une configuration Logtail est chargée :

  1. Si le fichier local_event.json est vide, Logtail a lu les informations sur l'événement.

  2. Vérifiez si le fichier ilogtail.LOG situé dans le répertoire d'installation de Logtail contient le paramètre process local event . Si le fichier local_event.json est vide et que le paramètre process local event n'est pas présent, il est possible que le contenu du fichier local_event.json ait été filtré car il n'est pas valide.

• Pourquoi ne puis-je pas collecter de données après le chargement d'une configuration Logtail ?

  • La configuration Logtail n'est pas valide.

  • La configuration dans le fichier local_event.json n'est pas valide.

  • Le fichier journal à partir duquel vous souhaitez collecter des journaux ne se trouve pas dans le répertoire spécifié dans la configuration Logtail.

  • Les journaux du fichier journal à partir duquel vous souhaitez collecter des données ont déjà été collectés.

Étapes suivantes

Une fois les journaux historiques importés, interrogez et analysez-les. Pour plus d'informations, consultez Interroger et analyser des journaux en mode index.