Simple Log Service:Types de réseau, paramètres de démarrage et configuration de Logtail

Types de réseau et sélection

Lorsque vous installez Logtail, choisissez un type de réseau en fonction de l'emplacement de votre serveur par rapport à Simple Log Service (SLS). Un choix approprié garantit une transmission des données de journal plus rapide et plus fiable.

1. Connectez-vous à la console Simple Log Service. Sur la page Project Overview du projet, localisez Acceleration Endpoint dans la zone Endpoint, puis cliquez sur Enable à côté.

2. Prenez connaissance du message dans la boîte de dialogue, puis cliquez sur Modify.

3. Configurez l'accélération du transfert pour Logtail selon l'une des méthodes suivantes.

   Installation avec accélération

   Si vous activez l'accélération du transfert avant d'installer Logtail, vous pouvez sélectionner cette option durant l'installation. Pour plus d'informations, consultez Installer Logtail.

   Modification de la configuration

   Si vous avez installé Logtail avant d'activer l'accélération du transfert, vous devez modifier la configuration de Logtail.

   1. Arrêtez Logtail.

      • Linux

        Exécutez la commande sudo /etc/init.d/ilogtaild stop.

      • Windows

        1. Choisissez Start > Control Panel > Tools > Service.

        2. Dans la boîte de dialogue Service, recherchez le service LogtailDaemon (pour Logtail 1.0.0.0 et versions ultérieures) ou le service LogtailWorker (pour les versions Logtail 0.x.x.x). Cliquez avec le bouton droit sur le service, puis sélectionnez Stop.

   2. Modifiez le fichier de configuration de démarrage de Logtail, ilogtail_config.json.

      Dans le paramètre data_server_list, remplacez l'endpoint par log-global.aliyuncs.com. Pour connaître le chemin du fichier, consultez Fichier de configuration des paramètres de démarrage (ilogtail_config.json).

   3. Démarrez Logtail.

      • Linux

        Exécutez la commande sudo /etc/init.d/ilogtaild start.

      • Windows

        1. Choisissez Start > Control Panel > Tools > Service.

        2. Dans la boîte de dialogue Service, recherchez le service LogtailDaemon (pour Logtail 1.0.0.0 et versions ultérieures) ou le service LogtailWorker (pour les versions Logtail 0.x.x.x). Cliquez avec le bouton droit sur le service, puis sélectionnez Start.

Pour plus d'informations, consultez Gérer l'accélération du transfert.

Cas d'utilisation

Valeurs de paramètres recommandées

Les tableaux ci-dessous indiquent les valeurs recommandées pour la collecte de fichiers de journaux JSON standard. Les modes regex complet et délimiteur offrent des performances similaires au mode JSON, tandis que le mode simple est environ cinq fois plus rapide. La complexité des données, les règles d'analyse ainsi que le nombre de répertoires et de fichiers influencent également la consommation de CPU et de mémoire. Utilisez ces valeurs comme point de départ et ajustez-les selon votre charge de travail.

• Environnement hôte

  Paramètre	Taux de collecte par défaut	Taux de collecte > 10 Mo/s	Taux de collecte > 20 Mo/s	Taux de collecte > 40 Mo/s
  cpu_usage_limit	0.4	1	2	4
  mem_usage_limit	384	1024	2048	4096
  max_bytes_per_sec	20971520	209715200	209715200	209715200
  process_thread_count	1	2	4	8
  send_request_concurrency	15	20	40	80

• Environnement conteneur ou Kubernetes

  Paramètre	Taux de collecte par défaut	Taux de collecte > 10 Mo/s	Taux de collecte > 20 Mo/s	Taux de collecte > 40 Mo/s
  cpu_usage_limit	2	3	5	9
  mem_usage_limit	2048	2048	2048	4096
  max_bytes_per_sec	209715200	209715200	209715200	209715200
  process_thread_count	1	2	4	8
  send_request_concurrency	15	20	40	80
  resources.limits.cpu	500M	1000M	2000M	4000M
  resources.limits.memory	2 Gi	2 Gi	3 Gi	5 Gi

  Pour modifier les paramètres de démarrage de Logtail dans un environnement conteneur ou Kubernetes :

  • Si Logtail est déployé dans un cluster Kubernetes Alibaba Cloud et que sa version est Logtail-ds 1.7.3 ou ultérieure, modifiez les paramètres dans la console Container Service for Kubernetes. Sur la page Add-ons, ajustez les paramètres correspondants du composant logtail-ds.

  • Si Logtail est déployé dans un environnement conteneur ou Kubernetes auto-géré et que sa version est Logtail-ds 1.7.3 ou ultérieure, modifiez les paramètres de démarrage de Logtail en changeant les variables d'environnement du DaemonSet. Certains environnements font référence à une ConfigMap. La ConfigMap concernée se trouve sous ConfigMap > kube-system > alibaba-log-configuration.

  • Pour les versions Logtail-ds antérieures à 1.7.3, modifiez les paramètres de démarrage de Logtail en changeant les variables d'environnement du DaemonSet. Dans certains environnements, une ConfigMap est référencée. Celle-ci se trouve sous ConfigMap > kube-system > alibaba-log-configuration. Pensez également à ajuster les paramètres resources.limits.cpu et resources.limits.memory dans DaemonSet > kube-system > logtail-ds afin d'éviter que le conteneur ne dépasse ses limites de ressources.

Avec les valeurs correspondant à un Taux de collecte supérieur à 40 Mo/s des tableaux précédents, les performances de collecte de Logtail approchent leur limite. Augmenter davantage le nombre de threads n'apporte aucune amélioration significative. Le tableau suivant présente les limites de performance de collecte.

Paramètres de démarrage

1. Sur le serveur où Logtail est installé, ouvrez le fichier /usr/local/ilogtail/ilogtail_config.json.

   Cette étape s'applique à un environnement hôte.

   Dans un environnement conteneur ou Kubernetes, vous devez modifier les paramètres de démarrage de Logtail en éditant les variables d'environnement du DaemonSet. Certains environnements font référence à une ConfigMap dont le chemin est ConfigMap > kube-system > alibaba-log-configuration.

2. Configurez les paramètres de démarrage selon vos besoins.

   Voici un exemple de paramètres de démarrage :

   {
       ...
       "cpu_usage_limit" : 0.4,
       "mem_usage_limit" : 384,
       "max_bytes_per_sec" : 20971520,
       "process_thread_count" : 1,
       "send_request_concurrency" : 15,
       "buffer_file_num" : 25,
       "buffer_file_size" : 20971520,
       "buffer_file_path" : "",
       ...
   }

   Remarque

   • Le tableau suivant liste uniquement les paramètres de démarrage courants. Pour ceux qui ne figurent pas ici, conservez les valeurs par défaut.

   • Vous pouvez ajouter ou modifier des paramètres selon vos besoins.

   Tableau 1. Paramètres de démarrage de Logtail

   Paramètre	Type	Description	Exemple
   cpu_usage_limit	double	Seuil d'utilisation du CPU, calculé sur la base d'un seul cœur. Plage valide : de 0,1 au nombre de cœurs CPU du serveur actuel. Valeur par défaut : 0,4 Avertissement Le paramètre cpu_usage_limit constitue une limite souple. L'utilisation réelle du CPU par Logtail peut dépasser cette valeur. Si le dépassement persiste plus de 5 minutes, un mécanisme de protection se déclenche et Logtail redémarre automatiquement. Par exemple, si vous définissez ce paramètre à 0.4, Logtail tente de limiter son utilisation CPU à 40 % d'un seul cœur. En cas de dépassement prolongé, Logtail redémarre automatiquement. Généralement, un seul cœur permet de traiter un débit de collecte de données d'environ 100 Mo/s en mode simple et de 20 Mo/s en mode regex complet. Remarque Si vous déployez Logtail-ds 1.7.3 ou version ultérieure dans un cluster Container Service for Kubernetes (ACK), il est recommandé de définir le seuil d'utilisation du CPU via la console Container Service for Kubernetes. Dans la page Add-ons, modifiez le paramètre LogtailDSLimitCPU du composant logtail-ds. Pour plus d'informations, consultez Gérer les composants.	"cpu_usage_limit" : 0.4
   mem_usage_limit	int	Seuil d'utilisation de la mémoire. Plage valide : de 128 Mo à 8 192 Mo Valeur par défaut : 384 Mo (sur un hôte), 2 048 Mo (pour un composant ACK) Avertissement Le paramètre mem_usage_limit constitue une limite souple. L'utilisation réelle de la mémoire par Logtail peut dépasser cette valeur. Si le dépassement persiste plus de 5 minutes, un mécanisme de protection se déclenche et Logtail redémarre automatiquement. Le débit de collecte, le nombre de répertoires et fichiers surveillés ainsi que le degré de blocage d'envoi dépendent du paramètre mem_usage_limit. Pour plus d'informations, consultez Limites de Logtail. Remarque Si vous déployez Logtail-ds 1.7.3 ou version ultérieure dans un cluster ACK, il est recommandé de définir le seuil d'utilisation de la mémoire via la console Container Service for Kubernetes. Dans la page Add-ons, modifiez le paramètre LogtailDSLimitMemory du composant logtail-ds. Pour plus d'informations, consultez Gérer les composants.	"mem_usage_limit" : 384
   max_bytes_per_sec	int	Débit maximal auquel Logtail envoie les données brutes. Unité : octets/seconde. Plage valide : de 1 024 octets/s à 52 428 800 octets/s Valeur par défaut : 20 971 520 octets/s Important Si vous définissez ce paramètre à une valeur supérieure à 20 971 520 (20 Mo/s), le débit d'envoi n'est pas limité par ce paramètre. Par exemple, si vous définissez ce paramètre à 2097152, Logtail envoie les données à un débit de 2 Mo/s. Remarque Si vous déployez Logtail-ds 1.7.3 ou version ultérieure dans un cluster ACK, il est recommandé de définir la limite de trafic via la console Container Service for Kubernetes. Dans la page Add-ons, modifiez le paramètre LogtailDSMaxBytePerSec du composant logtail-ds. Pour plus d'informations, consultez Gérer les composants.	"max_bytes_per_sec" : 2097152
   process_thread_count	int	Nombre de threads utilisés par Logtail pour traiter les données. Plage valide : de 1 à 64 Valeur par défaut : 1 En règle générale, un seul thread permet de gérer un débit d'écriture de 24 Mo/s en mode simple ou de 12 Mo/s en mode regex complet. La modification de ce paramètre est rarement nécessaire. Remarque Si vous déployez Logtail-ds 1.7.3 ou version ultérieure dans un cluster ACK, il est recommandé de définir le nombre de threads via la console Container Service for Kubernetes. Dans la page Add-ons, modifiez le paramètre LogtailDSProcessThreadCount du composant logtail-ds. Pour plus d'informations, consultez Gérer les composants.	"process_thread_count" : 1
   send_request_concurrency	int	Nombre de requêtes simultanées pour l'envoi asynchrone des données. Plage valide : de 15 à 80 Valeur par défaut : 15 Si le TPS d'écriture est élevé, augmentez cette valeur. À titre indicatif, une requête simultanée gère un débit réseau de 0,5 Mo/s à 1 Mo/s. Le débit réel dépend de la latence du réseau. Remarque Une valeur trop élevée risque d'entraîner une utilisation excessive des ports réseau, nécessitant alors l'ajustement des paramètres liés au protocole TCP. Si vous déployez Logtail-ds 1.7.3 ou version ultérieure dans un cluster ACK, il est recommandé de définir le nombre de requêtes simultanées via la console Container Service for Kubernetes. Dans la page Add-ons, modifiez le paramètre LogtailDSSendRequestConcurrency du composant logtail-ds. Pour plus d'informations, consultez Gérer les composants.	"send_request_concurrency" : 4
   buffer_file_num	int	Nombre maximal de fichiers tampons. Plage valide : de 1 à 100 Valeur par défaut : 25 En cas d'erreur réseau ou de dépassement de la limite d'écriture, Logtail analyse les journaux en temps réel et écrit les résultats dans des fichiers tampons locaux situés dans le répertoire d'installation. Une fois le problème résolu, Logtail retente l'envoi des journaux mis en mémoire tampon.	"buffer_file_num" : 25
   buffer_file_size	int	Taille maximale d'un fichier tampon individuel. Unité : octet. Plage valide : de 1 048 576 octets à 104 857 600 octets Valeur par défaut : 20971520 Byte L'espace disque maximal occupé par les fichiers tampons correspond à buffer_file_size × buffer_file_num.	"buffer_file_size" : 20971520
   buffer_file_path	String	Répertoire de stockage des fichiers tampons. Par défaut, ce paramètre est vide, ce qui signifie que les fichiers tampons sont stockés dans le répertoire d'installation de Logtail /usr/local/ilogtail. Après avoir défini ce paramètre, déplacez manuellement les fichiers dont le nom commence par logtail\_buffer\_file_* du répertoire d'origine vers le nouveau répertoire. Cela garantit que Logtail puisse lire les fichiers tampons et les supprimer après leur envoi.	"buffer_file_path" : ""
   bind_interface	String	Nom de la carte réseau (NIC) associée au serveur. Par défaut, ce paramètre est vide, ce qui signifie que Logtail s'associe automatiquement à une NIC disponible. Si vous attribuez une NIC spécifique à ce paramètre, telle que eth1, Logtail utilise obligatoirement cette interface pour envoyer les journaux. Ce paramètre est pris en charge uniquement sous Linux.	"bind_interface" : ""
   check_point_filename	String	Chemin d'enregistrement des fichiers de point de contrôle Logtail. Valeur par défaut : /tmp/logtail_check_point. Si vous utilisez Docker ou Kubernetes, configurez ce paramètre conformément aux instructions de la rubrique Fiabilité des données pour iLogtail après le redémarrage des conteneurs. Cela évite la duplication ou la perte de journaux causée par la perte des informations de point de contrôle lors du redémarrage du conteneur Logtail.	"check_point_filename" : "/tmp/logtail_check_point"
   check_point_dump_interval	int	Intervalle, en secondes, auquel Logtail met à jour les fichiers de point de contrôle. Valeur par défaut : 900 (15 minutes). Ce paramètre est pris en charge uniquement par Logtail 1.0.19 ou version ultérieure pour Linux et Logtail 1.0.19.0 ou version ultérieure pour Windows.	"check_point_dump_interval" : 900
   user_config_file_path	String	Chemin d'enregistrement du fichier de configuration Logtail. Par défaut, le fichier est enregistré dans le répertoire contenant le binaire du processus. Le nom du fichier est user_log_config.json. Si vous utilisez Docker ou Kubernetes, configurez ce paramètre conformément aux instructions de la rubrique Fiabilité des données pour iLogtail après le redémarrage des conteneurs. Cela évite la duplication ou la perte de journaux lors du redémarrage du conteneur Logtail.	"user_config_file_path" : "user_log_config.json"
   docker_file_cache_path	String	Ce fichier consigne les mappages de chemins entre les fichiers de conteneur et les fichiers de l'hôte. Le chemin par défaut est /usr/local/ilogtail/docker_path_config.json. Si vous utilisez Docker ou Kubernetes, configurez ce paramètre conformément aux instructions de la rubrique Fiabilité des données pour iLogtail après le redémarrage des conteneurs. Cela évite la duplication ou la perte de journaux lors du redémarrage du conteneur Logtail. Ce paramètre est pris en charge uniquement par Logtail 0.16.54 ou version ultérieure pour Linux et Logtail 0.16.54.0 ou version ultérieure pour Windows.	"docker_file_cache_path": "/usr/local/ilogtail/docker_path_config.json"
   discard_old_data	Boolean	Indique s'il faut ignorer les journaux historiques. Valeur par défaut : true, ce qui signifie que les journaux générés il y a plus de 12 heures sont ignorés.	"discard_old_data" : true
   ilogtail_discard_interval	int	Seuil temporel pour l'abandon des journaux historiques. Si l'écart entre l'horodatage du journal et l'heure actuelle dépasse ce seuil, le journal est abandonné. Valeur par défaut : 43200 (12 heures). Unité : secondes.	"ilogtail_discard_interval": 43200
   working_ip	String	Par défaut, ce paramètre est vide, ce qui signifie que l'adresse IP est obtenue automatiquement auprès du serveur. Si vous définissez une valeur pour ce paramètre, Logtail signale cette valeur comme adresse IP du serveur.	"working_ip" : ""
   working_hostname	String	Nom d'hôte signalé par Logtail pour le serveur. Par défaut, ce paramètre est vide, ce qui signifie que le nom d'hôte est obtenu automatiquement auprès du serveur.	"working_hostname" : ""
   max_read_buffer_size	long	Taille maximale d'une entrée de journal unique pouvant être lue par Logtail. Valeur par défaut : 524 288 (512 Ko). Valeur maximale : 8 388 608 (8 Mo). Unité : octet. Si une entrée de journal unique dépasse 524 288 octets, augmentez cette valeur.	"max_read_buffer_size" : 524288
   oas_connect_timeout	long	Délai d'expiration pour la phase de connexion des requêtes initiées par Logtail afin d'obtenir sa configuration ou une paire AccessKey. Valeur par défaut : 5. Unité : secondes. Si l'établissement des connexions prend beaucoup de temps en raison de mauvaises conditions réseau, augmentez cette valeur.	"oas_connect_timeout" : 5
   oas_request_timeout	long	Délai d'expiration global de la requête pour obtenir une configuration ou une paire AccessKey. Valeur par défaut : 10. Unité : secondes. Si le traitement des requêtes prend beaucoup de temps en raison de mauvaises conditions réseau, augmentez cette valeur.	"oas_request_timeout" : 10
   data_server_port	long	Si vous définissez data_server_port sur 443, Logtail transmet les données à SLS via HTTPS. Ce paramètre est pris en charge uniquement par Logtail 1.0.10 ou version ultérieure pour Linux et Logtail 1.0.10.0 ou version ultérieure pour Windows.	"data_server_port": 443
   enable_log_time_auto_adjust	Boolean	Si vous définissez enable_log_time_auto_adjust sur true, les horodatages des journaux s'adaptent automatiquement à l'heure locale du serveur. Pour des raisons de sécurité, SLS valide l'horodatage de chaque requête, y compris celles provenant de Logtail. Si l'horodatage diffère de l'heure du serveur SLS de plus de 15 minutes, SLS rejette la requête. Logtail utilise l'heure locale du serveur dans ses requêtes. Si l'heure locale du serveur est modifiée (par exemple, réglée sur une heure future dans un environnement de test), les requêtes Logtail sont rejetées et l'écriture des données échoue. Ce paramètre permet d'adapter les horodatages des journaux à l'heure locale du serveur. Ce paramètre est pris en charge uniquement par Logtail 1.0.19 ou version ultérieure pour Linux et Logtail 1.0.19.0 ou version ultérieure pour Windows. Important Lorsque cette fonctionnalité est activée, Logtail ajoute le décalage entre l'heure du serveur SLS et l'heure locale du serveur à l'horodatage du journal. Ce décalage n'est mis à jour que lorsque SLS rejette une requête. Par conséquent, l'horodatage affiché dans les requêtes SLS peut différer de l'heure d'écriture réelle. Certaines logiques de Logtail dépendent d'une heure système strictement croissante. Il est recommandé de redémarrer Logtail chaque fois que vous ajustez l'horloge du serveur.	"enable_log_time_auto_adjust": true
   accept_multi_config	Boolean	Indique s'il faut autoriser plusieurs configurations Logtail à collecter des journaux depuis le même fichier. Valeur par défaut : false. Par défaut, un seul fichier ne peut être collecté que par une seule configuration Logtail. Ce paramètre permet de lever cette restriction. Le traitement de chaque configuration Logtail est indépendant. Si vous autorisez plusieurs configurations Logtail à collecter des journaux depuis le même fichier, la consommation de CPU et de mémoire augmente proportionnellement. Ce paramètre est pris en charge uniquement par Logtail 0.16.26 ou version ultérieure pour Linux et Logtail 0.16.26.0 ou version ultérieure pour Windows.	"accept_multi_config": true
   enable_checkpoint_sync_write	Boolean	Indique s'il faut activer les écritures synchrones pour les points de contrôle. Valeur par défaut : false. Cette fonctionnalité est principalement utilisée avec la fonctionnalité d'écriture ExactlyOnce. Lorsque ExactlyOnce est activé, Logtail enregistre des informations de point de contrôle granulaires au niveau du fichier sur le disque local. Pour des raisons de performances, Logtail n'appelle pas la commande sync pour vider les données sur le disque par défaut lors de l'écriture des points de contrôle. Si la machine redémarre avant que les données mises en mémoire tampon ne soient écrites sur le disque, les informations de point de contrôle risquent d'être perdues. Dans ce cas, définissez enable_checkpoint_sync_write sur true pour activer les écritures synchrones. Pour plus d'informations, consultez Configurations Logtail (héritées). Ce paramètre est pris en charge uniquement par Logtail 1.0.20 ou version ultérieure pour Linux et Logtail 1.0.20.0 ou version ultérieure pour Windows.	"enable_checkpoint_sync_write": false
   enable_env_ref_in_config	Boolean	Indique s'il faut activer la substitution des variables d'environnement dans les configurations de collecte. Valeur par défaut : false. Une fois cette fonctionnalité activée, vous pouvez utiliser ${xxx} comme espace réservé pour la variable d'environnement xxx dans une configuration de collecte Logtail via la console. Par exemple, si vous définissez le chemin de collecte sur /${xxx}/logs et la variable d'environnement sur xxx=user, le chemin de collecte effectif sera /user/logs. Si vous devez utiliser les caractères littéraux ${ ou } dans votre configuration, échappez-les en utilisant $${ ou $}. Ce paramètre est pris en charge uniquement par Logtail 1.0.31 ou version ultérieure pour Linux et Logtail 1.0.31.0 ou version ultérieure pour Windows.	"enable_env_ref_in_config": false
   docker_config_update_interval	int	Intervalle minimal de mise à jour des chemins de conteneur. Ce paramètre fonctionne conjointement avec le paramètre max_docker_config_update_times. Si le seuil de l'un ou l'autre des paramètres est atteint, les mises à jour des chemins de conteneur s'arrêtent. Pour Logtail 1.0.32 ou version ultérieure pour Linux et Logtail 1.0.32.0 ou version ultérieure pour Windows, la valeur par défaut est 3. Unité : secondes. Pour les versions antérieures à Logtail 1.0.32 pour Linux et Logtail 1.0.32.0 pour Windows, la valeur par défaut est 10. Unité : secondes.	"docker_config_update_interval": 3
   max_docker_config_update_times	int	Nombre maximal de mises à jour des chemins de conteneur autorisées sur une période de 3 minutes. Par défaut, si le nombre de mises à jour dépasse cette limite dans un délai de 3 minutes, les mises à jour des chemins de conteneur s'arrêtent jusqu'à la fin de la période. Pour Logtail 1.0.32 ou version ultérieure pour Linux et Logtail 1.0.32.0 ou version ultérieure pour Windows, la valeur par défaut est 10. Pour les versions antérieures à Logtail 1.0.32 pour Linux et Logtail 1.0.32.0 pour Windows, la valeur par défaut est 3.	"max_docker_config_update_times": 10
   DOCKER_HOST	String	Adresse de socket utilisée pour communiquer avec Docker. Elle doit être configurée en tant que variable d'environnement. Valeur par défaut : chaîne vide, ce qui signifie que l'adresse par défaut unix:///var/run/docker.sock est utilisée.	DOCKER_HOST=unix:///var/run/docker.sock
   CONTAINERD_SOCK_PATH	String	Adresse de socket utilisée pour communiquer avec containerd. Elle doit être configurée en tant que variable d'environnement. Valeur par défaut : chaîne vide, ce qui signifie que l'adresse par défaut unix:///run/containerd/containerd.sock est utilisée. Si vous utilisez un cluster K3s, modifiez la valeur comme indiqué dans l'exemple.	CONTAINERD_SOCK_PATH=/run/k3s/containerd/containerd.sock
   logreader_max_rotate_queue_size	Int	Longueur maximale de la file d'attente de rotation des fichiers. Valeur par défaut : 20. Si la collecte des journaux est bloquée ou retardée, les fichiers en attente de collecte conservent leurs descripteurs de fichier et patientent dans cette file d'attente. Si la collecte subit des retards et que vous devez contrôler l'utilisation maximale du disque, envisagez de réduire cette valeur. Avertissement Lorsque le nombre de fichiers retardés dépasse cette valeur, Logtail ignore la collecte des nouveaux fichiers.	"logreader_max_rotate_queue_size" : 10
   force_release_deleted_file_fd_timeout	Int	Délai d'attente avant la libération d'un descripteur de fichier après la sortie d'un conteneur ou la suppression d'un fichier. Valeur par défaut : -1, ce qui désactive cette fonctionnalité. Une valeur de 0 indique que le descripteur est libéré immédiatement. Unité : secondes. Pour contrôler la latence maximale de destruction des conteneurs containerd, configurez ce paramètre. Avertissement Si la collecte des journaux accuse un retard, les données dépassant le délai d'expiration configuré sont perdues.	"force_release_deleted_file_fd_timeout" : 0
   data_endpoint_policy	string	Politique de basculement permettant à Logtail d'accéder aux endpoints SLS. Valeurs valides : Remarque Dans le fichier ilogtail_config.json, vérifiez si un endpoint par défaut est configuré dans le paramètre data_server_list. Pour plus d'informations, consultez Fichier de configuration des paramètres de démarrage (ilogtail_config.json). designated_first (par défaut) Si un endpoint par défaut est spécifié pour une région et qu'il est disponible, Logtail utilise cet endpoint en priorité. Si un endpoint par défaut est spécifié pour une région mais qu'il est indisponible, Logtail sélectionne automatiquement un endpoint disponible. Si aucun endpoint par défaut n'est spécifié pour une région, Logtail sélectionne automatiquement un endpoint disponible. designated_locked Si un endpoint par défaut est spécifié pour une région, Logtail utilise exclusivement cet endpoint, quelle que soit sa disponibilité. Si aucun endpoint par défaut n'est spécifié pour une région, Logtail sélectionne automatiquement un endpoint disponible. Ce paramètre est pris en charge uniquement par Logtail 1.5.0 ou version ultérieure pour Linux et Logtail 1.5.0.0 ou version ultérieure pour Windows.	"data_endpoint_policy" : "designated_first"
   inotify_black_list	Array<String>	Liste de blocage de surveillance inotify. Ce paramètre prend uniquement en charge la correspondance exacte des chemins. Les répertoires figurant dans cette liste ne sont pas surveillés par inotify.	"inotify_black_list": ["/tmp"]
   host_path_blacklist	String	Liste de blocage globale des chemins d'hôte. Ce paramètre prend uniquement en charge la correspondance par sous-chaîne. Sur les serveurs Linux, utilisez des deux-points (:) pour séparer plusieurs sous-chaînes. Sur les serveurs Windows, utilisez des points-virgules (;) pour séparer plusieurs sous-chaînes. Par exemple, "host_path_blacklist" : "/volumes/kubernetes.io~csi/nas-" empêche Logtail de collecter des données depuis les montages NAS. Ce paramètre est pris en charge uniquement par Logtail 1.8.0 ou version ultérieure pour Linux et Logtail 1.8.0.0 ou version ultérieure pour Windows.	"host_path_blacklist" : "/volumes/kubernetes.io~csi/nas-"
   LOGTAIL_LOG_LEVEL	String	Niveau de journalisation pour les journaux internes de Logtail. Ce paramètre doit être configuré en tant que variable d'environnement. Par défaut, ce paramètre est vide, ce qui correspond au niveau INFO. Valeurs valides : TRACE, DEBUG, INFO, WARNING, ERROR et FATAL. Ce paramètre est pris en charge uniquement par Logtail 1.8.0 ou version ultérieure pour Linux et Logtail 1.8.0.0 ou version ultérieure pour Windows.	LOGTAIL_LOG_LEVEL=info
   FORCE_RELEASE_STOP_CONTAINER_FILE	Boolean	Méthode de configuration : Ce paramètre ne peut être configuré qu'à l'aide d'une variable d'environnement. Description : Si ce paramètre est défini sur true, Logtail libère immédiatement les descripteurs de fichiers de conteneur lorsque le conteneur d'application se ferme. Cela évite qu'un conteneur ne parvienne pas à se fermer parce que ses descripteurs de fichiers ne sont pas libérés. Important : Dans ce cas, l'intégrité des données collectées depuis le conteneur ne peut être garantie. Pour garantir une collecte complète des journaux, ajoutez un délai de quelques secondes avant la fermeture de l'application. Versions prises en charge : Logtail 2.1.6 ou version ultérieure pour Linux	"FORCE_RELEASE_STOP_CONTAINER_FILE" : "true"
   default_reader_flush_timeout	int	Délai d'attente pour déterminer l'intégrité de la dernière ligne de journal. Valeur par défaut : 60. Unité : secondes. Ce paramètre est pris en charge uniquement par Logtail 2.0.0 ou version ultérieure.	"default_reader_flush_timeout" : 1

3. Redémarrez Logtail pour appliquer la nouvelle configuration.

   /etc/init.d/ilogtaild stop && /etc/init.d/ilogtaild start                        

   Après le redémarrage, exécutez la commande /etc/init.d/ilogtaild status pour vérifier l'état de Logtail.

Variables d'environnement

Le tableau suivant établit la correspondance entre les variables d'environnement et les paramètres de démarrage de Logtail.

Fichier des paramètres de démarrage (ilogtail_config.json)

• Chemin du fichier

  • Environnement serveur

    Système d'exploitation	Logtail	Chemin
    Linux	Logtail (64 bits)	/usr/local/ilogtail/ilogtail_config.json
    Windows (64 bits)	Logtail (64 bits)	C:\Program Files\Alibaba\Logtail\ilogtail_config.json
    	Logtail (32 bits)	C:\Program Files (x86)\Alibaba\Logtail\ilogtail_config.json Remarque Un système d'exploitation Windows 64 bits peut exécuter des applications 32 et 64 bits. Pour des raisons de compatibilité, Windows stocke les applications 32 bits dans un répertoire x86 distinct.
    Windows (32 bits)	Logtail (32 bits)	C:\Program Files\Alibaba\Logtail\ilogtail_config.json

  • Environnement conteneurisé

    Le fichier ilogtail_config.json réside dans le conteneur Logtail. Son chemin est défini par la variable d'environnement ALIYUN_LOGTAIL_CONFIG, consultable via la commande docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_CONFIG. Exemple : /etc/ilogtail/conf/cn-hangzhou/ilogtail_config.json.

• Exemple de fichier

  $cat /usr/local/ilogtail/ilogtail_config.json
  {
      "config_server_address" : "http://logtail.cn-hangzhou-intranet.log.aliyuncs.com",
      "data_server_list" :
      [
          {
              "cluster" : "cn-hangzhou",
              "endpoint" : "cn-hangzhou-intranet.log.aliyuncs.com"
          }
      ],
      "cpu_usage_limit" : 0.4,
      "mem_usage_limit" : 100,
      "max_bytes_per_sec" : 2097152,
      "process_thread_count" : 1,
      "send_request_concurrency" : 15,
      "streamlog_open" : false
  }

Fichier d'identifiant utilisateur

Ce fichier contient l'ID d'un compte racine Alibaba Cloud. Il autorise Logtail à accéder au serveur et à collecter les journaux pour ce compte. Pour plus d'informations, consultez Configurer un identifiant utilisateur.

• Chemin du fichier

  • Environnement serveur

    • Linux : /etc/ilogtail/users/

    • Windows : C:\LogtailData\users\

  • Environnement conteneurisé

    L'identifiant utilisateur est stocké dans la variable d'environnement ALIYUN_LOGTAIL_USER_ID du conteneur Logtail. Exécutez la commande docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_ID pour le consulter.

• Exemple de fichier

  $ls /etc/ilogtail/users/

Fichier d'identifiant personnalisé (user_defined_id)

Le fichier user_defined_id sert à configurer un identifiant personnalisé. Pour plus d'informations, consultez Créer un groupe de machines basé sur un identifiant personnalisé.

• Chemin du fichier

  • Environnement hôte

    • Linux : /etc/ilogtail/user_defined_id.

    • Windows : C:\LogtailData\user_defined_id.

  • Environnement conteneurisé

    L'identifiant personnalisé est configuré dans la variable d'environnement ALIYUN_LOGTAIL_USER_DEFINED_ID du conteneur Logtail. Vous pouvez consulter cet identifiant en exécutant la commande docker inspect ${logtail_container_name} | grep ALIYUN_LOGTAIL_USER_DEFINED_ID.

• Exemple de fichier

  $cat /etc/ilogtail/user_defined_id
  aliyun-ecs-rs1e16355

Fichier de configuration Logtail (user_log_config.json)

Le fichier user_log_config.json est un fichier JSON qui stocke la configuration Logtail reçue de Simple Log Service. Ce fichier est mis à jour à chaque modification de la configuration Logtail. Vous pouvez vérifier ce fichier pour confirmer la bonne livraison de la configuration sur le serveur. Si le fichier existe et que son contenu correspond à la configuration Logtail dans Simple Log Service, la livraison a réussi.

• Chemin du fichier

  • Environnement hôte

    Système d'exploitation	Logtail	Chemin
    Linux	Logtail (64 bits)	/usr/local/ilogtail/user_log_config.json
    Windows (64 bits)	Logtail (64 bits)	C:\Program Files\Alibaba\Logtail\user_log_config.json
    	Logtail (32 bits)	C:\Program Files (x86)\Alibaba\Logtail\user_log_config.json Remarque Un système d'exploitation Windows 64 bits peut exécuter des applications 32 et 64 bits. Pour des raisons de compatibilité, Windows stocke les applications 32 bits dans un répertoire x86 distinct.
    Windows (32 bits)	Logtail (32 bits)	C:\Program Files\Alibaba\Logtail\user_log_config.json

  • Environnement conteneurisé

    Le fichier user_log_config.json se trouve dans le conteneur Logtail, à l'emplacement /usr/local/ilogtail/user_log_config.json.

• Exemple de fichier

  $cat /usr/local/ilogtail/user_log_config.json
  {
     "metrics" : {
        "##1.0##k8s-log-c12ba2028*****939f0b$app-java" : {
           "aliuid" : "16542189*****50",
           "category" : "app-java",
           "create_time" : 1534739165,
           "defaultEndpoint" : "cn-hangzhou-intranet.log.aliyuncs.com",
           "delay_alarm_bytes" : 0,
           "enable" : true,
           "enable_tag" : true,
           "filter_keys" : [],
           "filter_regs" : [],
           "group_topic" : "",
           "local_storage" : true,
           "log_type" : "plugin",
           "log_tz" : "",
           "max_send_rate" : -1,
           "merge_type" : "topic",
           "plugin" : {
              "inputs" : [
                 {
                    "detail" : {
                       "IncludeEnv" : {
                          "aliyun_logs_app-java" : "stdout"
                       },
                       "IncludeLable" : {
                          "io.kubernetes.container.name" : "java-log-demo-2",
                          "io.kubernetes.pod.namespace" : "default"
                       },
                       "Stderr" : true,
                       "Stdout" : true
                    },
                    "type" : "service_docker_stdout"
                 }
              ]
           },
           "priority" : 0,
           "project_name" : "k8s-log-c12ba2028c*****ac1286939f0b",
           "raw_log" : false,
           "region" : "cn-hangzhou",
           "send_rate_expire" : 0,
           "sensitive_keys" : [],
           "tz_adjust" : false,
           "version" : 1
        }
     }
  }

Fichier d'enregistrement AppInfo (app_info.json)

Le fichier app_info.json consigne les informations relatives à Logtail, notamment son heure de démarrage, son adresse IP et son nom d'hôte.

• Chemin du fichier

  • Environnement hôte

    Système d'exploitation	Logtail	Chemin du fichier app_info.json
    Linux	Logtail (64 bits)	/usr/local/ilogtail/app_info.json
    Windows (64 bits)	Logtail (64 bits)	C:\Program Files\Alibaba\Logtail\app_info.json
    	Logtail (32 bits)	C:\Program Files (x86)\Alibaba\Logtail\app_info.json Remarque Un système d'exploitation Windows 64 bits peut exécuter des applications 32 et 64 bits. Pour des raisons de compatibilité, le système stocke les applications 32 bits dans un répertoire x86 distinct.
    Windows (32 bits)	Logtail (32 bits)	C:\Program Files\Alibaba\Logtail\app_info.json

  • Environnement conteneur

    Le fichier app_info.json se trouve dans le conteneur Logtail, au chemin /usr/local/ilogtail/app_info.json.

• Exemple de fichier

  $cat /usr/local/ilogtail/app_info.json
  {
     "UUID" : "",
     "hostname" : "logtail-ds-slpn8",
     "instance_id" : "E5F93BC6-B024-11E8-8831-0A58AC14039E_1**.***.***.***_1536053315",
     "ip" : "1**.***.***.***",
     "logtail_version" : "0.16.13",
     "os" : "Linux; 3.10.0-693.2.2.el7.x86_64; #1 SMP Tue Sep 12 22:26:13 UTC 2017; x86_64",
     "update_time" : "2018-09-04 09:28:36"
  }

  Champ	Description
  UUID	Numéro de série du serveur.
  hostname	Nom d'hôte.
  instance_id	Identifiant unique généré aléatoirement pour Logtail.
  ip	Adresse IP obtenue par Logtail. Si ce champ est vide, Logtail n'a pas pu obtenir d'adresse IP et ne peut pas fonctionner. Définissez une adresse IP pour le serveur et redémarrez Logtail. Remarque Si vous créez un groupe de machines basé sur des adresses IP, assurez-vous que l'adresse IP configurée dans le groupe correspond à celle affichée ici. En cas de divergence, vérifiez l'adresse IP correcte de l'hôte. Modifiez ensuite l'adresse IP dans le groupe de machines via la console Simple Log Service, ou ajustez la valeur du paramètre working_ip comme décrit dans la rubrique Définir les paramètres de démarrage de Logtail.
  logtail_version	Version du client Logtail.
  os	Version du système d'exploitation.
  update_time	Heure du dernier démarrage de Logtail.

Journal opérationnel Logtail (ilogtail.LOG)

Le fichier ilogtail.LOG contient les journaux opérationnels de Logtail. Les niveaux de journalisation sont INFO, WARN et ERROR, classés par ordre croissant de sévérité. Les journaux de niveau INFO peuvent généralement être ignorés.

• Chemin du fichier

  • Environnement serveur

    Système d'exploitation	Logtail	Chemin
    Linux	Logtail (64 bits)	/usr/local/ilogtail/ilogtail.LOG
    Windows (64 bits)	Logtail (64 bits)	C:\Program Files\Alibaba\Logtail\ilogtail.LOG
    	Logtail (32 bits)	C:\Program Files (x86)\Alibaba\Logtail\ilogtail.LOG Remarque Un système d'exploitation Windows 64 bits peut exécuter des applications 32 et 64 bits. Pour des raisons de compatibilité, Windows stocke les applications 32 bits dans un répertoire x86 distinct.
    Windows (32 bits)	Logtail (32 bits)	C:\Program Files\Alibaba\Logtail\ilogtail.LOG

  • Environnement conteneur

    Le fichier ilogtail.LOG se trouve dans le conteneur Logtail, au chemin /usr/local/ilogtail/ilogtail.LOG.

• Exemple de fichier

  $tail /usr/local/ilogtail/ilogtail.LOG
  [2018-09-13 01:13:59.024679]    [INFO]    [3155]    [build/release64/sls/ilogtail/elogtail.cpp:123]    change working dir:/usr/local/ilogtail/
  [2018-09-13 01:13:59.025443]    [INFO]    [3155]    [build/release64/sls/ilogtail/AppConfig.cpp:175]    load logtail config file, path:/etc/ilogtail/conf/ap-southeast-1/ilogtail_config.json
  [2018-09-13 01:13:59.025460]    [INFO]    [3155]    [build/release64/sls/ilogtail/AppConfig.cpp:176]    load logtail config file, detail:{
     "config_server_address" : "http://logtail.ap-southeast-1-intranet.log.aliyuncs.com",
     "data_server_list" : [
        {
           "cluster" : "ap-southeast-1",
           "endpoint" : "ap-southeast-1-intranet.log.aliyuncs.com"
        }
  ]

Journal du plugin Logtail (logtail_plugin.LOG)

Le fichier logtail_plugin.LOG contient les journaux opérationnels du plugin Logtail. Les niveaux de journalisation, par ordre croissant de sévérité, sont INFO, WARN et ERROR. Les journaux de niveau INFO peuvent être ignorés sans risque.

Pour diagnostiquer des erreurs de collecte telles que CANAL_RUNTIME_ALARM, consultez le fichier logtail_plugin.LOG.

• Chemin du fichier

  • Environnement hôte

    Système d'exploitation	Logtail	Chemin du fichier logtail_plugin.LOG
    Linux	Logtail (64 bits)	/usr/local/ilogtail/logtail_plugin.LOG
    Windows (système d'exploitation 64 bits)	Logtail (64 bits)	C:\Program Files\Alibaba\Logtail\logtail_plugin.LOG
    	Logtail (32 bits)	C:\Program Files (x86)\Alibaba\Logtail\logtail_plugin.LOG Remarque Un système d'exploitation Windows 64 bits peut exécuter des applications 32 et 64 bits. Pour des raisons de compatibilité, Windows stocke les applications 32 bits dans un répertoire x86 distinct.
    Windows (système d'exploitation 32 bits)	Logtail (32 bits)	C:\Program Files\Alibaba\Logtail\logtail_plugin.LOG

  • Environnement conteneur

    Le fichier logtail_plugin.LOG se trouve dans le conteneur Logtail, au chemin /usr/local/ilogtail/logtail_plugin.LOG.

• Exemple

  $tail /usr/local/ilogtail/logtail_plugin.LOG
  2018-09-13 02:55:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
  2018-09-13 02:55:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop
  2018-09-13 03:00:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
  2018-09-13 03:00:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop
  2018-09-13 03:03:26 [INF] [log_file_reader.go:221] [ReadOpen] [##1.0##sls-zc-test-hz-pub$docker-stdout-config,k8s-stdout]    open file for read, file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379573    status:794354-64769-40379963
  2018-09-13 03:03:26 [INF] [log_file_reader.go:221] [ReadOpen] [##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$docker-stdout-config,k8s-stdout]    open file for read, file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379573    status:794354-64769-40379963
  2018-09-13 03:04:26 [INF] [log_file_reader.go:308] [CloseFile] [##1.0##sls-zc-test-hz-pub$docker-stdout-config,k8s-stdout]    close file, reason:no read timeout    file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379963    status:794354-64769-40379963
  2018-09-13 03:04:27 [INF] [log_file_reader.go:308] [CloseFile] [##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$docker-stdout-config,k8s-stdout]    close file, reason:no read timeout    file:/logtail_host/var/lib/docker/containers/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624/7f46afec6a14de39b59ee9cdfbfa8a70c2fa26f1148b2e2f31bd3410f5b2d624-json.log    offset:40379963    status:794354-64769-40379963
  2018-09-13 03:05:30 [INF] [docker_center.go:525] [func1] docker fetch all:start
  2018-09-13 03:05:30 [INF] [docker_center.go:529] [func1] docker fetch all:stop

Mappage des chemins de conteneurs (docker_path_config.json)

Le fichier docker_path_config.json est un fichier JSON créé uniquement lors de la collecte de journaux de conteneurs. Il enregistre les mappages de chemins entre les fichiers du conteneur et ceux de l'hôte.

Si l'erreur DOCKER_FILE_MAPPING_ALARM apparaît lors du diagnostic d'une erreur de collecte, cela indique un échec du mappage des chemins de fichiers Docker. Consultez le fichier docker_path_config.json pour résoudre le problème.

• Chemin du fichier

  /usr/local/ilogtail/docker_path_config.json

• Exemple

  $cat /usr/local/ilogtail/docker_path_config.json
  {
     "detail" : [
        {
           "config_name" : "##1.0##k8s-log-c12ba2028cfb444238cd9ac1286939f0b$nginx",
           "container_id" : "df19c06e854a0725ea7fca7e0378b0450f7bd3122f94fe3e754d8483fd330d10",
           "params" : "{\n   \"ID\" : \"df19c06e854a0725ea7fca7e0378b0450f7bd3122f94fe3e754d8483fd330d10\",\n   \"Path\" : \"/logtail_host/var/lib/docker/overlay2/947db346695a1f65e63e582ecfd10ae1f57019a1b99260b6c83d00fcd1892874/diff/var/log\",\n   \"Tags\" : [\n      \"nginx-type\",\n      \"access-log\",\n      \"_image_name_\",\n      \"registry.cn-hangzhou.aliyuncs.com/log-service/docker-log-test:latest\",\n      \"_container_name_\",\n      \"nginx-log-demo\",\n      \"_pod_name_\",\n      \"nginx-log-demo-h2lzc\",\n      \"_namespace_\",\n      \"default\",\n      \"_pod_uid_\",\n      \"87e56ac3-b65b-11e8-b172-00163f008685\",\n      \"_container_ip_\",\n      \"172.20.4.224\",\n      \"purpose\",\n      \"test\"\n   ]\n}\n"
        } 
     ],
     "version" : "0.1.0"
  }