Simple Log Service:Gestion de la configuration

Gérez le cycle de vie, les paramètres de démarrage et les configurations d'exécution de LoongCollector après l'installation.

Commandes courantes de LoongCollector

Démarrer, arrêter et redémarrer LoongCollector

Si vous avez des exigences spécifiques en matière de performances de collecte, modifiez le fichier de configuration des paramètres de démarrage (ilogtail_config.json) avant de démarrer LoongCollector.

sudo /etc/init.d/loongcollectord start # Start
sudo /etc/init.d/loongcollectord stop # Stop
sudo /etc/init.d/loongcollectord restart # Restart

Vérifier l'état de LoongCollector

sudo /etc/init.d/loongcollectord status # "loongcollector is running" indicates the agent started successfully.

Vérifier la version de LoongCollector

cat /usr/local/ilogtail/app_info.json # The version is in the loongcollector_version field.

Fichier de configuration des paramètres de démarrage (ilogtail_config.json)

• Configure les paramètres de démarrage de LoongCollector. Des paramètres incorrects peuvent dégrader les performances de collecte ou provoquer des erreurs.

• Chemin du fichier : /usr/local/ilogtail/ilogtail_config.json.

• Cas d'utilisation : SLS limite les performances de collecte de LoongCollector afin d'éviter une consommation excessive des ressources du serveur qui pourrait affecter d'autres services. Si les performances de collecte de LoongCollector ne répondent pas à vos besoins, modifiez les paramètres de démarrage. Pour plus d'informations sur les cas d'utilisation spécifiques, consultez la rubrique Résoudre les problèmes de collecte courants en modifiant les configurations.

• Exemple de fichier :

  {
      "primary_region" : "cn-beijing", // Default region. You can ignore this parameter.
      "config_servers" : // The address used to obtain collection configurations.
      [
          "http://logtail.cn-beijing.log.aliyuncs.com"
      ],
      "data_servers" : // The address for data transmission with Simple Log Service (SLS).
      [
          {
              "region" : "cn-beijing",
              "endpoint_list": [
                  "cn-beijing.log.aliyuncs.com"
              ]
          }
      ],
      "cpu_usage_limit" : 0.4,
      "mem_usage_limit" : 384,
      "max_bytes_per_sec" : 20971520,
      "bytes_per_sec" : 1048576,
      "buffer_file_num" : 25,
      "buffer_file_size" : 20971520,
      "buffer_map_num" : 5
  }

• Le tableau suivant répertorie les paramètres de démarrage courants. Ajoutez ou modifiez-les selon vos besoins et conservez les valeurs par défaut pour tous les paramètres non répertoriés.

  Paramètres de démarrage ilogtail_config.json

  Paramètre	Type	Description	Exemple
  cpu_usage_limit	double	Seuil d'utilisation du CPU, basé sur un seul cœur de processeur. Valeurs valides : de 0,1 au nombre de cœurs CPU de la machine. Valeur par défaut : 0,4 Avertissement Le paramètre cpu_usage_limit constitue une limite souple. L'utilisation réelle du CPU peut dépasser cette valeur. Si la limite est dépassée pendant cinq minutes consécutives, un disjoncteur se déclenche et LoongCollector redémarre automatiquement. Par exemple, si vous définissez ce paramètre sur 0,4, SLS tente de limiter l'utilisation du CPU du collecteur à 40 % d'un seul cœur de processeur. Si l'utilisation dépasse cette limite, LoongCollector redémarre. En règle générale, un seul cœur peut traiter environ 100 Mo/s en mode minimaliste ou 20 Mo/s en mode d'expression régulière complète.	"cpu_usage_limit" : 0,4
  mem_usage_limit	int	Seuil d'utilisation de la mémoire en mégaoctets (Mo). Valeurs valides : de 128 Mo à 8 192 Mo Valeur par défaut : 384 Mo (pour les hôtes), 2 048 Mo (pour les composants ACK) Avertissement Le paramètre mem_usage_limit constitue une limite souple. L'utilisation réelle de la mémoire peut dépasser cette valeur. Si la limite est dépassée pendant cinq minutes consécutives, un disjoncteur se déclenche et LoongCollector redémarre automatiquement. Le paramètre mem_usage_limit affecte le taux de collecte, le nombre de répertoires et de fichiers surveillés, ainsi que la congestion lors de l'envoi. Pour plus d'informations, consultez la rubrique Limites.	"mem_usage_limit" : 384
  max_bytes_per_sec	int	Taux d'envoi maximal pour les données brutes, en octets par seconde. Valeurs valides : de 1 024 octets/s à 52 428 800 octets/s Valeur par défaut : 20 971 520 octets/s (20 Mo/s = 20 × 1 024 × 1 024 = 20 971 520 octets/s) Important Une valeur supérieure à 20 971 520 octets/s (20 Mo/s) indique qu'il n'y a aucune limitation de vitesse. Par exemple, si vous définissez ce paramètre sur 1048576, le taux d'envoi des données est de 1 Mo/s.	"max_bytes_per_sec" : 1048576
  process_thread_count	int	Nombre de threads de traitement des données. Valeurs valides : de 1 à 64 Valeur par défaut : 1 Un seul thread peut généralement gérer 24 Mo/s d'écritures de données en mode minimaliste ou 12 Mo/s en mode d'expression régulière complète. Vous n'avez pas besoin d'ajuster la valeur de ce paramètre dans des circonstances normales.	"process_thread_count" : 1
  send_request_concurrency	int	Niveau de concurrence asynchrone. Valeurs valides : de 15 à 80 Valeur par défaut : 15 Si le débit d'écriture (TPS) est élevé, augmentez la valeur de concurrence asynchrone. Estimez qu'une requête simultanée prend en charge environ 0,5 Mo/s à 1 Mo/s de débit réseau, selon la latence du réseau. Remarque Définir une valeur de concurrence asynchrone trop élevée peut consommer trop de ports réseau, ce qui nécessite d'ajuster les paramètres liés à TCP.	"send_request_concurrency" : 15
  buffer_file_num	int	Nombre maximal de fichiers de cache. Valeurs valides : de 1 à 100 Valeur par défaut : 25 En cas de problèmes réseau ou de dépassement du quota d'écriture, le collecteur met en cache les journaux analysés dans des fichiers locaux situés dans le répertoire d'installation. Il réessaie de les envoyer une fois le problème résolu.	"buffer_file_num" : 25
  buffer_file_size	int	Taille maximale d'un seul fichier de cache en octets. Valeurs valides : de 1 048 576 octets à 104 857 600 octets Valeur par défaut : 20 971 520 octets L'espace disque maximal pour les fichiers de cache est égal à buffer_file_size * buffer_file_num.	"buffer_file_size" : 20971520
  buffer_file_path	String	Répertoire de stockage des fichiers de cache. La valeur par défaut est vide, ce qui signifie que les fichiers de cache sont stockés dans le répertoire d'installation /usr/local/ilogtail. Si vous définissez ce paramètre, déplacez manuellement les fichiers nommés logtail_buffer_file_* du répertoire d'origine vers le nouveau répertoire. Cela garantit que le collecteur peut lire les fichiers de cache, envoyer les données, puis supprimer les fichiers.	"buffer_file_path" : ""
  bind_interface	String	Nom de la carte d'interface réseau à lier. Si ce champ est laissé vide, LoongCollector se lie automatiquement à une carte disponible. Si vous définissez ce paramètre sur une carte d'interface réseau spécifique, telle que eth1, LoongCollector utilise cette carte pour télécharger les journaux. Remarque Il est recommandé d'utiliser working_interface. Si les deux sont configurés, la valeur de working_interface prévaut.	"bind_interface" : ""
  working_interface	String	Nom de la carte d'interface réseau à lier. Si ce champ est laissé vide, LoongCollector se lie automatiquement à une carte disponible. Si vous définissez ce paramètre sur une carte d'interface réseau spécifique, telle que eth1, LoongCollector utilise cette carte pour télécharger les journaux.	"working_interface" : ""
  check_point_filename	String	Chemin d'enregistrement du fichier de point de contrôle. Valeur par défaut : /tmp/logtail_check_point.	"check_point_filename" : "/tmp/logtail_check_point"
  check_point_dump_interval	int	Intervalle de mise à jour du fichier de point de contrôle, en secondes. La valeur par défaut est 900 (15 minutes).	"check_point_dump_interval" : 900
  user_config_file_path	String	Chemin d'enregistrement du fichier de configuration. Par défaut, il s'agit du répertoire du binaire du processus et le nom du fichier est user_log_config.json.	"user_config_file_path" : "user_log_config.json"
  discard_old_data	Boolean	Indique s'il faut ignorer les journaux historiques. Valeur par défaut : true. Si ce paramètre est défini sur true, les journaux datant de plus de 12 heures sont ignorés.	"discard_old_data" : true
  ilogtail_discard_interval	int	Seuil d'âge pour l'ignorance des journaux historiques, en secondes. Valeur par défaut : 43 200 (12 heures).	"ilogtail_discard_interval": 43200
  working_ip	String	Spécifie l'adresse IP signalée par le serveur. Si ce champ est laissé vide, l'adresse IP est obtenue automatiquement à partir du serveur.	"working_ip" : ""
  working_hostname	String	Spécifie le nom d'hôte signalé par le serveur. Si ce champ est laissé vide, le nom d'hôte est obtenu automatiquement à partir du serveur.	"working_hostname" : ""
  max_read_buffer_size	long	Taille maximale d'une seule entrée de journal, en octets. Valeur par défaut : 524 288 (512 Ko). Valeur maximale : 8 388 608 (8 Mo). Si une seule entrée de journal dépasse 524 288 octets, augmentez la valeur de ce paramètre.	"max_read_buffer_size" : 524288
  oas_connect_timeout	long	Délai de connexion pour les requêtes visant à obtenir les configurations de collecte ou les informations AccessKey, en secondes. Valeur par défaut : 5. Augmentez cette valeur pour les connexions réseau lentes.	"oas_connect_timeout" : 5
  oas_request_timeout	long	Délai total de requête pour les demandes visant à obtenir les configurations de collecte ou les informations AccessKey, en secondes. Valeur par défaut : 10. Augmentez cette valeur si les requêtes expirent en raison d'un réseau lent.	"oas_request_timeout" : 10
  data_server_port	long	Si vous définissez data_server_port sur 443, les données sont envoyées à SLS via HTTPS.	"data_server_port": 443
  enable_log_time_auto_adjust	Boolean	Si vous définissez enable_log_time_auto_adjust sur true, l'heure du journal s'ajuste automatiquement à l'heure locale du serveur. Pour des raisons de sécurité des données, SLS valide l'horodatage de chaque requête, y compris celles provenant de LoongCollector. Il rejette les requêtes dont l'horodatage diffère de plus de 15 minutes de l'heure du serveur SLS. Le collecteur inclut l'heure locale du serveur dans ses requêtes. Si l'heure locale du serveur est modifiée (par exemple, avancée pour des tests), les requêtes peuvent être rejetées et les écritures de données peuvent échouer. Utilisez ce paramètre pour permettre à l'heure du journal de s'adapter à l'heure locale du serveur. Important Lorsque cette fonctionnalité est activée, le décalage entre l'heure SLS et l'heure locale du serveur est ajouté à l'heure du journal. Étant donné que le décalage n'est mis à jour que lorsqu'une requête est rejetée par le serveur SLS, l'heure du journal que vous interrogez dans SLS peut ne pas correspondre à l'heure d'écriture réelle. Une partie de la logique de LoongCollector repose sur une heure système monotone croissante. Nous vous recommandons de redémarrer le collecteur après avoir ajusté l'heure de la machine.	"enable_log_time_auto_adjust": true
  accept_multi_config	Boolean	Indique s'il est permis à plusieurs configurations de collecte de collecter des journaux à partir du même fichier. Valeur par défaut : false. Par défaut, un fichier ne peut être collecté que par une seule configuration de collecte. Vous pouvez utiliser ce paramètre pour lever cette restriction. Le traitement de chaque configuration de collecte est indépendant. Autoriser plusieurs configurations à collecter à partir du même fichier multiplie la consommation de CPU et de mémoire.	"accept_multi_config": true
  enable_checkpoint_sync_write	Boolean	Indique s'il faut activer la fonctionnalité d'écriture synchrone. Valeur par défaut : false. La fonctionnalité d'écriture synchrone est principalement utilisée avec la fonctionnalité d'écriture ExactlyOnce. Lorsque ExactlyOnce est activé, le collecteur enregistre des informations de point de contrôle granulaires au niveau des fichiers sur le disque local. Toutefois, pour des raisons de performances, l'appel sync n'est pas utilisé par défaut lors de l'écriture des points de contrôle. Si la machine redémarre avant que les données du tampon ne soient écrites sur le disque, le point de contrôle peut être perdu. Dans ce cas, définissez enable_checkpoint_sync_write sur true pour activer les écritures synchrones. Pour plus d'informations, consultez la rubrique Configuration Logtail (ancienne version).	"enable_checkpoint_sync_write": false
  enable_env_ref_in_config	Boolean	Indique s'il faut activer le remplacement des variables d'environnement dans les configurations de collecte. Valeur par défaut : false. Lorsque cette fonctionnalité est activée, vous pouvez utiliser ${xxx} dans la configuration de collecte de la console comme espace réservé pour la variable d'environnement xxx. Par exemple, si vous définissez le chemin de collecte sur /${xxx}/logs et que la variable d'environnement est xxx=user, le chemin de collecte effectif est /user/logs. Si votre configuration doit utiliser les caractères littéraux ${ ou }, vous pouvez les échapper en utilisant $${ et $}.	"enable_env_ref_in_config": false
  logreader_max_rotate_queue_size	Int	Longueur maximale de la file d'attente de rotation. Valeur par défaut : 20. Lorsque la collecte de journaux est bloquée ou retardée, les fichiers en attente de collecte conservent leurs descripteurs de fichiers et attendent dans cette file d'attente. Si la collecte est retardée et que vous devez contrôler l'utilisation maximale du disque, envisagez de réduire cette valeur. Avertissement Si le nombre de fichiers retardés dépasse cette valeur, la collecte de nouveaux fichiers est ignorée.	"logreader_max_rotate_queue_size" : 10
  data_endpoint_policy	string	Politique de basculement pour les endpoints SLS. Valeurs valides : Remarque Vérifiez le paramètre data_server dans le fichier ilogtail_config.json pour voir si un endpoint par défaut est configuré. designated_first (par défaut) Si un endpoint par défaut est spécifié pour une région et qu'il est disponible, le système utilise l'endpoint par défaut. Si un endpoint par défaut est spécifié pour une région mais qu'il n'est pas disponible, le système sélectionne automatiquement un endpoint disponible. Si aucun endpoint par défaut n'est spécifié pour une région, le système sélectionne automatiquement un endpoint disponible. designated_locked Si un endpoint par défaut est spécifié pour une région, le système utilise uniquement cet endpoint, quelle que soit sa disponibilité. Si aucun endpoint par défaut n'est spécifié pour une région, le système sélectionne automatiquement un endpoint disponible.	"data_endpoint_policy" : "designated_first"
  inotify_black_list	Array<String>	Liste noire de correspondance exacte pour l'écouteur inotify. Les répertoires figurant dans cette liste sont exclus de la surveillance inotify.	"inotify_black_list": ["/tmp"]
  host_path_blacklist	String	Liste noire globale pour les chemins d'hôte, correspondant par sous-chaîne. Sous Linux, séparez plusieurs sous-chaînes par deux-points (:). Par exemple, "host_path_blacklist" : "/volumes/kubernetes.io~csi/nas-" empêche la collecte de données à partir des montages NAS.	"host_path_blacklist" : "/volumes/kubernetes.io~csi/nas-"
  LOGTAIL_LOG_LEVEL	String	Niveau de journalisation, qui doit être configuré comme variable d'environnement. La valeur par défaut est vide, ce qui correspond à info. Les valeurs valides sont trace, debug, info, warning, error et fatal.	LOGTAIL_LOG_LEVEL=info
  FORCE_RELEASE_STOP_CONTAINER_FILE	Boolean	Configuration : ce paramètre ne peut être configuré que comme variable d'environnement. Description : lorsque ce paramètre est défini sur true, le collecteur libère immédiatement le descripteur de fichier du conteneur lorsque le conteneur d'application s'arrête. Cette opération empêche le conteneur de ne pas pouvoir se fermer en raison d'un descripteur de fichier non libéré. Remarques : Ce paramètre ne garantit pas l'exhaustivité de la collecte des données du conteneur. Nous vous recommandons d'ajouter un délai de quelques secondes avant la fermeture de votre application pour vous assurer que tous les journaux sont collectés.	"FORCE_RELEASE_STOP_CONTAINER_FILE" : "true"

Optimisation des performances

SLS limite la consommation de ressources de LoongCollector afin d'éviter qu'elle n'affecte d'autres services. Modifiez les paramètres de démarrage pour améliorer les performances de collecte.

Autres fichiers de configuration courants

LoongCollector utilise les fichiers de configuration et d'information suivants lors de l'exécution.

Configuration de collecte (user_log_config.json)

• Description : enregistre la configuration de collecte que LoongCollector obtient auprès de Simple Log Service (SLS). Le fichier est mis à jour chaque fois que la configuration de collecte change. Ne modifiez pas ce fichier, sauf pour configurer manuellement des informations sensibles telles qu'un AccessKey ou des mots de passe de base de données.

• Chemin : /usr/local/ilogtail/user_log_config.json.

• Cas d'utilisation : vérifiez ce fichier pour confirmer si une configuration de collecte a été transmise au serveur. Si ce fichier existe et que son contenu correspond à la configuration de collecte dans SLS, la configuration a été transmise avec succès.

Fichier AppInfo (app_info.json)

• Description : enregistre l'heure de démarrage de LoongCollector, l'adresse IP récupérée et le nom d'hôte. Ce fichier est en lecture seule ; toute modification ne prend pas effet.

• Chemin : /usr/local/ilogtail/app_info.json.

• Cas d'utilisation : affichez l'adresse IP du serveur identifiée par SLS pour vérifier qu'elle correspond à l'adresse IP du groupe de machines basé sur l'IP. Cela est généralement utilisé pour résoudre les problèmes d'échec de heartbeat dans les groupes de machines basés sur l'IP.

  LoongCollector récupère l'adresse IP selon l'ordre de priorité suivant : le paramètre working_ip dans ilogtail_config.json, la liaison nom d'hôte-IP dans le fichier /etc/hosts du serveur et l'adresse IP de la première carte d'interface réseau.

Journal d'exécution de LoongCollector (loongcollector.LOG)

• Description : enregistre les journaux d'exécution de LoongCollector. Les niveaux de journalisation, du plus bas au plus élevé, sont INFO, WARN et ERROR.

• Chemin : /usr/local/ilogtail/loongcollector.LOG.

• Cas d'utilisation : en cas d'erreur de collecte, utilisez d'abord la rubrique Diagnostiquer et surveiller LoongCollector pour vérifier les erreurs. Ensuite, résolvez le problème en utilisant les types d'erreurs de collecte de journaux et le journal d'exécution de LoongCollector.

Fichier d'ID utilisateur

• Description : contient l'ID du compte Alibaba Cloud du projet auquel appartiennent les journaux collectés. Le nom du fichier est l'ID du compte, sans suffixe. Sa présence indique que ce compte dispose de l'autorisation de collecter des journaux à partir de ce serveur.

• Chemin : /etc/ilogtail/users/{ID du compte Alibaba Cloud}.

• Cas d'utilisation : configurez un ID utilisateur uniquement lors de la collecte de journaux à partir d'instances ECS appartenant à d'autres comptes, de serveurs gérés par vos soins ou de serveurs d'autres fournisseurs cloud. Si plusieurs comptes doivent collecter des journaux à partir du même serveur, créez plusieurs fichiers d'ID utilisateur sur ce serveur.

Fichier d'identifiant personnalisé

• Description : configure un identifiant personnalisé utilisé comme valeur pour un groupe de machines à identifiant personnalisé, ce qui aide SLS à découvrir LoongCollector sur le serveur et à établir un heartbeat.

• Chemin : /etc/ilogtail/user_defined_id.

• Cas d'utilisation : requis lors de l'utilisation d'un groupe de machines à identifiant personnalisé. Pour plus d'informations, consultez la rubrique Associer un groupe de machines à une configuration de collecte.

Fichier de point de contrôle

• Description : enregistre la position de collecte actuelle pour garantir l'intégrité des données.

• Chemin : le chemin par défaut est /tmp/logtail_check_point.

• Cas d'utilisation : gérez le fichier de point de contrôle en modifiant le fichier de paramètres de démarrage. Pour plus d'informations, consultez la rubrique Limites.