Simple Log Service:Résoudre les problèmes de collecte courants en modifiant la configuration

Les symptômes incluent la perte ou la duplication de journaux, des tentatives de réessai fréquentes lors de l'envoi des journaux par LoongCollector, ainsi que des déconnexions ou des fluctuations réseau régulières. Les causes possibles sont les suivantes :

• Bande passante réseau insuffisante : si le volume de données des journaux collectés est important, une bande passante insuffisante peut entraîner un engorgement des journaux et une augmentation de la latence.

• Environnement réseau instable : les connexions interrégionales ou interréseaux peuvent provoquer une latence réseau ou une perte de paquets.

Solution

Utilisez les nœuds périphériques du réseau CDN (Content Delivery Network) d'Alibaba Cloud pour accélérer la collecte des journaux. Cette méthode offre des avantages significatifs en termes de latence et de stabilité réseau par rapport à la collecte via le réseau public. L'activation de cette fonctionnalité entraîne des frais supplémentaires basés sur le volume réel de données transférées.

1. Activez la fonctionnalité d'accélération du transfert interdomaines pour le projet.

2. Arrêtez LoongCollector. Connectez-vous au serveur sur lequel LoongCollector est installé et exécutez la commande sudo /etc/init.d/loongcollectord stop.

3. Modifiez le point de terminaison d'accélération. Dans le fichier /usr/local/ilogtail/ilogtail_config.json, remplacez la valeur du paramètre endpoint_list sous data_servers par log-global.aliyuncs.com. Cela modifie le nom de domaine utilisé pour la transmission des données vers le point de terminaison d'accélération.

4. Démarrez LoongCollector. Exécutez la commande sudo /etc/init.d/loongcollectord start.

Si un journal individuel est trop long, il est tronqué après la collecte. La taille maximale d'une entrée de journal unique est de 512 Ko par défaut. Simple Log Service tronque tout journal dépassant cette limite. Après la division des journaux multilignes basée sur l'expression régulière de la première ligne, chaque entrée de journal résultante reste soumise à la limite de 512 Ko. Si cette limite est dépassée, le journal est divisé en plusieurs entrées pour la collecte.

Solution

1. Dans le fichier /usr/local/ilogtail/ilogtail_config.json, modifiez la valeur du paramètre max_read_buffer_size. Si le paramètre n'existe pas, ajoutez-le. La valeur maximale de ce paramètre est de 8 Mo.

   Notez que l'utilisation de la mémoire augmente linéairement. Vous devez réserver une quantité de mémoire égale à max_read_buffer_size × file concurrency .

2. Redémarrez LoongCollector. Exécutez la commande sudo /etc/init.d/loongcollectord restart.

La collecte et la transmission des journaux peuvent sembler normales, mais certains journaux sont perdus. Cela se produit si l'horodatage d'un journal perdu diffère de l'heure actuelle du serveur Simple Log Service de plus de 15 minutes. Pour des raisons de sécurité des données, Simple Log Service valide l'horodatage de chaque requête, y compris celles provenant de LoongCollector. Il rejette les requêtes dont les horodatages diffèrent de plus de 15 minutes de l'heure du serveur. Si l'heure locale du serveur est modifiée, par exemple pour une heure future à des fins de test, les requêtes sont rejetées et les données ne peuvent pas être écrites.

Solution

1. Dans le fichier /usr/local/ilogtail/ilogtail_config.json, définissez la valeur du paramètre enable_log_time_auto_adjust sur true. Si le paramètre n'existe pas, ajoutez-le. Ce paramètre permet à l'heure du journal de s'ajuster automatiquement à l'heure locale du serveur.

   Lorsque cette fonctionnalité est activée, le décalage entre l'heure du serveur et l'heure locale du serveur est ajouté à l'heure du journal. Étant donné que le décalage n'est mis à jour que lorsqu'une requête est rejetée par Simple Log Service, l'heure du journal interrogée dans Simple Log Service peut ne pas correspondre à l'heure réelle d'écriture du journal.

2. Redémarrez LoongCollector. Exécutez la commande sudo /etc/init.d/loongcollectord restart.

Pour diverses raisons, vous pouvez avoir besoin de stocker les journaux collectés sur un serveur dans un nouveau projet.

Solution

1. Pour réutiliser la configuration de collecte, sauvegardez le contenu du fichier de configuration de collecte avant de poursuivre. Le processus de désinstallation supprime ce fichier.

2. Désinstallez LoongCollector du serveur.

3. Sélectionnez la méthode d'installation de LoongCollector appropriée en fonction de votre nouveau projet et de la configuration de votre serveur.

4. Pour transférer les données historiques vers le nouveau projet, utilisez l'une des deux méthodes suivantes :

   • Téléchargez les journaux sur votre machine locale et utilisez la fonctionnalité Importer des fichiers journaux historiques pour transférer les journaux vers le nouveau projet.

   • Utilisez la transformation des données pour répliquer les données de l'ancien projet vers le nouveau projet.