Simple Log Service:Collecter les journaux des conteneurs Docker (sortie standard/fichier)

Notes d'utilisation

• Prérequis en matière d'autorisations : Le compte Alibaba Cloud ou l'utilisateur RAM que vous utilisez pour le déploiement doit disposer de l'autorisation AliyunLogFullAccess.

• Version de Docker et prérequis pour LoongCollector :

  • Si votre version de Docker Engine est 29.0 ou ultérieure, ou si la version minimale prise en charge de l'API Docker est 1.42 ou ultérieure, vous devez utiliser LoongCollector 3.2.4 ou une version ultérieure. Dans le cas contraire, LoongCollector ne pourra pas collecter les sorties standard des conteneurs ni les journaux de fichiers.

  • Les versions 3.2.4 et ultérieures de LoongCollector prennent en charge les versions de l'API Docker allant de 1.24 à 1.48.

  • Les versions 3.2.3 et antérieures de LoongCollector prennent en charge les versions de l'API Docker allant de 1.18 à 1.41.

• Limites liées à la collecte de la sortie standard :

  • Vous devez ajouter "log-driver": "json-file" au fichier de configuration Docker, daemon.json.

  • Pour CentOS 7.4 et versions ultérieures, à l'exception de CentOS 8.0, vous devez définir fs.may_detach_mounts=1.

• Limitations de la collecte des journaux texte : Seuls les pilotes de stockage overlay et overlay2 sont pris en charge. Pour les autres types de pilotes, vous devez monter manuellement le répertoire des journaux.

Aperçu du flux de travail

1. Preparations: Créez un projet et un logstore. Un projet est une unité de gestion des ressources utilisée pour isoler les journaux de différentes applications, tandis qu'un logstore sert à stocker les journaux.

2. Configure a machine group (install LoongCollector): Installez LoongCollector sur les hôtes Docker et ajoutez-les à un groupe de machines pour la distribution centralisée de la configuration et la surveillance de l'état.

3. Create and configure log collection rules

   1. Global and input configuration : Définissez le nom de la configuration de collecte, ainsi que la source et la portée de la collecte des journaux.

   2. Log processing and structuring : Configurez des règles de traitement en fonction du format des journaux.

      • Journaux multilignes : Cela s'applique aux journaux uniques qui s'étendent sur plusieurs lignes, tels que les piles d'exceptions Java ou les tracebacks Python. Vous devez utiliser une expression régulière pour identifier le début de chaque journal.

      • Analyse structurée : Configurez des plug-ins d'analyse, tels que le plug-in d'expression régulière, de séparateur ou de mode NGINX, pour extraire les chaînes brutes sous forme de paires clé-valeur structurées. Cela facilite les requêtes et l'analyse ultérieures.

   3. Log filtering : Configurez des listes noires de collecte et des règles de filtrage de contenu pour sélectionner le contenu de journal valide. Cette pratique réduit la transmission et le stockage de données redondantes.

   4. Log categorization : Configurez des sujets et des tags de journal pour distinguer de manière flexible les journaux provenant de différentes applications, conteneurs ou sources de chemin d'accès.

4. Query and analysis configuration : L'indexation en texte intégral est activée par défaut. Activez l'indexation des champs pour effectuer des requêtes précises sur les champs structurés.

5. Validation and troubleshooting : Une fois la configuration terminée, vérifiez que les journaux sont bien collectés. Si vous rencontrez des problèmes tels que l'absence de collecte de données, des échecs de heartbeat ou des erreurs d'analyse, consultez la section FAQ.

Préparatifs

Créez un projet et un Logstore pour stocker les journaux. Si vous disposez déjà de ces ressources, passez directement à l'étape Étape 1 : Configurer un groupe de machines (installer LoongCollector).

Étape 1 : Configurer un groupe de machines (installer LoongCollector)

Déployez LoongCollector en tant que conteneur sur l'hôte Docker et ajoutez-le à un groupe de machines.

1. Tirer l'image

   Sur un hôte disposant de Docker installé, exécutez la commande suivante pour tirer l'image LoongCollector. Remplacez ${region_id} par l'ID de région de l'hôte ou d'une région voisine, par exemple cn-hangzhou, afin d'améliorer la vitesse et la stabilité du téléchargement.

   # LoongCollector image address
   docker pull aliyun-observability-release-registry.${region_id}.cr.aliyuncs.com/loongcollector/loongcollector:v3.0.12.0-25723a1-aliyun
   
   # Logtail image address
   docker pull registry.${region_id}.aliyuncs.com/log-service/logtail:v2.1.11.0-aliyun

2. Démarrer le conteneur LoongCollector

   Exécutez la commande suivante pour démarrer le conteneur. Assurez-vous de monter correctement les répertoires et de définir les variables d'environnement requises :

   docker run -d \
       -v /:/logtail_host:ro \
       -v /var/run/docker.sock:/var/run/docker.sock \
       --env ALIYUN_LOGTAIL_CONFIG=/etc/ilogtail/conf/${sls_upload_channel}/ilogtail_config.json \
       --env ALIYUN_LOGTAIL_USER_ID=${aliyun_account_id} \
       --env ALIYUN_LOGTAIL_USER_DEFINED_ID=${user_defined_id} \
       aliyun-observability-release-registry.${region_id}.cr.aliyuncs.com/loongcollector/loongcollector:v3.0.12.0-25723a1-aliyun

   Description des paramètres :

   • ${sls_upload_channel} : Le canal de téléchargement des journaux. Le format est Projet Région-Type de transfert réseau. Exemple :

     Type de transfert	Format de la valeur de configuration	Exemple	Scénarios
     Transfert via le réseau interne	regionId	cn-hangzhou	L'instance ECS et le projet se trouvent dans la même région.
     Transfert via Internet	regionId-internet	cn-hangzhou-internet	L'instance ECS et le projet se trouvent dans des régions différentes. Le serveur provient d'un autre fournisseur de cloud ou d'un centre de données autonome.
     Accélération du transfert	regionId-acceleration	cn-hangzhou-acceleration	Communication interrégionale au sein et en dehors de la Chine.

   • ${aliyun_account_id} : L'ID du compte Alibaba Cloud.

   • ${user_defined_id} : L'ID personnalisé du groupe de machines. Cet ID est utilisé pour lier le groupe de machines. Par exemple, utilisez user-defined-docker-1. L'ID doit être unique au sein de la région.

     Important

     Les conditions de démarrage suivantes doivent être respectées :

     • Les trois variables d'environnement clés sont correctement configurées :

       ALIYUN_LOGTAIL_CONFIG, ALIYUN_LOGTAIL_USER_ID et ALIYUN_LOGTAIL_USER_DEFINED_ID.

     • Le répertoire /var/run/docker.sock est monté. Ce répertoire est utilisé pour écouter les événements du cycle de vie des conteneurs.

     • Le répertoire racine / est monté sur /logtail_host. Cela permet d'accéder au système de fichiers de l'hôte.

3. Vérifier l'état d'exécution du conteneur

   docker ps | grep loongcollector

   Exemple de sortie attendue :

   6ad510001753   aliyun-observability-release-registry.cn-beijing.cr.aliyuncs.com/loongcollector/loongcollector:v3.0.12.0-25723a1-aliyun   "/usr/local/ilogtail…"   About a minute ago   Up About a minute             recursing_shirley

4. Configurer le groupe de machines

   Dans le volet de navigation de gauche, sélectionnez Resources > Machine Groups, cliquez sur > Create Machine Group, configurez les paramètres suivants et cliquez sur OK :

   • Name : Saisissez un nom personnalisé pour le groupe de machines, par exemple docker-host-group.

   • Machine Group Identifier : Sélectionnez Custom Identifier.

   • Custom Identifier : Saisissez l'${user_defined_id} que vous avez défini lors du démarrage du conteneur. L'ID doit correspondre exactement. Sinon, l'association échouera.

5. Vérifier l'état du heartbeat du groupe de machines

   Cliquez sur le nom du nouveau groupe de machines pour accéder à la page des détails et vérifier l'Machine Group Status :

   • OK: Indique que LoongCollector est connecté à SLS.

   • FAIL: Résoudre les erreurs de heartbeat.

Étape 2 : Créer et configurer des règles de collecte de journaux

Définissez les sources de journaux, les règles d'analyse, les filtres de contenu et les liaisons de groupes de machines.

1. Sur la page Logstores, cliquez sur l'icône située à côté du nom du logstore cible.

2. Cliquez sur à côté de Data Collection. Dans la boîte de dialogue Quick Data Import , sélectionnez un modèle en fonction de la source des journaux et cliquez sur Integrate Now .

   • Sortie standard Docker : Sélectionnez Docker Stdout and Stderr - New Version .

     Deux modèles (ancien et nouveau) sont disponibles pour la sortie standard des conteneurs. Utilisez la nouvelle version. Pour connaître les différences entre les versions, consultez la section Annexe : Comparaison des anciennes et nouvelles versions de la sortie standard des conteneurs . Pour l'ancienne version : Collecter la sortie standard des conteneurs Docker (Ancienne version) .

   • Journaux de fichiers Docker : Sélectionnez Docker File - Container .

3. Configurez le Machine Group et cliquez sur Next .

   • Scenario : Sélectionnez Docker Containers .

   • Déplacez le groupe de machines que vous avez créé à l'Étape 1 de la liste des groupes de machines sources vers la liste des groupes de machines appliqués.

4. Sur la page Logtail Configuration , configurez les paramètres suivants et cliquez sur Next .

192.168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36"

body_bytes_sent: 368
http_referer: -
http_user_agent : Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.x.x Safari/537.36
remote_addr:192.168.*.*
remote_user: -
request_length: 514
request_method: GET
request_time: 0.000
request_uri: /nginx-logo.png
status: 200
time_local: 15/Apr/2025:16:40:00

{"level":"WARNING","timestamp":"2025-09-23T19:11:40+0800","cluster":"yilu-cluster-0728","message":"Disk space is running low","freeSpace":"15%"}
{"level":"ERROR","timestamp":"2025-09-23T19:11:42+0800","cluster":"yilu-cluster-0728","message":"Failed to connect to database","errorCode":5003}
{"level":"INFO","timestamp":"2025-09-23T19:11:47+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}

{"level":"WARNING","timestamp":"2025-09-23T19:11:40+0800","cluster":"yilu-cluster-0728","message":"Disk space is running low","freeSpace":"15%"}
{"level":"ERROR","timestamp":"2025-09-23T19:11:42+0800","cluster":"yilu-cluster-0728","message":"Failed to connect to database","errorCode":5003}

Étape 3 : Configurer la requête et l'analyse

Une fois la configuration du traitement des journaux et des plug-ins terminée, cliquez sur Next pour accéder à la page Query and Analysis Configurations :

• Le système active l'Index full-text par défaut, qui prend en charge les recherches par mots-clés sur le contenu brut du journal.

• Pour effectuer des requêtes précises par champ, cliquez sur Automatic Index Generation après le chargement des données Preview Data sur la page. SLS génère un index de champ basé sur la première entrée des données d'aperçu.

Une fois la configuration terminée, cliquez sur Next pour finaliser la configuration de l'ensemble du processus de collecte.

Étape 4 : Valider et dépanner

Une fois la configuration de collecte terminée et appliquée au groupe de machines, le système distribue automatiquement la configuration et commence à collecter les journaux incrémentiels.

Étapes suivantes

1. Requête et analyse des journaux :

2. Visualisation des données : Utilisez des tableaux de bord de visualisation pour surveiller les tendances des métriques clés.

3. Alerte automatique pour les anomalies de données : Configurez des politiques d'alerte pour être informé des anomalies système en temps réel.

Commandes courantes

Afficher le statut d'exécution de LoongCollector (Logtail)

docker exec ${logtail_container_id} /etc/init.d/ilogtaild status

Afficher des informations telles que le numéro de version, l'adresse IP et l'heure de démarrage de LoongCollector (Logtail)

docker exec ${logtail_container_id} cat /usr/local/ilogtail/app_info.json

Afficher les journaux d'exécution de LoongCollector (Logtail)

# View LoongCollector running logs
docker exec a287de895e40 tail -n 5 /usr/local/ilogtail/loongcollector.LOG

# View Logtail running logs
docker exec a287de895e40 tail -n 5 /usr/local/ilogtail/ilogtail.LOG

[2025-08-25 09:17:44.610496]    [info]  [22]    /build/loongcollector/file_server/polling/PollingModify.cpp:75          polling modify resume:succeeded
[2025-08-25 09:17:44.610497]    [info]  [22]    /build/loongcollector/file_server/polling/PollingDirFile.cpp:100                polling discovery resume:starts
[2025-08-25 09:17:44.610498]    [info]  [22]    /build/loongcollector/file_server/polling/PollingDirFile.cpp:103                polling discovery resume:succeeded
[2025-08-25 09:17:44.610499]    [info]  [22]    /build/loongcollector/file_server/FileServer.cpp:117            file server resume:succeeded
[2025-08-25 09:17:44.610500]    [info]  [22]    /build/loongcollector/file_server/EventDispatcher.cpp:1019              checkpoint dump:succeeded

Redémarrer LoongCollector (Logtail)

# Stop loongcollector
docker exec a287de895e40 /etc/init.d/ilogtaild stop

# Start loongcollector
docker exec a287de895e40 /etc/init.d/ilogtaild start

FAQ

Messages d'erreur courants

Journal d'erreur : The parameter is invalid : uuid=none

Description du problème : Le journal LoongCollector (Logtail) (/usr/local/ilogtail/ilogtail.LOG) contient le journal d'erreur The parameter is invalid : uuid=none.

Solution : Créez un fichier product_uuid sur l'hôte, saisissez un UUID valide quelconque, tel que 169E98C9-ABC0-4A92-B1D2-AA6239C0D261, et montez ce fichier dans le répertoire /sys/class/dmi/id/product_uuid du conteneur LoongCollector (Logtail).

Annexe : Présentation détaillée des plugins d'analyse natifs

127.0.0.1 - - [16/Aug/2024:14:37:52 +0800] "GET /wp-admin/admin-ajax.php?action=rest-nonce HTTP/1.1" 200 41 "http://www.example.com/wp-admin/post-new.php?post_type=page" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"

body_bytes_sent: 41
http_referer: http://www.example.com/wp-admin/post-new.php?post_type=page
http_user_agent: Mozilla/5.0 (Windows NT 10.0; ×64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0
remote_addr: 127.0.0.1
remote_user: -
request_method: GET
request_protocol: HTTP/1.1
request_uri: /wp-admin/admin-ajax.php?action=rest-nonce
status: 200
time_local: 16/Aug/2024:14:37:52 +0800

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

{"level":"INFO","timestamp":"2025-09-23T19:11:47+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}

Annexe : Limites des expressions régulières (filtrage de conteneur)

Les expressions régulières utilisées pour le Container Filtering reposent sur le moteur RE2 de Go, qui présente certaines limitations syntaxiques par rapport à d'autres moteurs tels que PCRE. Tenez compte des points suivants lors de la rédaction d'expressions régulières :

Annexe : Comparaison des anciennes et nouvelles versions de la sortie standard des conteneurs

Le format des métadonnées de journal pour la sortie standard des conteneurs a été mis à niveau. Le nouveau format consolide les métadonnées dans le champ __tag__ pour optimiser le stockage et normaliser le format.

1. Principaux avantages de la nouvelle version de la sortie standard

   • Amélioration significative des performances

     • Refonte en C++ : les performances sont améliorées de 180 % à 300 % par rapport à l'ancienne implémentation Go.

     • Prise en charge des plugins natifs pour le traitement des données et le traitement parallèle multithread, exploitant pleinement les ressources système.

     • Combinaison flexible des plugins natifs et Go pour répondre aux exigences des scénarios complexes.

   • Fiabilité accrue

     • Prise en charge d'une file d'attente de rotation des journaux de sortie standard. Le mécanisme de collecte des journaux est unifié avec le mécanisme de collecte de fichiers, offrant une grande fiabilité dans les scénarios où la rotation des journaux de sortie standard est rapide.

   • Consommation réduite des ressources

     • L'utilisation du CPU est réduite de 20 % à 25 %.

     • L'utilisation de la mémoire est réduite de 20 % à 25 %.

   • Cohérence opérationnelle et maintenance améliorées

     • Configuration unifiée des paramètres : les paramètres de configuration du nouveau plugin de collecte de sortie standard sont cohérents avec ceux du plugin de collecte de fichiers.

     • Gestion unifiée des métadonnées : la dénomination des champs de métadonnées des conteneurs et l'emplacement de stockage des journaux de tags sont unifiés avec le scénario de collecte de fichiers. Le côté consommateur n'a besoin de maintenir qu'un seul ensemble de logique de traitement.

2. Comparaison des fonctionnalités des nouvelles et anciennes versions

   Dimension fonctionnelle	Fonctionnalités de l'ancienne version	Fonctionnalités de la nouvelle version
   Méthode de stockage	Les métadonnées sont directement intégrées dans le contenu du journal en tant que champ normal.	Les métadonnées sont centralisées dans le tag __tag__.
   Efficacité de stockage	Chaque journal transporte l'intégralité des métadonnées de manière répétée, ce qui consomme davantage d'espace de stockage.	Plusieurs journaux dans le même contexte peuvent réutiliser les métadonnées, ce qui permet de réduire les coûts de stockage.
   Cohérence du format	Incohérent avec le format de collecte de fichiers de conteneur.	La dénomination des champs et la structure de stockage sont entièrement alignées sur la collecte de fichiers de conteneur, offrant une expérience unifiée.
   Méthode d'accès aux requêtes	Possibilité d'interroger directement par nom de champ, par exemple _container_name_.	Nécessite l'accès à la paire clé-valeur correspondante via __tag__, par exemple __tag__: _container_name_.

3. Tableau de mappage des champs de métadonnées des conteneurs

   Nom du champ de l'ancienne version	Nom du champ de la nouvelle version
   _container_ip_	__tag__:_container_ip_
   _container_name_	__tag__:_container_name_
   _image_name_	__tag__:_image_name_
   _namespace_	__tag__:_namespace_
   _pod_name_	__tag__:_pod_name_
   _pod_uid_	__tag__:_pod_uid_

   Dans la nouvelle version, tous les champs de métadonnées sont stockés dans la zone de tag du journal au format __tag__:<key>, plutôt que d'être intégrés dans le contenu du journal.

4. Impact des changements de la nouvelle version sur les utilisateurs

   • Adaptation côté consommateur : Étant donné que l'emplacement de stockage est passé du « contenu » au « tag », la logique de consommation des journaux doit être ajustée en conséquence. Par exemple, vous devez accéder aux champs via __tag__ lors des requêtes.

   • Compatibilité SQL : Le SQL de requête a été automatiquement adapté pour assurer la compatibilité ; les utilisateurs n'ont donc pas besoin de modifier leurs instructions de requête pour traiter simultanément les journaux des nouvelles et anciennes versions.

Pour en savoir plus

[2023-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened
    at TestPrintStackTrace.f(TestPrintStackTrace.java:3)
    at TestPrintStackTrace.g(TestPrintStackTrace.java:7)
    at TestPrintStackTrace.main(TestPrintStackTrace.java:16)