Simple Log Service:Collecte groupée de journaux texte serveur

Procédure :

1. Sur la page Logstores , cliquez sur à côté du nom du logstore cible pour le développer.

2. Cliquez sur Data Collection > Logtail Configurations. Dans l'onglet One-time Logtail Configuration, cliquez sur Add Logtail Configuration.

3. Dans la boîte de dialogue Quick Data Import, cliquez sur Integrate Now sur la carte One-Time File Collection - Host.

4. Sur la page Machine Group Configurations, configurez les paramètres suivants :

   • Scenario : Servers

   • Installation Environment : ECS

   • Select Machine Group : Sélectionnez une action en fonction de l'état de LoongCollector et du groupe de machines sur le serveur cible :

     • Si LoongCollector est installé et a été ajouté à un groupe de machines, sélectionnez-le dans la liste Source Machine Group et ajoutez-le à la liste Applied Machine Group. Vous n'avez pas besoin d'en créer un nouveau.

     • Si LoongCollector n'est pas installé, cliquez sur Create Machine Group :

       Les étapes suivantes décrivent le processus en un clic pour installer LoongCollector et créer un groupe de machines.

       1. Le système répertorie automatiquement les instances ECS situées dans la même région que le projet. Sélectionnez une ou plusieurs instances à partir desquelles vous souhaitez collecter des journaux.

       2. Cliquez sur Install and Create Machine Group. Le système installe automatiquement LoongCollector sur les instances ECS sélectionnées.

       3. Saisissez un Name pour le groupe de machines et cliquez sur OK.

       Remarque

       Si l'installation échoue ou reste en attente, vérifiez que l'instance ECS se trouve dans la même région que le projet.

     • Pour ajouter un serveur avec LoongCollector déjà installé à un groupe de machines existant, consultez la rubrique Comment ajouter un serveur à un groupe de machines existant ?

5. Vérifier l'état du heartbeat : Cliquez sur Next. Lorsque la section Heartbeat Status of Machine Group apparaît, vérifiez le Heartbeat. Si l'état est OK, le groupe de machines est correctement connecté. Cliquez sur Next pour accéder à la page de configuration Logtail.

   Si l'état est FAIL, l'établissement du heartbeat initial peut prendre un certain temps. Attendez environ deux minutes, puis actualisez l'état du heartbeat. Si l'état est toujours FAIL après l'actualisation, consultez la section Échec de la connexion heartbeat du groupe de machines pour poursuivre le dépannage.

Global Configurations :

• Configuration Name : Spécifiez un nom personnalisé pour la configuration de collecte. Le nom doit être unique au sein du projet et ne peut pas être modifié après la création. Les règles de nommage sont les suivantes :

  • Ne peut contenir que des lettres minuscules, des chiffres, des traits d'union (-) et des traits de soulignement (_).

  • Doit commencer et se terminer par une lettre minuscule ou un chiffre.

• Execution Timeout : La valeur par défaut est de 600 s (10 minutes) et le délai d'expiration peut être défini entre 600 et 604 800 secondes (10 minutes à 7 jours). Si une tâche de collecte dépasse ce délai d'expiration, elle est arrêtée de force et les données restantes ne sont pas collectées.

  Important

  Remarque sur les mises à jour de configuration : Lorsque vous mettez à jour une configuration, sa période de validité est réinitialisée. Pour éviter une double exécution des tâches ou un rapport de données inattendu, assurez-vous que la portée du groupe de machines est correcte et que le temps d'exécution de la tâche précédente n'a pas dépassé le Execution Timeout.

• Force rerun on update : Désactivé par défaut.

  • Désactivé :

    • Lorsque vous mettez à jour les paramètres de configuration de collecte autres que Execution Timeout ou Input Configurations, le système reprend la progression actuelle de la collecte au lieu de redémarrer la tâche. Cela garantit une collecte ininterrompue.

    • Si vous modifiez le Execution Timeout ou les Input Configurations, le système réexécute la tâche de collecte.

  • Activé : Lorsque vous mettez à jour la configuration de collecte, la tâche redémarre de force. Cela garantit que toutes les données sont traitées et rapportées selon les derniers paramètres. Remarque : Les données collectées avant la mise à jour ne sont pas supprimées. Pour effacer les données précédemment collectées, consultez la rubrique Suppression douce dans Simple Log Service.

Input Configurations :

• Type : One-time File Collection (LoongCollector 3.3+ required).

• File Path : Le chemin à partir duquel les journaux sont collectés.

  Remarque

  LoongCollector détermine la liste des fichiers à collecter et leur taille lorsqu'il récupère la configuration. Il ne collecte pas les nouveaux fichiers ni le contenu ajouté aux fichiers existants après ce point.

  • Linux : Le chemin doit commencer par une barre oblique (/). Par exemple, /data/mylogs/**/*.log collecte tous les fichiers avec l'extension .log dans tous les sous-répertoires de /data/mylogs.

  • Windows : Le chemin doit commencer par une lettre de lecteur. Par exemple, C:\Program Files\Intel\**\*.Log.

• Maximum Directory Monitoring Depth : La profondeur maximale de répertoire que le caractère générique ** dans le File Path peut correspondre. La valeur par défaut est 0, ce qui signifie que seul le répertoire actuel est surveillé.

Scénario 2 : Traitement des journaux structurés

192 168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png HTTP/1,1" 0 000 514 200 368 "-" "Mozilla/5,0 (Windows NT 10.0; Win64; x64) AppleWebKit/537,36 (KHTML, like Gecko) Chrome/131,0.*.* Safari/537,36"

body_bytes_sent: 368
http_referer: -
http_user_agent : Mozi11a/5,0 (Nindows NT 10.0; Win64; x64) AppleMebKit/537,36 (KHTML, like Gecko) Chrome/131,0.x.x Safari/537.36
remote_addr:192.168.*.*
remote_user: -
request_length: 514
request_method: GET
request_time: 0 000
request_uri: /nginx-logo.png
status: 200
time_local: 15/Apr/2025:16:40:00

Procédure : Dans la zone Processor Configurations de la page Logtail Configurations :

1. Ajouter un plug-in de processeur : Cliquez sur Add Processor et configurez un plug-in tel que regex, délimiteur ou analyse JSON en fonction du format de votre journal. Cet exemple utilise un journal NGINX et sélectionne Native Processor > Data Parsing (NGINX Mode).

2. NGINX Log Configuration : Copiez l'intégralité de la définition log_format depuis le fichier de configuration de votre serveur NGINX (nginx.conf) et collez-la dans cette zone de texte.

   Exemple :

   log_format main  '$remote_addr - $remote_user [$time_local] "$request" ''$request_time $request_length ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent"';

   Important

   La définition du format ici doit correspondre exactement au format utilisé pour générer le journal sur votre serveur. Sinon, l'analyse échouera.

3. Paramètres courants : Les paramètres suivants sont communs à plusieurs plug-ins de processeur de données et ont la même fonction.

   • Original field : Spécifie le champ source à analyser. La valeur par défaut est content, qui correspond à l'ensemble de l'entrée de journal collectée.

   • Retain original field if parsing fails : Recommandé. Si le plug-in ne parvient pas à analyser un journal, par exemple en raison d'une incompatibilité de format, cette option conserve le contenu du journal d'origine dans le champ d'origine spécifié.

   • Retain original field if parsing succeeds : Cette option conserve le contenu du journal d'origine même après une analyse réussie.

Procédure : Dans la zone Global Configurations > Other Global Configurations > Log Topic Type , sélectionnez une méthode de génération de topic. Les types suivants sont pris en charge :

• Topic du groupe de machines : lorsque vous appliquez une configuration de collecte à plusieurs groupes de machines, LoongCollector utilise automatiquement le nom du groupe de machines du serveur comme valeur pour le champ __topic__ . Cette méthode est utile pour catégoriser les journaux par hôte.

• Custom : utilisez le format customized://<custom-topic-name> , par exemple customized://app-login . Cette méthode convient aux topics statiques avec des identifiants métier fixes.

• Extraction du chemin de fichier : extrait les informations clés du chemin complet d'un fichier journal pour étiqueter dynamiquement la source du journal. Cette approche est utile lorsque plusieurs utilisateurs ou applications partagent le même nom de fichier journal mais résident dans des chemins différents. Par exemple, lorsque plusieurs utilisateurs ou services écrivent des journaux dans des répertoires de premier niveau différents mais utilisent le même chemin de sous-répertoire et le même nom de fichier, vous ne pouvez pas distinguer la source par le seul nom de fichier :

  /data/logs
  ├── userA
  │   └── serviceA
  │       └── service.log
  ├── userB
  │   └── serviceA
  │       └── service.log
  └── userC
      └── serviceA
          └── service.log

  Dans ce cas, vous pouvez configurer l'extraction du chemin de fichier et utiliser une expression régulière pour extraire les informations clés du chemin complet. Le résultat correspondant est ensuite téléchargé vers le Logstore en tant que topic de journal.

  Règles d'extraction du chemin de fichier

  Lorsque vous configurez l'expression régulière, le système détermine automatiquement le format du champ de sortie en fonction du nombre et des noms des groupes de capture. Les règles sont les suivantes :

  Dans une expression régulière pour un chemin de fichier, vous devez échapper les barres obliques ( / ).

  Type de groupe de capture	Cas d'utilisation	Champ généré	Exemple d'expression régulière	Chemin correspondant (exemple)	Champ généré (exemple)
  Groupe de capture unique (un seul (.*?))	Lorsqu'une seule dimension suffit pour distinguer les sources, comme le nom d'utilisateur ou l'environnement.	Génère le champ __topic__ .	\/logs\/(.*?)\/app\.log	/logs/userA/app.log	__topic__: userA
  Plusieurs groupes de capture - Non nommés (plusieurs (.*?))	Lorsque plusieurs dimensions sont nécessaires pour distinguer les sources, sans exigence d'étiquettes sémantiques.	Génère le champ de tag __tag__:__topic_{i}__ , où {i} est l'index du groupe de capture.	\/logs\/(.*?)\/(.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:__topic_1__:userA ; __tag__:__topic_2__:svcA
  Plusieurs groupes de capture nommés (utilisation de (?P<name>.*？)	Lorsque plusieurs dimensions sont nécessaires pour distinguer les sources et que vous souhaitez des noms de champs clairs et significatifs pour faciliter les requêtes et l'analyse.	Génère le champ de tag __tag__:{name}	\/logs\/(?P<user>.*?)\/(?P<service>.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:user:userA ; __tag__:service:svcA

Ajout d'un serveur à un groupe de machines

Pour ajouter un nouveau serveur, tel qu'une instance ECS nouvellement déployée ou un serveur auto-géré, à un groupe de machines existant, associez-le au groupe afin que la configuration de collecte soit automatiquement appliquée.

Prérequis

• Un groupe de machines existant.

• LoongCollector (Logtail) est installé sur le nouveau serveur.

Procédure

1. Consultez l'identifiant du groupe de machines cible.

   1. Dans le Project cible, cliquez sur puis sur Resources > Machine Groups dans le volet de navigation de gauche.

   2. Sur la page Machine Groups, cliquez sur le nom du groupe de machines cible.

   3. Sur la page de configuration du groupe de machines, consultez l'identifiant du groupe de machines.

2. Effectuez l'une des actions suivantes en fonction du type d'identifiant.

   Remarque

   Un seul groupe de machines ne peut pas contenir à la fois des serveurs Linux et Windows. Ne configurez pas le même identifiant défini par l'utilisateur sur des serveurs Linux et Windows. Pour configurer plusieurs identifiants définis par l'utilisateur sur un seul serveur, séparez-les par un saut de ligne.

   • Type 1 : L'identifiant du groupe de machines est une adresse IP

     1. Sur le serveur, exécutez la commande suivante pour ouvrir le fichier app_info.json et consulter la valeur ip .

        cat /usr/local/ilogtail/app_info.json

     2. Sur la page de configuration du groupe de machines cible, cliquez sur Modify et saisissez l'adresse IP du serveur. Si vous disposez de plusieurs adresses IP, séparez-les par des sauts de ligne.

     3. Une fois la configuration terminée, cliquez sur Save et confirmez l'état du heartbeat. Si l'état est OK, le serveur applique automatiquement la configuration de collecte du groupe de machines.

        Si l'état du heartbeat est FAIL, consultez la rubrique Échec du heartbeat du groupe de machines pour les instructions de dépannage.

   • Type 2 : L'identifiant du groupe de machines est un identifiant défini par l'utilisateur

     Selon le système d'exploitation, écrivez la chaîne d'identifiant défini par l'utilisateur correspondant au groupe de machines cible dans le fichier spécifié :

     Si le répertoire n'existe pas, créez-le manuellement. Le chemin et le nom du fichier sont fixés par Log Service et ne peuvent pas être personnalisés.

     • Linux : écrivez une chaîne personnalisée dans le fichier /etc/ilogtail/user_defined_id .

     • Windows : écrivez une chaîne personnalisée dans C:\LogtailData\user_defined_id .

Extrayez les champs des journaux à l'aide d'expressions régulières et analysez les journaux sous forme de paires clé-valeur. Chaque champ peut faire l'objet de requêtes et d'analyses indépendantes.

127.0.0.1 - - [16/Aug/2024:14:37:52 +0800] "GET /wp-admin/admin-ajax.php?action=rest-nonce HTTP/1,1" 200 41 "http://www.example.com/wp-admin/post-new.php?post_type=page" "Mozilla/5,0 (Windows NT 10.0; Win64; x64) AppleWebKit/537,36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"

body_bytes_sent: 41
    http_referer: http://www.example.com/wp-admin/post-new.php?post_type=page
    http_user_agent: Mozilla/5,0 (Windows NT 10.0; ×64) AppleWebKit/537,36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0
    remote_addr: 127.0.0.1
    remote_user: -
    request_method: GET
    request_protocol: HTTP/1,1
    request_uri: /wp-admin/admin-ajax.php?action=rest-nonce
    status: 200
    time_local: 16/Aug/2024:14:37:52 +0800

Procédure : Sur la page Logtail Configuration, dans la zone Processor Configurations, cliquez sur Add Processor et sélectionnez Native Processor > Data Parsing (Regex Mode) :

• Regular Expression : Utilisée pour faire correspondre les journaux. Vous pouvez la générer automatiquement ou la saisir manuellement :

  • Génération automatique :

    • Cliquez sur Generate Regex Automatically.

    • Dans le champ Log Sample, sélectionnez le contenu du journal à extraire.

    • Cliquez sur Generate Regex.

  • Saisie manuelle : Enter Regex Manually en fonction du format du journal.

  Une fois la configuration terminée, cliquez sur Validate pour vérifier si l'expression régulière peut analyser correctement le contenu du journal.

• Extracted Field : Définissez le nom de champ correspondant (Key) pour le contenu du journal extrait (Value).

Structurez le contenu du journal à l'aide d'un séparateur, qui l'analyse en plusieurs paires clé-valeur. Prend en charge les séparateurs à un ou plusieurs caractères.

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028 %20Jun%202013 %2006 %3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1,1",200,18204,aliyun-sdk-java

ip:10.10.*.*
    request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028 %20Jun%202013 %2006 %3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
    size:18204
    status:200
    time:05/May/2025:13:30:28
    user_agent:aliyun-sdk-java

Procédure : Sur la page Logtail Configuration, dans la zone Processor Configurations, cliquez sur Add Processor et sélectionnez Native Processor > Data Parsing (Delimiter Mode) :

• Delimiter : Spécifiez le caractère utilisé pour séparer le contenu du journal.

  Exemple : Pour un fichier CSV, sélectionnez Custom et saisissez une virgule (,).

• Quote : Lorsqu'une valeur de champ contient le séparateur, vous devez spécifier un guillemet pour entourer le champ afin d'éviter une séparation incorrecte.

• Extracted Field : Définissez le nom de champ correspondant (Key) pour chaque colonne dans l'ordre de séparation. Les règles sont les suivantes :

  • Les noms de champ ne peuvent contenir que des lettres, des chiffres et des traits de soulignement (_).

  • Doivent commencer par une lettre ou un trait de soulignement (_).

  • Longueur maximale : 128 octets.

Structure un journal JSON de type objet, qui l'analyse en paires clé-valeur.

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
    request: {"status": "200", "latency" : "18204" }
    time: 05/Jan/2025:13:30:28
    url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028 %20Jun%202013 %2006 %3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1,1
    user-agent:aliyun-sdk-java

Procédure : Sur la page Logtail Configuration, dans la zone Processor Configurations, cliquez sur Add Processor et sélectionnez Native Processor > Data Parsing (JSON Mode) :

• Original Field : La valeur par défaut est content. Ce champ est utilisé pour stocker le contenu brut du journal à analyser.

Analyse les journaux JSON imbriqués en paires clé-valeur en spécifiant la profondeur d'expansion.

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
    0_s_key_k1_k2_k3_k4_k51:51
    0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

Procédure : Sur la page Logtail Configuration, dans la zone Processor Configurations, cliquez sur Add Processor et sélectionnez Extended Processor > Expand JSON Field :

• Original Field : Le nom du champ source à développer, par exemple content.

• JSON Expansion Depth : Le niveau d'expansion de l'objet JSON. 0 signifie entièrement développé (par défaut), 1 signifie le niveau actuel, et ainsi de suite.

• Character to Concatenate Expanded Keys : Le séparateur pour les noms de champ lors de l'expansion JSON. La valeur par défaut est un trait de soulignement _.

• Name Prefix of Expanded Keys : Spécifiez le préfixe pour les noms de champ après l'expansion JSON.

• Expand Array : Activez cette option pour développer un tableau en paires clé-valeur avec des index.

  Exemple : {"k":["a","b"]} se développe en {"k[0]":"a","k[1]":"b"}.

  Pour renommer les champs développés, par exemple de prefix_s_key_k1 à new_field_name, vous pouvez ajouter ensuite un plugin Rename Fields pour effectuer le mappage.

Utilisez la fonction json_extract pour extraire des objets JSON d'un tableau JSON.

Exemple :

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
    json2:{"key2":"value2"}

Procédure : Sur la page Logtail Configuration, dans la zone Processor Configurations, basculez la Processing Method sur SPL, configurez l'instruction SPL et utilisez la fonction json_extract pour extraire des objets JSON du tableau JSON.

Exemple : Extrayez les éléments du tableau JSON dans le champ de journal content et stockez les résultats dans les nouveaux champs json1 et json2.

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken

c-ip: cs-username
    cs-bytes: sc-substatus
    cs-method: cs-method
    cs-uri-query: cs-uri-query
    cs-uri-stem: cs-uri-stem
    cs-username: s-port
    date: #Fields:
    s-computername: s-sitename
    s-ip: s-ip
    s-sitename: time
    sc-bytes: sc-status
    sc-status: c-ip
    sc-win32-status: cs (User-Agent)
    time: date
    time-taken: sc-win32-status

• Pour plus d'informations sur les autres paramètres, consultez les descriptions générales des paramètres dans la section Scénario 2 : Journaux structurés.

Masquage des données

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

Analyse le champ temporel dans le journal et définit le résultat de l'analyse comme champ __time__ du journal.

Exemple :

{"level":"INFO","timestamp":"2025-09-23T19:11:47+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}

Procédure : Sur la page Logtail Configuration, dans la zone Processor Configurations, cliquez sur Add Processor et sélectionnez Native Processor > Time Parsing :

• Original Field : Le champ source contenant le contenu du journal avant l'analyse.

• Time Format : Définissez le format temporel correspondant en fonction du contenu temporel dans le journal.

• Time Zone : Sélectionnez le fuseau horaire du champ temporel du journal. Par défaut, le fuseau horaire de la machine est utilisé, c'est-à-dire le fuseau horaire de l'environnement où le processus LoongCollector (Logtail) s'exécute.