Configurer des groupes de machines pour LoongCollector - Simple Log Service

Après avoir installé LoongCollector sur un serveur, créez un groupe de machines pour gérer ce serveur en tant que ressource dans Simple Log Service (SLS). Créez ensuite une configuration de collecte LoongCollector afin de définir les règles de collecte des données. Pour appliquer ces règles à un serveur, associez la configuration de collecte au groupe de machines du serveur.

Concepts clés et leurs relations

Qu'est-ce qu'un groupe de machines ?

Un groupe de machines est un regroupement logique de serveurs gérés comme une seule ressource au sein d'un projet SLS. SLS utilise les groupes de machines pour gérer les serveurs. Un serveur est associé à un groupe de machines via des heartbeats.

SLS propose les deux types de groupes de machines suivants :

Groupe de machines basé sur l'adresse IP

Pour utiliser un groupe de machines basé sur l'adresse IP, ajoutez les adresses IP de vos serveurs au groupe de machines.

Ce type de groupe de machines est plus simple à créer et à configurer.
En cas de conflit d'adresse IP ou de modification de celle-ci, le heartbeat peut échouer, ce qui affecte la collecte des données.

Groupe de machines basé sur un identifiant personnalisé

Créez une association en configurant une chaîne personnalisée comme identifiant dans le groupe de machines et en ajoutant cette chaîne à un fichier d'identifiant sur le serveur. Vous pouvez ajouter plusieurs identifiants personnalisés au fichier d'identifiant d'un serveur. Chaque identifiant doit figurer sur une nouvelle ligne.

Le processus de configuration est plus complexe que celui d'un groupe de machines basé sur l'adresse IP. Toutefois, cette méthode évite les échecs de collecte de données causés par des conflits d'adresses IP, qui peuvent survenir dans des environnements réseau personnalisés tels qu'un VPC.
Ce type de groupe de machines prend en charge la mise à l'échelle automatique. Si vous configurez de nouveaux serveurs avec le même identifiant personnalisé, SLS les détecte et les ajoute automatiquement au groupe de machines. Inversement, si vous n'avez plus besoin de collecter les journaux d'un serveur, supprimez son fichier d'identifiant : le groupe de machines retire alors automatiquement le serveur.
Un système métier se compose souvent de plusieurs modules ; vous pouvez mettre à l'échelle horizontalement chaque module en ajoutant des serveurs. Pour collecter et classer efficacement les données de journal, nous vous recommandons de créer un groupe de machines distinct pour chaque module. Par exemple, un site web peut être composé d'un module de requêtes HTTP, d'un module logique et d'un module de stockage. Définissez leurs identifiants personnalisés comme suit : http_module, logic_module et store_module.

Comment créer un groupe de machines

Pour établir une association basée sur le heartbeat entre un groupe de machines et un serveur, installez d'abord l'agent LoongCollector sur le serveur. Nous vous recommandons de créer un groupe de machines lors de l'installation de l'agent. Pour plus d'informations, consultez Installer LoongCollector ou Installation et configuration.

Qu'est-ce qu'une configuration de collecte LoongCollector ?

Une configuration de collecte est un ensemble de règles principales qui définissent comment collecter et traiter les données. Elle vous permet de configurer des paramètres pour collecter, analyser, filtrer et traiter les données de manière efficace. Une configuration de collecte est associée à un groupe de machines afin d'appliquer les règles de collecte à tous les serveurs de ce groupe. Le traitement s'effectue sur le serveur lui-même, en consommant des ressources locales. Une configuration de collecte se compose des trois parties suivantes :

Configuration globale : comprend le nom de la configuration de collecte, le topic de journal et les tags. Utilisez les topics et les tags pour marquer et classer les journaux collectés.
Configuration d'entrée : définit le type de données à collecter, telles que l'entrée de fichier, la sortie de cluster standard, les résultats de requête SQL ou l'entrée HTTP. Elle définit également les informations spécifiques pour chaque type de données, telles que le chemin de collecte et la source.
Configuration de traitement : définit les règles d'analyse des données à l'aide d'une combinaison de plugins. Cela vous permet de formater les données selon vos besoins en effectuant des actions telles que le filtrage, la désensibilisation, la correspondance avec des expressions régulières ou l'analyse de données au format JSON.

Comment créer une configuration de collecte

Une configuration de collecte doit être associée à un groupe de machines pour appliquer ses règles aux serveurs de ce groupe. Par conséquent, nous vous recommandons de créer la configuration de collecte en fonction du type de source de données et de suivre le processus complet de collecte des données. Pour plus d'informations, consultez Collecte de données de journal.

Relation entre les groupes de machines et les configurations de collecte

SLS prend en charge une relation plusieurs-à-plusieurs entre les configurations de collecte et les groupes de machines : une seule configuration de collecte peut être appliquée à plusieurs groupes de machines et un seul groupe de machines peut utiliser plusieurs configurations de collecte. Étant donné que les configurations de collecte sont associées aux groupes de machines, si vous ajoutez ou supprimez un serveur d'un groupe de machines, les configurations de collecte correspondantes sont automatiquement appliquées ou supprimées de ce serveur. Cette conception découple les serveurs des configurations de collecte. Notez que tous les serveurs au sein d'un même groupe de machines doivent utiliser le même système d'exploitation.

Cas d'utilisation pour l'association de groupes de machines aux configurations de collecte

Collecter des journaux à partir de plusieurs répertoires

Exigence : vous devez collecter des journaux à partir de /var/log/messages et de /opt/app/logs/*.log et les envoyer vers le même logstore.

Solution :

Créez deux configurations de collecte dans le logstore de destination. Définissez le chemin d'accès pour l'une des configurations sur /var/log/messages et le chemin d'accès pour l'autre sur /opt/app/logs/*.log.
Appliquez les deux configurations de collecte au même groupe de machines.
SLS collecte les données à partir des chemins /var/log/messages et /opt/app/logs/*.log sur tous les serveurs du groupe de machines et envoie les données au logstore de destination.

Télécharger des journaux depuis le même serveur vers plusieurs logstores

Exigence : vous devez envoyer plusieurs types de journaux provenant de différents répertoires sur un seul serveur vers différents logstores.

Solution :

Créez différentes configurations de collecte dans différents logstores.

Si plusieurs configurations collectent des données à partir du même fichier, vous devez activer Allow a file to be collected multiple times dans la configuration d'entrée. Pour plus d'informations, consultez Collectes de journaux multiples .
Appliquez ces configurations de collecte au même groupe de machines.
SLS télécharge les différents journaux des serveurs du groupe de machines vers les logstores correspondants en fonction des configurations de collecte.

Centraliser les journaux de différents serveurs

Exigence : vous devez collecter un type spécifique de journal à partir de plusieurs serveurs situés dans différents groupes de machines et enregistrer les journaux dans le même logstore.

Solution :

Créez une configuration de collecte dans le logstore de destination.
Appliquez cette configuration de collecte aux groupes de machines contenant les serveurs.
SLS collecte les journaux des serveurs des groupes de machines spécifiés et les envoie au logstore de destination.

Modifier les règles de collecte sur un serveur

Exigence 1 : les règles d'une configuration de collecte appliquée sont obsolètes ou ne répondent plus à vos besoins et vous souhaitez utiliser une autre configuration de collecte.

Solution :

Connectez-vous à la console Simple Log Service. Dans la liste Projects, cliquez sur le projet cible. Dans le volet de navigation de gauche, choisissez Resources > Machine Groups. Sur la page Machine Groups, sélectionnez le groupe de machines que vous souhaitez modifier. Ensuite, sur la page Machine Group Configurations, cliquez sur Modify.
Dans le panneau Manage Configuration, affichez la liste des configurations de collecte disponibles à gauche. Sélectionnez les configurations requises et déplacez-les vers la liste appliquée à droite.

Exigence 2 : vous devez appliquer une configuration de collecte existante lorsque vous ajoutez un nouveau serveur ou vous devez arrêter la collecte des journaux d'un serveur existant.

Solution :

Connectez-vous à la console Simple Log Service. Dans la liste Projects, cliquez sur le projet cible. Dans le volet de navigation de gauche, choisissez Resources > Machine Groups. Sur la page Machine Groups, sélectionnez le groupe de machines que vous souhaitez modifier, puis modifiez ses paramètres sur la page Machine Group Configurations.
Modifiez les serveurs du groupe de machines pour appliquer ou supprimer la configuration de collecte :
1. Pour un groupe de machines basé sur l'adresse IP, ajoutez ou supprimez des adresses IP dans le champ Adresse IP. Séparez plusieurs adresses IP par de nouvelles lignes.
  
  L'adresse IP doit correspondre à la valeur du champ ip dans le fichier /usr/local/ilogtail/app_info.json sur le serveur.
2. Pour un groupe de machines basé sur un identifiant personnalisé, configurez le même Custom Identifier sur le nouveau serveur. Cette méthode permet la mise à l'échelle automatique. Les nouveaux serveurs dotés de l'identifiant sont automatiquement ajoutés, tandis que les serveurs dont le fichier d'identifiant est supprimé sont automatiquement désinscrits.
Remarque
L'ajout d'un serveur à un groupe de machines n'installe pas automatiquement LoongCollector. Vous devez d'abord installer LoongCollector sur le nouveau serveur.