LoongCollector est un collecteur de données de nouvelle génération pour Simple Log Service (SLS) qui allie performances, stabilité et programmabilité pour la création de pipelines d'observabilité. Contrairement aux collecteurs de journaux traditionnels limités à un seul scénario, LoongCollector collecte, traite, achemine et envoie des journaux, des métriques, des traces, des événements et des profils via un agent unifié.
Scénarios de collecte
LoongCollector prend en charge les méthodes de collecte de données suivantes :
Collecter des journaux textuels depuis des hôtes : collecte les journaux à partir de fichiers présents sur les hôtes.
Collecter des journaux de conteneurs depuis des clusters Kubernetes : collecte les journaux provenant des conteneurs de vos clusters.
Collecter des données HTTP : collecte le contenu du corps des requêtes HTTP.
Collecter les résultats de requêtes SQL : collecte les résultats de requêtes SQL spécifiées.
Tous les scénarios pris en charge sont répertoriés dans la rubrique Collecte de données de journal.
Principaux avantages
Intégration de la collecte sur l'hôte
Un seul agent LoongCollector gère de bout en bout les journaux, les métriques, les traces, les événements et les profils. Dans les environnements Kubernetes, il utilise l'API Container Runtime Interface (CRI) pour associer automatiquement aux données collectées des étiquettes de métadonnées telles que Namespace, Pod et Container, sans modifier les configurations des conteneurs.
Pipelines flexibles et programmables
LoongCollector combine le langage Structured Process Language (SPL) avec des moteurs de plugins multilingues au sein d'un système de pipeline entièrement programmable.
Privilégiez les plugins natifs pour leur efficacité d'exécution et complétez-les avec des plugins étendus, ou utilisez le moteur SPL pour bénéficier d'une couverture complète des opérateurs lors du traitement de données complexes.
|
Moteur programmable |
Classification |
Fonctionnalités |
|
Plugin natif |
Implémentation en C++. Hautes performances, faible consommation de ressources et couverture relativement complète des opérateurs. |
|
|
Plugin étendu |
Implémentation en Go. Hautes performances, faible consommation de ressources et couverture relativement complète des opérateurs. |
|
|
Moteur SPL |
Implémentation en C++. Hautes performances, faible consommation de ressources, modèle colonnaire avec exécution vectorisée, plus de 100 opérateurs et conception de pipeline pour le traitement complexe des données. |
Hautes performances et fiabilité
LoongCollector assure une collecte stable et efficace des données d'observabilité pour les systèmes distribués à grande échelle.
Hautes performances : processus centraux sans verrou, architecture pilotée par les événements et débit unitaire de plusieurs centaines de Mo/s dans les scénarios principaux.
Haute fiabilité : ordonnancement équitable par tranches de temps, contrôle de la contre-pression par seuil de file d'attente, isolation des données de pipeline multi-locataires et streaming de données zéro copie.
Qualité production à grande échelle : l'édition commerciale est déployée sur des dizaines de millions d'instances au sein d'Alibaba Group, d'Ant Group et chez les clients du cloud public. Solution éprouvée lors de promotions en ligne et dans des scénarios extrêmes.