Alibaba Cloud Logstash est un pipeline de données entièrement géré et compatible avec l'open source. Il collecte, transforme et achemine les données depuis plusieurs sources vers la destination de votre choix, sans configuration manuelle des serveurs ni gestion de l'infrastructure. Compatible à 100 % avec Logstash open source, il permet aux configurations de pipeline et aux plugins existants de fonctionner sans modification.
Fonctionnement
Logstash traite les données en trois étapes :
Collecte : les plugins d'entrée extraient les données sous forme de flux continu à partir de sources telles que les journaux, les métriques, les applications web et les bases de données. Les entrées couramment utilisées incluent
file(lecture depuis le système de fichiers),beats(réception des événements depuis les agents Beats) etsyslog(écoute des événements syslog).Transformation : les plugins de filtre analysent chaque événement, identifient les champs nommés, structurent les données et convertissent les événements dans un format commun. Par exemple,
grokanalyse le texte de journal non structuré pour en faire des champs interrogeables, tandis quemutaterenomme, remplace ou modifie les champs d'événement.Acheminement : les plugins de sortie envoient les données traitées vers une ou plusieurs destinations. Envoyez les données vers Elasticsearch pour la recherche et l'analytique, vers OSS pour l'archivage, ou vers Simple Log Service (SLS) pour la gestion des journaux.
Concepts clés
| Terme | Description |
|---|---|
| Pipeline | Configuration Logstash en cours d'exécution qui connecte les entrées, les filtres et les sorties. Gérez les pipelines de manière centralisée à l'aide de fichiers de configuration. |
| Plugin | Composant modulaire qui implémente une étape d'entrée, de filtre ou de sortie. Alibaba Cloud Logstash fournit tous les plugins officiels via son centre de plugins, ainsi que des plugins spécifiques à Alibaba Cloud tels que logstash-input-sls, logstash-input-oss et logstash-output-oss. |
| Événement | Unité unique de données circulant dans le pipeline, telle qu'une ligne de journal ou un point de données de métrique. |
Pourquoi utiliser Alibaba Cloud Logstash
En tant que service géré, Alibaba Cloud Logstash prend en charge l'infrastructure afin que vous puissiez vous concentrer sur la logique de votre pipeline :
Déploiement en quelques minutes — lancez une instance sans configuration manuelle des serveurs ni opérations de maintenance.
Mise à l'échelle à la demande — ajustez la capacité au fur et à mesure que les volumes de données augmentent.
Sécurité renforcée — déployez des instances dans un cloud privé virtuel (VPC) isolé logiquement. Connectez-vous aux endpoints externes via une passerelle NAT.
Extension par des plugins — accédez à tous les plugins officiels d'entrée, de filtre et de sortie, ainsi qu'aux plugins natifs du cloud pour SLS et OSS, depuis le centre de plugins intégré.
Gestion des fichiers personnalisés — téléchargez et gérez des fichiers d'extension personnalisés directement depuis la console.
Débogage visuel des pipelines — consultez la sortie du pipeline et utilisez la fonctionnalité de débogage de la configuration du pipeline dans la console.
Alibaba Cloud Logstash propose un service géré basé sur Logstash open source, dont les fonctionnalités sont cohérentes avec celles de la version open source. Si vous rencontrez des problèmes liés au service, contactez-nous en soumettant un ticket.
Nous ne sommes pas responsables des pertes commerciales causées par des bugs dans Logstash ou ses composants tiers, ni par une configuration ou une utilisation incorrecte. Si vous rencontrez de tels problèmes, consultez la documentation officielle de Logstash ou la communauté.
Cas d'utilisation
Alibaba Cloud Logstash est largement utilisé comme couche d'ingestion de données dans la pile ELK (Elasticsearch, Logstash et Kibana) :
Traitement des journaux en temps réel — collectez les journaux depuis des serveurs, des conteneurs ou des applications et acheminez-les vers Elasticsearch pour l'indexation.
Pipelines de recherche en texte intégral — transformez les données brutes dans un format structuré qu'Elasticsearch peut rechercher et classer.
Analytique des données — agrégez les métriques et les événements, enrichissez-les avec des plugins de filtre et envoyez les résultats vers votre destination d'analytique.
Migration des données cloud — déplacez les données entre les services Alibaba Cloud à l'aide de plugins dédiés pour OSS et SLS.
Au sein de cet écosystème, Elasticsearch agit comme un moteur de recherche et d'analytique distribué en temps réel, Logstash assure la collecte, la transformation, l'optimisation et la sortie des données, et Kibana offre une interface de visualisation puissante.
Étapes suivantes
| Tâche | Référence |
|---|---|
| Créer votre première instance Logstash | Démarrage rapide |
| Créer une instance Alibaba Cloud Logstash | Créer une instance Alibaba Cloud Logstash |
| Configurer les plugins d'entrée, de filtre et de sortie | Configuration des plugins |
| Gérer les pipelines à l'aide de fichiers de configuration | Gérer les pipelines à l'aide de fichiers de configuration |
| Déboguer les configurations de pipeline | Utiliser la fonctionnalité de débogage de la configuration du pipeline Logstash |
| Télécharger et gérer des fichiers d'extension personnalisés | Configurer les fichiers d'extension |
| Configurer l'accès Internet via une passerelle NAT | Configurer la transmission des données Internet avec une passerelle NAT |
| Mettre à niveau un cluster | Mettre à niveau un cluster |