Questions fréquentes relatives à la configuration, à la surveillance et au dépannage d'Alibaba Cloud Logstash.
Comment importer ou exporter des données vers Logstash via Internet ?
La fonctionnalité JDBC d'Alibaba Cloud Logstash prend-elle en charge les bases de données MySQL ?
Puis-je configurer le protocole d'entrée HTTP pour Logstash ?
Comment utiliser Logstash pour synchroniser les données de Simple Log Service vers Elasticsearch ?
Alibaba Cloud Logstash prend-il en charge le mode rubydebug ?
Transfert de données via Internet
Les clusters Logstash s'exécutent dans un VPC et nécessitent une passerelle NAT pour accéder à Internet. Configurer une passerelle NAT pour la transmission de données via Internet.
Erreurs avec un cluster Kafka autogéré
Erreurs courantes :
-
No entry found for connection
Cause : Le nœud Logstash ne peut pas résoudre le nom d'hôte Kafka.
Solution : Ajoutez les éléments suivants au fichier
server.properties. Exemple pour un service Kafka situé à l'adresse 10.10.10.10:9092 :listeners=PLAINTEXT://10.10.10.10:9092 advertised.listeners=PLAINTEXT://10.10.10.10:9092ImportantRemplacez
10.10.10.10:9092par l'adresse et le port de votre cluster Kafka.Utilisez le service Kafka d'Alibaba Cloud et ajoutez les adresses IP de vos nœuds Logstash à la liste d'autorisation du cluster Kafka.
-
could not be established. Broker may not be available
Cause : Le service Kafka est inaccessible ou n'existe pas.
Solution : Vérifiez que le service Kafka est en cours d'exécution et que la valeur
bootstrap_serversdans la configuration du pipeline est correcte.
Prise en charge de JDBC pour MySQL
Oui. Téléchargez d'abord la bibliothèque mysql-connector-java. Configurer des bibliothèques tierces.
Surveillance des nœuds
Oui. Associez votre cluster Logstash à un cluster Elasticsearch via X-Pack, puis surveillez les nœuds dans Kibana. Configurer la surveillance X-Pack.
Téléchargement de fichiers de script
Non. Logstash transfère les données uniquement via des configurations de pipeline. Gérer les pipelines à l'aide de fichiers de configuration.
Configuration de l'entrée HTTP
Oui. Logstash accepte les événements sur une seule ligne et sur plusieurs lignes via HTTP ou HTTPS. Plugin d'entrée Http.
Les clusters Logstash ne sont pas accessibles via Internet par défaut. Pour collecter des requêtes HTTP depuis Internet, configurez une passerelle NAT. Configurer une passerelle NAT pour la transmission de données via Internet.
Synchronisation des données de Simple Log Service vers Elasticsearch
Installez et configurez le plugin logstash-input-sls pour diffuser les données de journal. Utiliser le plugin logstash-input-sls.
Synchronisation des données en temps réel
Logstash synchronise les données en quasi-temps réel. Il écrit en continu vers la destination tant que le pipeline est actif et que la source contient des données.
Gestion de l'erreur « routing is missing »
Les documents enfants nécessitent une valeur de routage car les documents parents et enfants doivent résider sur le même shard. Définissez le nombre de shards primaires de l'index de destination sur 1 et ajoutez routing =>"0" à la configuration de votre pipeline.
Dépannage des mises à jour de pipeline bloquées
Consultez les journaux principaux du cluster pour identifier la cause (Consulter les journaux). Causes courantes et solutions :
|
Cause |
Solution |
|
Configuration de pipeline incorrecte. |
Suspendez la mise à jour. Une fois le cluster suspendu, modifiez la configuration du pipeline et redémarrez le cluster. Afficher les détails de la progression d'une tâche de cluster. |
|
Utilisation élevée du disque. |
Mettez à niveau le cluster. Mettre à niveau un cluster. Après la mise à niveau, actualisez le cluster et vérifiez la progression de la mise à jour. |
|
L'indexation automatique n'est pas activée sur le cluster Elasticsearch de destination (sortie : elasticsearch). |
Activez l'indexation automatique sur le cluster Elasticsearch. Configurer les paramètres YML.Une fois l'opération terminée, actualisez le cluster et surveillez la progression de la modification. |
|
Le port d'entrée Beats est en dehors de la plage 8000-9000. |
Suspendez la mise à jour. Une fois le cluster suspendu, modifiez le port dans la configuration du pipeline pour qu'il soit compris entre 8000 et 9000, puis redémarrez le cluster. |
|
La source ou la destination utilise une adresse IP publique. |
Utilisez l'une des solutions suivantes :
|
|
La configuration du pipeline inclut |
Utilisez l'une des solutions suivantes :
|
Ping de l'adresse IP privée
Par défaut, vous ne pouvez pas pinguer l'adresse IP privée d'un cluster Logstash. Utilisez plutôt telnet pour tester la connectivité réseau.
Cohérence du mapping pour la synchronisation des données Elasticsearch
Alibaba Cloud Elasticsearch désactive Auto Indexing par défaut pour des raisons de sécurité. Étant donné que Logstash crée des index en soumettant des données directement plutôt que via l'API de création d'index, vous devez soit activer Auto Indexing sur le cluster de destination, soit précréer l'index avec les mappings avant de transférer les données.
Prise en charge du mode rubydebug
Non. Utilisez le plugin logstash-output-file_extend pour imprimer les journaux de débogage à la place. Les modes rubydebug et similaires nécessitent une sortie stdout, qu'Alibaba Cloud Logstash ne prend pas en charge.