Elasticsearch:FAQ sur le transfert de données avec Logstash

Élément à vérifier

Scénario d'exemple

Solution recommandée

Vérifiez que votre cluster Logstash se trouve dans le même environnement réseau que le cluster Elasticsearch de destination et la source.

La source se trouve sur Internet, tandis que le cluster Logstash réside dans un VPC.

Appliquez l'une des solutions suivantes :

• Utilisez un outil de connectivité réseau pour connecter le cluster Logstash à la source et au cluster Elasticsearch.

• Configurez une passerelle NAT pour transmettre des données via Internet. Pour plus d'informations, consultez Configurer une passerelle NAT pour la transmission de données via Internet.

• Créez un cluster Logstash et un cluster Elasticsearch dans le même VPC, puis configurez un pipeline Logstash.

Vérifiez la configuration correcte de la passerelle NAT.

• L'adresse IP ou le numéro de port spécifié pour une entrée NAT est incorrect.

• Le type de passerelle NAT n'est pas adapté au scénario.

Appliquez l'une des solutions suivantes selon vos besoins :

• Vérifiez l'adresse IP et le numéro de port spécifiés pour l'entrée NAT afin de garantir la connectivité réseau.

• Sélectionnez un type de traduction d'adresse IP selon vos besoins :

  • Source Network Address Translation (SNAT) : permet à Logstash d'accéder à Internet.

  • Destination Network Address Translation (DNAT) : permet aux services sur Internet de transférer des données vers les nœuds d'un cluster Logstash.

Vérifiez la validité du pilote Java Database Connectivity (JDBC) téléchargé.

Lorsqu'un pilote JDBC est utilisé pour synchroniser des données depuis PolarDB, aucune erreur n'apparaît dans le journal, mais les données ne sont pas écrites dans le cluster Elasticsearch de destination. L'utilisation d'une version antérieure du pilote JDBC permet l'écriture des données.

Utilisez une version appropriée du pilote JDBC. Pour plus d'informations, consultez Configurer des bibliothèques tierces.

Vérifiez que la liste d'autorisation ou les règles du groupe de sécurité de la source ne limitent pas l'accès au cluster Logstash.

Filebeat collecte les données de la source vers le cluster Logstash. Filebeat est déployé sur des instances ECS côté client. Cependant, les ports des instances ECS ne sont pas autorisés dans le groupe de sécurité.

Appliquez l'une des solutions suivantes selon vos besoins :

• Ajoutez les adresses IP des nœuds du cluster Logstash à la liste d'autorisation de la source.

  Remarque

  Pour savoir comment obtenir les adresses IP des nœuds d'un cluster Logstash, consultez Afficher les informations de base d'un cluster.

• Autorisez un port d'une instance ECS pour permettre l'accès au cluster Logstash. Pour plus d'informations, consultez Ajouter une règle de groupe de sécurité.

Vérifiez que les utilisateurs RAM spécifiés dans les configurations d'entrée et de sortie du pipeline Logstash disposent des autorisations requises.

• Vous spécifiez un utilisateur RAM dans les configurations de sortie d'un pipeline Logstash pour accéder au cluster Elasticsearch. Cependant, cet utilisateur RAM ne dispose pas des autorisations requises sur l'index de destination du cluster Elasticsearch.

• Le code d'erreur 401 apparaît dans les journaux du cluster Logstash.

Appliquez l'une des solutions suivantes selon vos besoins :

• Accordez les autorisations requises aux utilisateurs RAM. Pour plus d'informations, consultez Accorder des autorisations à un utilisateur RAM.

• Spécifiez des noms d'utilisateur et des mots de passe valides pour le cluster Elasticsearch et la source. Les mots de passe ne doivent pas contenir de caractères spéciaux. Si un mot de passe en contient, modifiez-le. Pour plus d'informations, consultez Réinitialiser le mot de passe d'accès pour un cluster Elasticsearch.

Élément à vérifier

Scénario d'exemple

Solution recommandée

Consultez les journaux du cluster Logstash et vérifiez la présence d'erreurs. Pour savoir comment consulter les journaux d'un cluster Logstash, consultez Interroger les journaux.

Un plug-in requis n'est pas installé sur le cluster Logstash. Par exemple, si les journaux du cluster contiennent le message d'erreur Couldn't find any output plugin named 'file_extend', le plug-in logstash-output-file_extend n'est pas installé sur le cluster Logstash.

Appliquez l'une des solutions suivantes :

• Installez le plug-in sur le cluster Logstash.

• Supprimez la configuration du plug-in des configurations du pipeline.

Les informations de configuration contiennent des caractères spéciaux masqués.

Saisissez manuellement les informations de configuration.

Le filtrage du code échoue selon les configurations de la section filter. Par exemple, un code Ruby invalide n'est pas filtré correctement.

Appliquez l'une des solutions suivantes :

• Rétablissez les configurations d'origine dans la section filter, puis ajoutez progressivement les configurations. Identifiez ainsi la cause racine et résolvez le problème.

• Utilisez un outil de débogage tiers pour déboguer les configurations de la section filter.

Les noms ou valeurs de paramètres configurés dans le pipeline ne sont pas valides. Par exemple, vous saisissez le nom de paramètre hosts sous la forme host lors de la configuration du plug-in logstash-output-elasticsearch, ou vous indiquez un nom d'instance RDS non valide.

Pour savoir comment configurer les paramètres du pipeline, consultez la documentation open source Logstash ou les Meilleures pratiques pour Alibaba Cloud Logstash.

La connexion expire lorsque le cluster Logstash tente de se connecter à la source ou au cluster Elasticsearch. Par exemple, si le cluster Logstash ne parvient pas à se connecter au cluster Elasticsearch pendant une période prolongée, le message d'erreur Elasticsearch Unreachable: [http://xxxx:9200/][Manticore::ConnectTimeout] connect timed out s'affiche.

Assurez-vous que le cluster Logstash peut se connecter au cluster Elasticsearch et que les endpoints de la source et du cluster Elasticsearch sont corrects.

HTTPS est activé sur le cluster Elasticsearch, mais vous spécifiez http lors de la configuration du pipeline Logstash.

Modifiez les configurations du pipeline pour garantir que le pipeline Logstash, la source et le cluster Elasticsearch utilisent le même protocole.

Élément à vérifier

Scénario d'exemple

Solution recommandée

Vérifiez si l'utilisation du disque des nœuds est excessivement élevée. Pour plus d'informations, consultez Aperçu de la surveillance du cluster.

• Dans les configurations du pipeline, le paramètre Queue Type est défini sur PERSISTED. Les données sont alors stockées de manière permanente sur le disque. L'espace disque s'épuise donc à mesure que le volume de données augmente.

• stdout{} est configuré dans la section output.

Appliquez l'une des solutions suivantes selon vos besoins :

• Définissez le paramètre Queue Type sur MEMORY (type de file d'attente par défaut). Pour savoir comment modifier le type de file d'attente, consultez Utiliser des fichiers de configuration pour gérer les pipelines.

  Important

  Alibaba Cloud Logstash ne propose pas d'option pour effacer le disque. Si l'espace disque est épuisé, contactez le support technique d'Alibaba Cloud pour un nettoyage backend.

• Supprimez stdout{} de la section de configuration de sortie du pipeline.

  Important

  Ne configurez pas stdout{} dans la section de configuration de sortie d'un pipeline, car cela peut entraîner une utilisation excessive du disque.

Vérifiez la présence d'erreurs d'épuisement de la mémoire (OOM) liées à l'utilisation de la mémoire des nœuds. Pour plus d'informations, consultez Aperçu de la surveillance du cluster.

Une erreur OOM survient lors de l'utilisation de la mémoire des nœuds, empêchant leur démarrage.

Redémarrez les nœuds du cluster Elasticsearch.

Vérifiez que la charge de la source ou du cluster Elasticsearch est normale.

Le cluster Elasticsearch est dans un état dégradé, ce qui empêche l'écriture des données.

Suspendez l'opération d'écriture et rétablissez le cluster Elasticsearch à un état normal. Nous vous recommandons de mettre à l'échelle le cluster.

Élément à vérifier

Scénario d'exemple

Solution recommandée

Activez le débogage de la configuration du pipeline pour le cluster Logstash et consultez les journaux de débogage pour vérifier le transfert des données vers le cluster Logstash. Pour activer cette fonctionnalité, installez le plug-in logstash-output-file_extend sur le cluster Logstash. Pour savoir comment utiliser le débogage de la configuration du pipeline, consultez Utiliser la fonctionnalité de débogage de la configuration du pipeline.

• Si aucune donnée n'est transférée vers le cluster Logstash, vérifiez la validité des informations de configuration de la source.

• Si des données sont transférées vers le cluster Logstash, vérifiez la validité des informations de configuration du cluster Elasticsearch.

Si aucune donnée n'est transférée vers le cluster Logstash, les situations suivantes sont possibles :

• Les informations de configuration de la source contiennent la paire AccessKey d'un compte Alibaba Cloud, mais celle-ci n'est pas valide.

• Aucune donnée n'est écrite dans la source en temps réel. Par exemple, Filebeat collecte les données d'un fichier source en temps réel, mais aucune donnée n'est ajoutée au fichier. Filebeat ne peut donc ni collecter ni transférer de données vers le cluster Logstash.

Appliquez l'une des solutions suivantes selon vos besoins :

• Vérifiez les informations de configuration de la source et corrigez les éléments non valides.

• Si un plug-in de flux de données en temps réel est installé sur le cluster Logstash, assurez-vous que les données sont bien écrites dans la source en temps réel.

Si des données sont transférées vers le cluster Logstash, les situations suivantes sont possibles :

• La fonctionnalité Auto Indexing est désactivée pour le cluster Elasticsearch.

• L'écriture est interdite sur le cluster Elasticsearch. Par exemple, les données ne peuvent pas être écrites dans l'index de destination du cluster Elasticsearch.

Appliquez l'une des solutions suivantes selon vos besoins :

• Activez la fonctionnalité Auto Indexing pour le cluster Elasticsearch.

• Assurez-vous que l'écriture est autorisée sur le cluster Elasticsearch.

Élément à vérifier

Scénario d'exemple

Solution recommandée

Effectuez les opérations suivantes selon le scénario de configuration du pipeline et les attributs des plug-ins :

• Vérifiez la correction de l'instruction de requête JDBC utilisée.

• Si le plug-in logstash-input-elasticsearch est utilisé, vérifiez s'il écrit des données dans la source en temps réel.

Si vous utilisez JDBC, les situations suivantes sont possibles :

• Le résultat renvoyé ne contient aucune donnée.

• Les données des champs d'identifiant, tels que le champ temporel et l'ID, ne sont pas incrémentielles.

• Le fuseau horaire du pilote JDBC diffère de celui du cluster Elasticsearch.

Appliquez l'une des solutions suivantes selon vos besoins :

• Déboguez l'instruction de requête dans la source.

• Vérifiez que les types de données des champs d'identifiant correspondent aux types recommandés par Elasticsearch open source. Nous vous recommandons d'utiliser le type numeric ou timestamp.

• Vérifiez que le fuseau horaire du pilote JDBC correspond à celui du cluster Elasticsearch. En cas de différence, modifiez les configurations associées.

Si vous utilisez le plug-in logstash-input-elasticsearch, les situations suivantes sont possibles :

• Les données sont écrites dans la source en temps réel.

• Vous spécifiez un intervalle de requête court dans les configurations du pipeline. Les données sont alors écrites dans le cluster Elasticsearch à intervalles rapprochés, entraînant un volume important de données et une accumulation dans le cluster.

Logstash n'est pas adapté à la synchronisation de données en temps réel. Si les données sont écrites dans la source en temps réel, nous vous recommandons de spécifier un intervalle de requête plus long. Cela évite les requêtes fréquentes dans la source et les écritures fréquentes dans le cluster Elasticsearch.

Consultez les journaux lents du cluster Logstash pour vérifier si l'écriture des données dans le cluster Elasticsearch est lente. Pour savoir comment consulter les journaux lents, consultez Interroger les journaux.

La charge de la source et du cluster Elasticsearch ne présente aucun goulot d'étranglement. Cependant, le paramètre Pipeline Workers conserve sa valeur par défaut, ce qui ralentit l'écriture des données dans le cluster Elasticsearch de destination.

Augmentez les valeurs des paramètres Pipeline Batch Size et Pipeline Workers. Pour plus d'informations, consultez Utiliser des fichiers de configuration pour gérer les pipelines.