La fonctionnalité de journalisation d'Alibaba Cloud Logstash vous permet de rechercher du contenu dans les journaux par mot-clé et par plage horaire, ce qui vous aide à localiser rapidement les problèmes de cluster et à effectuer la maintenance quotidienne.
Procédure
Accédez à la page Logstash Clusters.
-
Accédez au cluster cible.
Dans la barre de navigation supérieure, sélectionnez la région où réside le cluster.
Sur la page Logstash Clusters, repérez le cluster et cliquez sur son ID.
-
Dans le volet de navigation de gauche, cliquez sur Logs pour afficher les journaux d'exécution du cluster.
Alibaba Cloud Logstash prend en charge quatre types de journaux : les journaux de cluster, les journaux des requêtes lentes, les journaux GC et les journaux de débogage. Le tableau suivant décrit chaque type et ses cas d'utilisation. Pour plus d'informations, consultez la section Détails des journaux.
Type de journal
Description
Cas d'utilisation
journal de cluster
Enregistre l'état opérationnel du cluster.
Consultez les journaux de cluster pour surveiller l'état des nœuds et celui des pipelines, résoudre les problèmes de connectivité entre les sources et les destinations, vérifier les modifications de configuration des pipelines et identifier les erreurs d'exécution.
ImportantSi votre application rencontre des problèmes, vérifiez d'abord le journal de cluster et les données de surveillance du cluster afin d'écarter les goulots d'étranglement liés aux performances ou les problèmes de configuration du pipeline.
journal des requêtes lentes
Enregistre les événements de pipeline qui dépassent un seuil de temps spécifié.
ImportantPour faciliter le dépannage, les journaux des requêtes lentes sont activés par défaut dans le fichier YML. Ne supprimez pas cette configuration de journal des requêtes lentes. Pour plus d'informations, consultez la section Configurer un fichier YML.
Si vous constatez des lenteurs lors des opérations d'écriture, vérifiez le journal des requêtes lentes. Les causes courantes incluent :
-
La source ou la destination dans la configuration du pipeline a atteint une limite de ressources. Nous vous recommandons d'augmenter les ressources allouées à la source ou à la destination.
-
Le paramètre Pipeline Workers pour Logstash est trop faible. Augmentez les valeurs de Pipeline Batch Size et de Pipeline Workers. Pour plus d'informations, consultez la section Gérer les pipelines à l'aide de fichiers de configuration.
journal gc
Enregistre les événements de garbage collection (GC) du tas de la machine virtuelle Java (JVM), y compris les détails sur les mécanismes Old GC, CMS GC, Full GC et Minor GC.
Si un cluster rencontre un goulot d'étranglement au niveau des performances, vérifiez les journaux GC pour identifier les événements de garbage collection fréquents ou longs.
journal de débogage
Affiche les données de sortie après leur traitement par un pipeline. Cette fonctionnalité est désactivée par défaut. Pour l'activer, installez le plug-in logstash-output-file_extend et configurez le paramètre file_extend dans la section de sortie.
Utilisez les journaux de débogage pour afficher directement la sortie du pipeline dans la console à des fins de débogage.
-
-
Dans la zone de recherche de la page Logs, saisissez une requête de recherche, sélectionnez une heure de début et une heure de fin, puis cliquez sur Search.
Vous pouvez interroger les journaux des sept derniers jours. Par défaut, les journaux s'affichent par ordre chronologique inversé. Alibaba Cloud Logstash prend en charge la syntaxe de requête basée sur Lucene. Pour plus d'informations, consultez la documentation relative à la syntaxe des chaînes de requête.
Par exemple, pour interroger un journal de cluster où le champ content contient le mot-clé running, où le level est info et où l'hôte host est 172,16.xx.xx, utilisez la requête suivante :
host:172.16.xx.xx AND level:info AND content:running.Les résultats de la recherche s'affichent sur la page Logs.
Détails des journaux
Journal de cluster
Un journal de cluster affiche les journaux d'exécution d'un cluster, y compris l'heure de génération, l'adresse IP du nœud source et les détails du journal.
|
Paramètre |
Description |
|
Time |
L'heure à laquelle le journal a été généré. |
|
Node IP Address |
L'adresse IP du nœud qui a généré le journal. |
|
Content |
Les détails du journal, qui se composent principalement des champs level, host, time et content :
|
Journal GC
Les journaux GC sont activés par défaut. Ils partagent la même structure que le journal de cluster.
La visionneuse de journaux affiche les entrées du journal GC avec trois champs : host (IP du nœud), time (horodatage, par exemple 2021-10-11T16:21:19.589Z) et content (corps du journal). Exemple de contenu de journal GC : [GC (Allocation Failure) ... ParNew: 481493K->4666K(536384K) ... 606013K->129187K(2324288K), Times: user=0.02 sys=0.00, real=0.02 secs], indiquant que ParNew a collecté de 481 493 K à 4 666 K, et le tas total de 606 013 K à 129 187 K.
Journal des requêtes lentes
Les journaux des requêtes lentes sont activés par défaut. Vous pouvez afficher ou modifier la configuration des journaux des requêtes lentes dans le fichier YML de votre instance Logstash. Pour plus d'informations, consultez la section Configurer un fichier YML.
Pour faciliter le dépannage, ne supprimez pas cette configuration de journal des requêtes lentes.
slowlog:
threshold:
warn: 2s
info: 1s
debug: 500ms
trace: 100ms
Journal de débogage
Lorsque la sortie du pipeline ne correspond pas aux attentes, Alibaba Cloud Logstash propose une fonctionnalité de débogage de pipeline pour vous aider. Pour plus d'informations, consultez la section Utiliser la fonctionnalité de débogage de la configuration du pipeline.
Les journaux de débogage sont désactivés par défaut. Pour les activer, procédez comme suit :
Installez le plug-in logstash-output-file_extend. Pour plus d'informations, consultez la section Installer ou supprimer un plug-in.
Dans la section de sortie de la configuration du pipeline, configurez le paramètre file_extend. Pour plus d'informations, consultez la section Gérer les pipelines à l'aide de fichiers de configuration.
Une fois les journaux de débogage activés, vous pouvez afficher la sortie du pipeline Logstash dans la console Simple Log Service. Chaque entrée de journal contient les champs time, node IP et content. Le contenu affiche les données traitées par le pipeline au format clé-valeur (telles que les résultats d'analyse géolocalisée et les horodatages), ainsi que des métadonnées comme pipelineId et sls_log_time.