Simple Log Service:Plugins de traitement

Contexte

SLS propose deux types de plugins de traitement : natifs et étendus.

• Plugins natifs : hautes performances, adaptés à la plupart des scénarios. Choix par défaut recommandé.

• Plugins étendus : couvrent davantage de cas d'utilisation mais consomment des ressources supplémentaires. Utilisez-les lorsque les plugins natifs ne peuvent pas traiter votre format de journal.

Limites

• Limites de performance

  • Les plugins étendus consomment davantage de ressources (principalement le CPU). Ajustez les paramètres du collecteur selon vos besoins. Gestion de la configuration.

  • Si le débit de données brutes dépasse 5 Mo/s, évitez les combinaisons complexes de plugins. Utilisez un plugin étendu pour le traitement initial et la transformation des données pour les tâches plus complexes.

• Limites de collecte des journaux

  • Les plugins étendus traitent les journaux texte en mode ligne. Les métadonnées au niveau du fichier, telles que __tag__:__path__ et __topic__, sont stockées dans chaque journal.

  • Les plugins étendus affectent les fonctionnalités liées aux tags :

    • La requête contextuelle et LiveTail deviennent indisponibles sauf si vous ajoutez une configuration d'agrégateurs.

    • Le champ __topic__ est renommé en __log_topic__. Avec une configuration d'agrégateurs, les journaux contiennent à la fois les champs __topic__ et __log_topic__. Pour supprimer le champ __log_topic__, utilisez le plugin Plugins de traitement des champs.

    • Les champs tels que __tag__:__path__ perdent leurs index de champ natifs. Vous devez créer un index de champ pour ces derniers.

• Limites de combinaison de plugins

  • Pour les versions de Logtail antérieures à 2,0 :

    • Vous ne pouvez pas combiner des plugins natifs et étendus.

    • Les plugins natifs prennent en charge uniquement la collecte de journaux texte, avec les exigences suivantes :

      • Le premier plugin doit être un plugin d'analyse des données : mode Regex, Délimiteur, JSON, NGINX, Apache ou IIS.

      • Après le premier plugin, vous pouvez ajouter uniquement un plugin d'analyse temporelle, un plugin de filtrage des données et plusieurs plugins de masquage des données.

  • Dans Logtail 2.0, placez les plugins étendus après tous les plugins natifs.

• Limites de combinaison de paramètres des plugins natifs

  Pour les plugins d'analyse natifs (modes Regex, JSON, Délimiteur, NGINX, Apache et IIS) dans les versions de Logtail antérieures à 2,0, seules certaines combinaisons de paramètres sont valides. D'autres combinaisons peuvent produire des résultats imprévisibles.

  • Télécharger uniquement les journaux analysés avec succès :

    Désélectionnez les cases à cocher Conserver les champs d'origine en cas d'échec de l'analyse et Conserver les champs d'origine en cas de réussite de l'analyse.

  • Télécharger les journaux analysés en cas de succès et les journaux bruts en cas d'échec :

    Sélectionnez la case à cocher Conserver les champs d'origine en cas d'échec de l'analyse, désélectionnez la case Conserver les champs d'origine en cas de réussite de l'analyse et définissez Champ d'origine renommé sur __raw__.

  • En cas d'analyse réussie, téléchargez à la fois le journal analysé et le champ du journal d'origine. En cas d'échec de l'analyse, téléchargez le journal brut.

    Par exemple, après avoir analysé avec succès un journal contenant "content": "{"request_method":"GET", "request_time":"200"}", un nouveau champ est ajouté au journal analysé. Le nom de ce champ correspond à la valeur du Champ d'origine renommé (ou au nom du champ d'origine si laissé vide), et la valeur de ce nouveau champ est le contenu d'origine : {"request_method":"GET", "request_time":"200"}.

    Sélectionnez les cases à cocher Conserver les champs d'origine en cas d'échec de l'analyse et Conserver les champs d'origine en cas de réussite de l'analyse. Activez le commutateur Paramètres avancés et saisissez {"CopingRawLog":true}. Pour les versions de Logtail antérieures à 2.0, seules certaines combinaisons de paramètres sont effectives.

Liste des plugins de traitement

Plugins natifs

Plugins étendus

Ajouter un plugin