Collect Beats and Logstash data via Logtail Lumberjack plugin - Simple Log Service

Prérequis

Logtail est installé sur votre serveur. La version 0.16.9 ou ultérieure de Logtail est requise pour Linux. La version 1.0.0.8 ou ultérieure est requise pour Windows. Installation de Logtail sur un serveur Linux ou Installation de Logtail sur un serveur Windows.
Les données ont été collectées à l'aide de Logstash ou de Beats.
- Pour collecter des données avec Logstash, consultez Logstash-Lumberjack-Output.
- Pour collecter des données avec le logiciel Beats, consultez Beats-Lumberjack-Output.
  L'exemple suivant utilise PacketBeat pour collecter les paquets réseau locaux et le plugin Lumberjack de Logtail pour envoyer les données vers Simple Log Service. La sortie de PacketBeat est configurée pour Logstash :
```
output.logstash:
  hosts: ["127.0.0.1:5044"]
```

Informations générales

Les logiciels Logstash et Beats (MetricBeat, PacketBeat, Winlogbeat, Auditbeat, Filebeat et Heartbeat) prennent en charge le protocole Lumberjack. Logtail utilise ce protocole pour envoyer les données de Logstash et de Beats vers Simple Log Service.

Remarque

Plusieurs plugins Lumberjack peuvent s'exécuter sur la même instance Logtail, mais chacun doit écouter sur un port différent.
Le plugin Lumberjack prend en charge SSL, ce qui est requis pour l'envoi de données depuis Logstash.

Procédure

Connectez-vous à la console Simple Log Service.
Dans la partie droite de la page, cliquez sur Import Data, puis sélectionnez Custom Data Plug-in.
Sélectionnez le projet et le Logstore de destination, puis cliquez sur Next.
À l'étape Machine Group Configurations, configurez un groupe de machines.
1. Configurez les paramètres Scenario et Installation Environment selon vos besoins.
  
  Important
  Vous devez configurer les paramètres Scenario et Installation Environment, qu'un groupe de machines soit disponible ou non. Ces paramètres influencent les configurations ultérieures.
2. Vérifiez qu'un groupe de machines s'affiche dans la section Applied Server Groups, puis cliquez sur Next.
  
  Groupe de machines disponible
  
  Sélectionnez un groupe de machines dans la section Source Machine Group.
  
  Aucun groupe de machines disponible
  
  Cliquez sur Create Machine Group. Dans le panneau Create Machine Group, configurez les paramètres. Vous pouvez définir le paramètre Machine Group Identifier sur IP Address ou Custom Identifier. Pour plus d'informations, consultez Création d'un groupe de machines basé sur un identifiant personnalisé ou Création d'un groupe de machines basé sur une adresse IP.
  
  Important
  Si vous appliquez un groupe de machines immédiatement après sa création, son statut de heartbeat peut être FAIL. Ce problème survient car le groupe de machines n'est pas connecté à Simple Log Service. Pour le résoudre, cliquez sur Automatic Retry. Si le problème persiste, consultez Que faire si aucune connexion heartbeat n'est détectée sur Logtail ?

Dans l'onglet Data Source Configuration, définissez les paramètres Configuration Name et Plugin Configuration, puis cliquez sur Next.

Le paramètre inputs est obligatoire et sert à configurer les paramètres de source de données pour la configuration Logtail.

Important
Vous ne pouvez spécifier qu'un seul type de source de données dans inputs.
Le paramètre processors est facultatif et sert à configurer les paramètres de traitement des données pour la configuration Logtail afin d'analyser les données. Vous pouvez spécifier une ou plusieurs méthodes de traitement.

Si vos journaux ne peuvent pas être analysés uniquement avec le paramètre inputs, vous pouvez configurer des processeurs dans le champ Plug-in Configuration pour ajouter des plugins de traitement des données. Par exemple, extraire des champs, extraire l'heure du journal, masquer des données et filtrer les journaux. Pour plus d'informations, consultez Plugins Logtail pour le traitement des données.

Beats et Logstash envoient des données au format JSON. Utilisez le plugin processor_anchor pour analyser les données JSON.

{
  "inputs": [
    {
      "detail": {
        "BindAddress": "0.0.0.0:5044"
      },
      "type": "service_lumberjack"
    }
  ],
  "processors": [
    {
      "detail": {
        "Anchors": [
          {
            "ExpondJson": true,
            "FieldType": "json",
            "Start": "",
            "Stop": ""
          }
        ],
        "SourceKey": "content"
      },
      "type": "processor_anchor"
    }
  ]
}

Parameter

Type

Required

Description

type

string

Yes

Type de source de données. Définissez-le sur service_lumberjack.

BindAddress

string

No

Adresse d'écoute pour le protocole Lumberjack. Valeur par défaut : 127.0.0.1:5044. Définissez-le sur 0.0.0.0:5044 pour autoriser l'accès depuis d'autres hôtes du réseau local.

V1

boolean

No

Indique s'il faut utiliser le protocole Lumberjack V1. Valeur par défaut : false. Logstash utilise Lumberjack V1.

V2

boolean

No

Indique s'il faut utiliser le protocole Lumberjack V2. Valeur par défaut : true. Beats utilise Lumberjack V2.

SSLCA

string

No

Chemin du certificat de signature émis par l'autorité de certification. Valeur par défaut : vide. Non requis pour les certificats auto-signés.

SSLCert

string

No

Chemin du certificat SSL. Valeur par défaut : vide.

SSLKey

string

No

Chemin de la clé privée du certificat. Valeur par défaut : vide.

InsecureSkipVerify

boolean

No

Indique s'il faut ignorer la vérification SSL. Valeur par défaut : false (la vérification SSL est effectuée).

Créez des index et prévisualisez les données. Puis, cliquez sur Next. Par défaut, l'indexation en texte intégral est activée dans Simple Log Service. Vous pouvez également créer manuellement des index de champ pour les journaux collectés ou cliquer sur Automatic Index Generation. Simple Log Service génère alors des index de champ. Pour plus d'informations, consultez Création d'index.

Important
Si vous souhaitez interroger tous les champs des journaux, nous vous recommandons d'utiliser des index en texte intégral. Si vous souhaitez interroger uniquement des champs spécifiques, nous vous recommandons d'utiliser des index de champ. Cela permet de réduire le trafic lié aux index. Si vous souhaitez analyser des champs, vous devez créer des index de champ. Votre instruction de requête d'analyse doit inclure une instruction SELECT.
Cliquez sur Query Log pour accéder à la page Query & Analysis du Logstore.

Il peut être nécessaire d'attendre environ une minute pour que les index deviennent effectifs. Vous pouvez ensuite afficher les journaux collectés dans l'onglet Raw Logs. Pour plus d'informations, consultez Démarrage rapide pour l'interrogation et l'analyse des journaux.

Dépannage

Si aucune donnée n'apparaît sur la page de prévisualisation ou d'interrogation après avoir configuré Logtail pour la collecte des journaux, consultez Dépannage des échecs de collecte Logtail.

Étapes suivantes

Une fois que Logtail a collecté et envoyé les données à Simple Log Service, vous pouvez les afficher dans la console. L'exemple suivant montre la sortie de PacketBeat :

_@metadata_beat:  packetbeat
_@metadata_type:  doc
_@metadata_version:  6.2.4
_@timestamp:  2018-06-05T03:58:42.470Z
__source__:  **.**.**.**
__tag__:__hostname__:  *******
__topic__:  
_beat_hostname:  bdbe0b8d53a4
_beat_name:  bdbe0b8d53a4
_beat_version:  6.2.4
_bytes_in:  56
_bytes_out:  56
_client_ip:  192.168.5.2
_icmp_request_code:  0
_icmp_request_message:  EchoRequest(0)
_icmp_request_type:  8
_icmp_response_code:  0
_icmp_response_message:  EchoReply(0)
_icmp_response_type:  0
_icmp_version:  4
_ip:  127.0.0.1
_path:  127.0.0.1
_responsetime:  0
_status:  OK
_type:  icmp

Prérequis

Informations générales

Procédure

Groupe de machines disponible

Aucun groupe de machines disponible

Dépannage

Étapes suivantes