Elasticsearch:Utiliser le plug-in logstash-input-oss

Fonctionnement

1. Un objet OSS est créé ou mis à jour (par exemple, via PutObject ou AppendObject).

2. OSS envoie une notification d'événement à une file d'attente SMQ.

3. Le plug-in reçoit la notification SMQ et extrait la clé de l'objet.

4. Logstash lit toutes les données contenues dans l'objet et les transmet en aval via le pipeline.

Remarques sur l'utilisation

• Après réception d'une notification SMQ, Logstash synchronise toutes les données de l'objet associé, et non pas seulement les différences.

• Les objets au format .gz ou .gzip sont traités comme des fichiers gzip. Tous les autres formats sont traités comme du texte brut.

• Les objets au format binaire (tels que .jar ou .bin) peuvent être lus sous forme de caractères illisibles.

Prérequis

Avant de commencer, assurez-vous d'avoir :

• Installé le plug-in logstash-input-oss. Consultez la rubrique Installer ou supprimer un plug-in Logstash.

• Activé OSS et SMQ, avec des buckets OSS situés dans la même région que les files d'attente ou les topics SMQ. Consultez les rubriques Activer OSS et Activer SMQ et autoriser les utilisateurs RAM à accéder à SMQ.

• Configuré les règles de notification d'événements dans OSS. Consultez la rubrique Configurer les règles de notification d'événements.

Créer un pipeline

Créez un pipeline à l'aide de fichiers de configuration, comme décrit dans la rubrique Gérer les pipelines à l'aide de fichiers de configuration. Configurez les paramètres indiqués dans la section Paramètres, puis enregistrez et déployez le pipeline.

L'exemple suivant lit les données d'un bucket OSS et les écrit dans Alibaba Cloud Elasticsearch.

input {
  oss {
    endpoint => "oss-cn-hangzhou-internal.aliyuncs.com"
    bucket => "zl-ossou****"
    access_key_id => "******"
    access_key_secret => "*********"
    prefix => "file-sample-prefix"
    mns_settings => {
      endpoint => "******.mns.cn-hangzhou-internal.aliyuncs.com"
      queue => "aliyun-es-sample-mns"
    }
    codec => json {
      charset => "UTF-8"
    }
  }
}

output {
  elasticsearch {
    hosts => ["http://es-cn-***.elasticsearch.aliyuncs.com:9200"]
    index => "aliyun-es-sample"
    user => "elastic"
    password => "changeme"
  }
}

Paramètres

Métadonnées d'objet

Lorsque include_object_properties est activé, le plug-in expose les champs suivants dans [@metadata][oss]. Utilisez ces champs dans vos étapes de filtrage ou de sortie pour enrichir les événements ou appliquer une logique conditionnelle.

FAQ

Pourquoi le plug-in est-il basé sur SMQ plutôt que sur un sondage direct d'OSS ?

Les événements de mise à jour des objets OSS s'intègrent parfaitement à SMQ, ce qui fait de la notification par message une solution naturelle. L'alternative, consistant à utiliser l'API ListObjects, nécessite de suivre localement les objets déjà traités et ceux qui ne le sont pas. À mesure que le nombre d'objets augmente, les performances de ListObjects se dégradent. L'écosystème plus large du stockage d'objets (y compris la communauté open source Amazon S3) a également abandonné ListObjects au profit des mécanismes de notification par message.

Que se passe-t-il si Logstash est déclenché alors qu'OSS est encore en train d'écrire des données dans un objet ?

Le plug-in enregistre dans la file d'attente SMQ les objets qui ont été écrits et les transmet via le pipeline Logstash. Toutes les données qui n'ont pas encore été écrites dans OSS continuent d'être écrites. Lors du prochain déclenchement de Logstash, le plug-in lit les données restantes depuis OSS.

Étapes suivantes

• Installer ou supprimer un plug-in Logstash

• Gérer les pipelines à l'aide de fichiers de configuration

• Configurer les règles de notification d'événements