Elasticsearch:Utilisation du plug-in logstash-output-oss

Prérequis

Avant de commencer, assurez-vous d'avoir :

• Installé le plug-in logstash-output-oss. Pour plus d'informations, consultez la page Installation et suppression d'un plug-in.

• Activé OSS. Pour plus d'informations, consultez la page Activation d'OSS.

• Créé un bucket OSS avec des droits de lecture/écriture et obtenu l'ID AccessKey ainsi que la clé AccessKey Secret d'un compte disposant des autorisations d'écriture sur ce bucket. Pour plus d'informations, consultez la page Création de buckets.

• Préparé vos sources de données. Le plug-in prend en charge tous les plug-ins d'entrée Logstash. Pour obtenir la liste complète, reportez-vous à la page Plug-ins d'entrée.

Configuration du plug-in

Créez un pipeline à l'aide d'un fichier de configuration, puis configurez la section de sortie avec les paramètres du plug-in oss. Une fois le pipeline enregistré et déployé, Alibaba Cloud Logstash transfère les données de vos sources vers OSS.

Pour obtenir des instructions sur la création d'un pipeline, consultez la page Gestion des pipelines à l'aide de fichiers de configuration.

L'exemple suivant configure un pipeline qui lit les données depuis Beats et les écrit dans OSS :

input {
  beats {
    port => "8044"                    # required
    codec => json {
      charset => "UTF-8"
    }
  }
}
output {
  oss {
    endpoint => "http://oss-cn-hangzhou-internal.aliyuncs.com"  # required
    bucket => "zl-log-output-test"                              # required
    access_key_id => "LTAI****************"                     # required
    access_key_secret => "yourAccessKeySecret"                  # required
    temporary_directory => "/ssd/1/<Logstash cluster ID>/logstash/data/22"  # required
    prefix => "oss/database"                                    # optional, default: empty
    recover => true                                             # optional, default: true
    rotation_strategy => "size_and_time"                        # optional, default: size_and_time
    time_rotate => 1                                            # optional, default: 15 (minutes)
    size_rotate => 1000                                         # optional, default: 31457280 (bytes)
    encoding => "gzip"                                          # optional, default: none
    additional_oss_settings => {
      max_connections_to_oss => 1024                            # optional, default: 1024
      secure_connection_enabled => false                        # optional, default: false
    }
    codec => json {
      charset => "UTF-8"
    }
  }
}

Alibaba Cloud Logstash prend actuellement en charge le transfert de données uniquement au sein du même réseau privé virtuel (VPC). Pour transférer des données via le réseau public, vous devez configurer une passerelle NAT. Pour plus d'informations, consultez la page Configuration de NAT pour le transfert de données via le réseau public.

Paramètres

Le tableau suivant décrit tous les paramètres pris en charge par logstash-output-oss.

Fichiers temporaires

Pendant le transfert des données, le plug-in met les données en cache dans un fichier temporaire sur votre machine locale et les télécharge périodiquement vers OSS. Utilisez le paramètre temporary_directory pour spécifier l'emplacement de stockage de ce fichier.

Le chemin d'accès d'un fichier temporaire suit le format suivant :

/ssd/1/<Logstash cluster ID>/logstash/data/eaced620-e972-0136-2a14-02b7449b****/logstash/1/ls.oss.eaced620-e972-0136-2a14-02b7449b****.2018-12-24T14.27.part-0.data

Les segments du chemin d'accès sont décrits ci-dessous :

Étapes suivantes

• Pour installer ou supprimer des plug-ins, consultez la page Installation et suppression d'un plug-in.

• Pour gérer les pipelines à l'aide de fichiers de configuration, consultez la page Gestion des pipelines à l'aide de fichiers de configuration.