Elasticsearch:logstash-output-oss プラグインの使用

Beats から OSS にデータを転送する例を次に示します。

input {
  beats {
    port => "8044"
    codec => json {
      charset => "UTF-8"

  }
}
output {
   oss {
    endpoint => "http://oss-cn-hangzhou-internal.aliyuncs.com"              // OSS のエンドポイント
    bucket => "zl-log-output-test"                          // OSS バケット名
    access_key_id => "LTAI****************"                 // AccessKey ID
    access_key_secret => "yourAccessKeySecret"         // AccessKey シークレット
    prefix => "oss/database"                         // ファイル名のプレフィックス
    recover => true                                      // プログラムが異常終了した場合に、オンプレミス マシン上のデータのアップロードを続行するかどうかを指定します
    rotation_strategy => "size_and_time"                  // ファイルローテーション戦略
    time_rotate => 1                                     // ファイルのライフサイクルが time_rotate の値以上の場合、OSS はファイルのローリング アップデートを実行します
    size_rotate => 1000                                   // ファイルのサイズが size_rotate の値以上の場合、OSS はファイルのローリング アップデートを実行します
    temporary_directory => "/ssd/1/<Logstash cluster ID>/logstash/data/22"                            // データを OSS にアップロードする前にデータをキャッシュするために使用する一時ディレクトリ
    encoding => "gzip"                                 // OSS にファイルをアップロードする前にメッセージをエンコードするために使用されるメソッド
    additional_oss_settings => {
      max_connections_to_oss => 1024                      // OSS への最大接続数
      secure_connection_enabled => false                  // HTTPS を有効にするかどうかを指定します
    }
    codec => json {
      charset => "UTF-8"
    }
  }
}

次の表は、logstash-output-oss でサポートされているパラメーターについて説明しています。