Gunakan plugin logstash-output-oss untuk output data ke OSS - Elasticsearch

Plug-in logstash-output-oss mentransfer data dari pipeline Alibaba Cloud Logstash ke Object Storage Service (OSS). Plug-in ini merupakan proyek sumber terbuka yang dikelola oleh Alibaba Cloud. Untuk kode sumbernya, lihat logstash-output-oss.

Alibaba Cloud Logstash hanya mendukung transfer data dalam virtual private cloud (VPC) yang sama. Jika sumber data Anda berada di Internet, konfigurasikan gerbang NAT terlebih dahulu sebelum melanjutkan. Untuk informasi selengkapnya, lihat Konfigurasi gerbang NAT untuk transfer data melalui Internet.

Prasyarat

Sebelum memulai, pastikan Anda telah:

Menginstal plug-in logstash-output-oss. Untuk informasi selengkapnya, lihat Instal dan hapus plug-in.
Mengaktifkan OSS. Untuk informasi selengkapnya, lihat Aktifkan OSS.
Membuat bucket OSS dengan izin baca/tulis serta memperoleh ID AccessKey dan Rahasia AccessKey dari akun yang memiliki izin menulis pada bucket tersebut. Untuk informasi selengkapnya, lihat Buat bucket.
Menyiapkan sumber data Anda. Plug-in ini mendukung semua plug-in input Logstash. Untuk daftar lengkapnya, lihat Input plugins.

Konfigurasi plug-in

Buat pipeline menggunakan file konfigurasi, lalu konfigurasikan bagian output dengan parameter plug-in oss. Setelah Anda menyimpan dan menerapkan pipeline tersebut, Alibaba Cloud Logstash akan mentransfer data dari sumber data Anda ke OSS.

Untuk petunjuk membuat pipeline, lihat Gunakan file konfigurasi untuk mengelola pipeline.

Contoh berikut mengonfigurasi pipeline yang membaca dari Beats dan menulis ke OSS:

input {
  beats {
    port => "8044"                    # required
    codec => json {
      charset => "UTF-8"
    }
  }
}
output {
  oss {
    endpoint => "http://oss-cn-hangzhou-internal.aliyuncs.com"  # required
    bucket => "zl-log-output-test"                              # required
    access_key_id => "LTAI****************"                     # required
    access_key_secret => "yourAccessKeySecret"                  # required
    temporary_directory => "/ssd/1/<Logstash cluster ID>/logstash/data/22"  # required
    prefix => "oss/database"                                    # optional, default: empty
    recover => true                                             # optional, default: true
    rotation_strategy => "size_and_time"                        # optional, default: size_and_time
    time_rotate => 1                                            # optional, default: 15 (minutes)
    size_rotate => 1000                                         # optional, default: 31457280 (bytes)
    encoding => "gzip"                                          # optional, default: none
    additional_oss_settings => {
      max_connections_to_oss => 1024                            # optional, default: 1024
      secure_connection_enabled => false                        # optional, default: false
    }
    codec => json {
      charset => "UTF-8"
    }
  }
}

Alibaba Cloud Logstash saat ini hanya mendukung transfer data dalam virtual private cloud (VPC) yang sama. Untuk mentransfer data melalui jaringan publik, Anda harus mengonfigurasi NAT. Untuk informasi selengkapnya, lihat Konfigurasi NAT untuk transfer data jaringan publik.

Parameter

Tabel berikut menjelaskan semua parameter yang didukung oleh logstash-output-oss.

Parameter	Tipe	Wajib	Bawaan	Deskripsi
`endpoint`	String	Ya	—	Titik akhir OSS. Untuk nilai titik akhir berdasarkan wilayah, lihat Wilayah dan titik akhir.
`bucket`	String	Ya	—	Nama bucket OSS.
`access_key_id`	String	Ya	—	ID AccessKey dari akun yang memiliki izin menulis pada bucket OSS.
`access_key_secret`	String	Ya	—	Rahasia AccessKey dari akun yang memiliki izin menulis pada bucket OSS.
`temporary_directory`	String	Ya	—	Direktori lokal yang digunakan untuk menyimpan cache data sebelum diunggah ke OSS. Tetapkan nilainya ke `/ssd/1/<Logstash cluster ID>/logstash/data/<customized>`. Direktori ini akan dihapus dalam hitungan detik setelah transfer selesai.
`prefix`	String	Tidak	(kosong)	Awalan yang diterapkan pada nama file. Penting Menyetel parameter ini dapat membuat banyak file temporary di mesin lokal Anda.
`recover`	Boolean	Tidak	`true`	Apakah akan melanjutkan pengunggahan data lokal jika program keluar secara tidak terduga.
`rotation_strategy`	String, salah satu dari `size`, `time`, `size_and_time`	Tidak	`size_and_time`	Mengontrol kapan file ditutup dan diunggah ke OSS. Dengan `size`, file berotasi ketika ukurannya mencapai ambang batas `size_rotate`. Dengan `time`, file berotasi ketika usianya mencapai ambang batas `time_rotate`. Dengan `size_and_time`, file berotasi ketika salah satu ambang batas tercapai lebih dulu.
`size_rotate`	Number	Tidak	`31457280`	Ambang batas ukuran file untuk rotasi, dalam byte. Parameter ini hanya berlaku jika `rotation_strategy` bernilai `size`.
`time_rotate`	Number	Tidak	`15`	Ambang batas usia file untuk rotasi, dalam menit. Parameter ini hanya berlaku jika `rotation_strategy` bernilai `time`.
`upload_workers_count`	Number	Tidak	—	Jumlah thread unggah bersamaan.
`upload_queue_size`	Number	Tidak	—	Ukuran antrian unggah.
`encoding`	String, salah satu dari `gzip`, `none`	Tidak	`none`	Pengodean yang diterapkan pada file sebelum diunggah.
`additional_oss_settings`	Hash	Tidak	—	Pengaturan tambahan klien OSS. Lihat sub-parameter di bawah ini.

Sub-parameter `additional_oss_settings`

Sub-parameter	Bawaan	Deskripsi
`server_side_encryption_algorithm`	—	Algoritma enkripsi sisi server. Hanya `AES-256` yang didukung.
`secure_connection_enabled`	`false`	Apakah akan menggunakan HTTPS untuk koneksi OSS.
`max_connections_to_oss`	`1024`	Jumlah maksimum koneksi bersamaan ke OSS.

File temporary

Saat mentransfer data, plug-in menyimpan cache data dalam file temporary di mesin lokal Anda dan mengunggahnya ke OSS secara berkala. Gunakan parameter temporary_directory untuk menentukan lokasi penyimpanan file tersebut.

Jalur file temporary mengikuti format berikut:

/ssd/1/<Logstash cluster ID>/logstash/data/eaced620-e972-0136-2a14-02b7449b****/logstash/1/ls.oss.eaced620-e972-0136-2a14-02b7449b****.2018-12-24T14.27.part-0.data

Segmen jalur tersebut dijelaskan di bawah ini:

Segmen jalur	Deskripsi
`/ssd/1/<Logstash cluster ID>/logstash/data/`	Direktori yang ditentukan oleh `temporary_directory`.
`eaced620-e972-0136-2a14-02b7449b****`	Identifier unik universal (UUID) yang dihasilkan secara acak.
`logstash/1`	Awalan objek OSS.
`ls.oss`	File temporary yang dihasilkan oleh plug-in logstash-output-oss.
`2018-12-24T14.27`	Stempel waktu saat file temporary dibuat.
`part-0`	Awalan file temporary.
`.data`	Ekstensi file. `.gz` jika `encoding` diatur ke `gzip`; selain itu `.data`.

Langkah berikutnya

Untuk menginstal atau menghapus plug-in, lihat Instal dan hapus plug-in.
Untuk mengelola pipeline menggunakan file konfigurasi, lihat Gunakan file konfigurasi untuk mengelola pipeline.