Gunakan plug-in logstash-output-oss - Elasticsearch

Plug-in logstash-output-oss memungkinkan Anda mentransfer data ke Object Storage Service (OSS). Topik ini menjelaskan cara menggunakan plug-in tersebut.

Catatan

logstash-output-oss adalah plug-in open source yang dikelola oleh Alibaba Cloud. Untuk informasi lebih lanjut, lihat logstash-output-oss.

Prasyarat

Plug-in logstash-output-oss telah diinstal.
Untuk informasi lebih lanjut, lihat Instal dan hapus plug-in.
OSS telah diaktifkan.
Untuk informasi lebih lanjut, lihat Aktifkan OSS.
Bucket OSS baca/tulis telah dibuat. ID AccessKey dan Rahasia AccessKey dari akun dengan izin menulis pada bucket OSS telah diperoleh.
Untuk informasi lebih lanjut, lihat Buat bucket.
Sumber data telah disiapkan.
Sumber data dapat dipilih dari semua plug-in input yang didukung. Untuk informasi lebih lanjut, lihat Plug-in input.

Aplikasi logstash-output-oss

Setelah prasyarat terpenuhi, Anda dapat membuat pipeline berdasarkan petunjuk dalam Gunakan file konfigurasi untuk mengelola pipeline. Saat membuat pipeline, konfigurasikan parameter berdasarkan deskripsi dalam tabel bagian Parameter. Setelah mengonfigurasi parameter, simpan pengaturan dan terapkan pipeline. Kemudian, Alibaba Cloud Logstash akan mentransfer data dari sumber data ke OSS.

Berikut adalah contoh transfer data dari Beats ke OSS:

input {
  beats {
    port => "8044"
    codec => json {
      charset => "UTF-8"

  }
}
output {
   oss {
    endpoint => "http://oss-cn-hangzhou-internal.aliyuncs.com"              
    bucket => "zl-log-output-test"                          
    access_key_id => "LTAI****************"                 
    access_key_secret => "yourAccessKeySecret"         
    prefix => "oss/database"                         
    recover => true                                      
    rotation_strategy => "size_and_time"                  
    time_rotate => 1                                     
    size_rotate => 1000
    temporary_directory => "/ssd/1/<Logstash cluster ID>/logstash/data/22"                            
    encoding => "gzip"                                 
    additional_oss_settings => {
      max_connections_to_oss => 1024                      
      secure_connection_enabled => false                  
    }
    codec => json {
      charset => "UTF-8"
    }
  }
}

Catatan

Alibaba Cloud Logstash mendukung transfer data hanya dalam jaringan virtual pribadi (VPC). Jika data sumber berada di internet, konfigurasikan gateway NAT untuk mengakses Alibaba Cloud Logstash melalui internet. Untuk informasi lebih lanjut, lihat Konfigurasikan gateway NAT untuk transfer data melalui internet.

Parameter

Tabel berikut menjelaskan parameter yang didukung oleh logstash-output-oss.

Parameter	Tipe	Diperlukan	Deskripsi
`endpoint`	String	Ya	Titik akhir yang digunakan untuk mengakses OSS. Untuk informasi lebih lanjut, lihat Wilayah dan titik akhir.
`bucket`	String	Ya	Nama Bucket OSS.
`access_key_id`	String	Ya	ID AccessKey dari akun Anda yang memiliki izin menulis pada Bucket OSS.
`access_key_secret`	String	Ya	Rahasia AccessKey dari akun Anda yang memiliki izin menulis pada Bucket OSS.
`prefix`	String	Tidak	Awalan nama file. Jika parameter ini tidak ditentukan, secara default kosong. Penting Anda dapat mengatur parameter ini menjadi string. Dalam hal ini, banyak file sementara mungkin dibuat di mesin lokal Anda.
`recover`	Boolean	Tidak	Menentukan apakah akan melanjutkan mengunggah data di mesin lokal Anda jika program keluar secara tidak normal. Nilai default: true.
`additional_oss_settings`	Hash	Tidak	Konfigurasi klien OSS tambahan. Nilai valid: `server_side_encryption_algorithm`: metode enkripsi sisi server. Hanya AES-256 yang didukung. `secure_connection_enabled`: menentukan apakah akan mengaktifkan HTTPS. Nilai default: false. `max_connections_to_oss`: jumlah maksimum koneksi. Nilai default: 1024.
`temporary_directory`	String	Ya	Direktori sementara yang Anda gunakan untuk menyimpan data sebelum data diunggah ke OSS. Atur nilainya menjadi `/ssd/1/<Logstash cluster ID>/logstash/data/<disesuaikan>`. Setelah tugas transfer data selesai, direktori tersebut dihapus dalam beberapa detik.
`rotation_strategy`	String	Tidak	Strategi rotasi file. Nilai valid: `size`, `time`, dan `size_and_time`. Nilai default: size_and_time.
`size_rotate`	Angka	Tidak	Jika ukuran file lebih besar atau sama dengan nilai `size_rotate`, OSS melakukan pembaruan bergulir pada file. Parameter ini hanya valid ketika rotation_strategy diatur ke size. Nilai default: 31457280. Satuan: byte.
`time_rotate`	Angka	Tidak	Jika siklus hidup file lebih besar atau sama dengan nilai `time_rotate`, OSS melakukan pembaruan bergulir pada file. Parameter ini hanya valid ketika rotation_strategy diatur ke time. Nilai default: 15. Satuan: menit.
`upload_workers_count`	Angka	Tidak	Jumlah thread yang digunakan untuk mengunggah data secara bersamaan.
`upload_queue_size`	Angka	Tidak	Ukuran antrian unggah.
`encoding`	String	Tidak	Metode yang digunakan untuk mengkodekan pesan sebelum Anda mengunggah file ke OSS. Kompresi standar dan kompresi GZIP didukung. Nilai valid: `gzip` dan `none`. Nilai default: none.

File sementara

Saat plug-in logstash-output-oss mentransfer data ke OSS, plug-in tersebut membuat file sementara di mesin lokal Anda. Data disimpan sementara di file ini sebelum ditransfer secara berkala ke OSS. Anda dapat menggunakan parameter temporary_directory untuk menentukan jalur file sementara jika memiliki persyaratan khusus.

Berikut adalah contoh jalur file sementara:

/ssd/1/<Logstash cluster ID>/logstash/data/eaced620-e972-0136-2a14-02b7449b****/logstash/1/ls.oss.eaced620-e972-0136-2a14-02b7449b****.2018-12-24T14.27.part-0.data

Elemen jalur	Deskripsi
/ssd/1/<Logstash cluster ID>/logstash/data/	Direktori file sementara yang ditentukan oleh `temporary_directory`.
eaced620-e972-0136-2a14-02b7449b****	Pengenal Unik Universal (UUID) acak.
logstash/1	Awalan objek OSS.
ls.oss	File sementara, yang dihasilkan oleh plug-in logstash-output-oss.
2018-12-24T14.27	Waktu pembuatan file sementara.
part-0	Awalan file sementara.
.data	Ekstensi nama file. Jika `encoding` diatur ke `gzip`, ekstensi nama file adalah `.gz`. Sebaliknya, ekstensi nama file adalah `.data`.