Elasticsearch:Menggunakan plugin logstash-input-maxcompute

Prasyarat

• Plugin logstash-input-maxcompute telah diinstal.

  Untuk informasi lebih lanjut, lihat Instal dan Hapus Plugin.

• Alibaba Cloud MaxCompute telah diaktifkan, sebuah proyek telah dibuat, tabel telah dibuat untuk proyek tersebut, dan data telah diimpor ke dalam tabel.

  Untuk informasi lebih lanjut, lihat Persiapan dan Memulai.

Menggunakan logstash-input-maxcompute

Setelah prasyarat terpenuhi, Anda dapat membuat pipeline dengan mengikuti petunjuk yang diberikan di Gunakan File Konfigurasi untuk Mengelola Pipeline. Saat membuat pipeline, konfigurasikan parameter pipeline berdasarkan deskripsi pada tabel bagian Parameter. Setelah mengonfigurasi parameter, simpan pengaturan dan terapkan pipeline. Dengan cara ini, Logstash dapat dipicu untuk membaca data dari MaxCompute dan mentransfer data ke sumber data tujuan.

Kode berikut memberikan contoh konfigurasi pipeline. Untuk informasi lebih lanjut tentang parameter, lihat Parameter.

input {
    maxcompute {
        access_id => "Your accessId"
        access_key => "Your accessKey"
        endpoint => "maxcompute service endpoint"
        project_name => "Your project"
        table_name => "Your table name"
        partition => "pt='p1',dt='d1'"
        thread_num => 1
        dirty_data_file => "/ssd/1/<Logstash cluster ID>/logstash/data/XXXXX.txt"
    }
}

output {
    stdout {
        codec => rubydebug
    }
}

Parameter