Elasticsearch:Gunakan fitur debugging konfigurasi pipeline

Langkah 1: Buka halaman pembuatan pipeline

1. Buka halaman Logstash Clusters di Konsol Alibaba Cloud Elasticsearch.

2. Pada bilah navigasi atas, pilih wilayah tempat kluster Anda berada.

3. Di halaman Logstash Clusters, klik ID kluster Anda.

4. Pada panel navigasi kiri, klik Pipelines.

5. Di halaman Pipelines, klik Create Pipeline.

Langkah 2: Konfigurasikan pipeline

1. Pada langkah Config Settings, atur Pipeline ID dan Config Settings. Bagian Config Settings: Contoh berikut membaca dari kluster Elasticsearch sumber dan menulis ke kluster tujuan. Blok file_extend disertakan untuk debugging — hapus komentar untuk mengaktifkan fitur tersebut:

   • input: Menentukan sumber data. Semua plug-in input Logstash open source didukung, kecuali plug-in file.

   • filter: Memproses data yang dikumpulkan. Banyak plug-in filter didukung.

   • output: Mengirim data yang telah diproses ke tujuan. Mendukung plug-in output Logstash open source dan plug-in output Alibaba Cloud file_extend. Hapus komentar pada blok file_extend untuk mengaktifkan debugging konfigurasi pipeline.

   Penting

   • Blok file_extend di bagian output dikomentari secara default. Hapus komentar untuk mengaktifkan debugging.

   • Nilai path ditetapkan oleh sistem. Jangan mengubahnya. Klik Start Configuration Debug untuk mendapatkan path yang benar.

   • {pipelineid} dalam path secara otomatis dipetakan ke Pipeline ID Anda. Jangan mengubahnya, atau log debug tidak akan tertangkap.

   Parameter	Deskripsi
   Pipeline ID	Pengidentifikasi unik untuk pipeline. Sistem secara otomatis memetakan nilai ini ke {pipelineid} dalam bidang path plug-in output file_extend.
   Config Settings	Konfigurasi pipeline, terdiri dari tiga bagian: input, filter, dan output. Lihat detail di bawah.

   input {
        elasticsearch {
          hosts => "http://es-cn-0pp1jxv000****.elasticsearch.aliyuncs.com:9200"
          user  => "elastic"
          index => "twitter"
          password => "<YOUR_PASSWORD>"
          docinfo => true
        }
   
   }
   filter {
   
   }
   output {
       elasticsearch {
         hosts => ["http://es-cn-000000000i****.elasticsearch.aliyuncs.com:9200"]
         user => "elastic"
         password => "<your_password>"
         index => "%{[@metadata][_index]}"
         document_id => "%{[@metadata][_id]}"
       }
        file_extend {
          path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
        }
   
   }

   Menggunakan plug-in input Elasticsearch untuk impor pengujian batch Plug-in input Elasticsearch membaca data dari kluster berdasarkan pernyataan kueri yang Anda konfigurasikan. Plug-in ini sangat cocok untuk mengimpor beberapa log pengujian sekaligus. Secara default, Logstash menghentikan proses setelah semua data dibaca, lalu secara otomatis me-restart-nya—yang dapat menyebabkan penulisan duplikat jika hanya ada satu pipeline. Untuk mencegah duplikat, gunakan parameter schedule dengan ekspresi cron agar pipeline dijalankan pada interval tetap. Setelah eksekusi pertama, Logstash menghentikan pipeline dan tidak menjalankannya kembali hingga waktu terjadwal berikutnya. Contoh berikut menjadwalkan pipeline untuk dijalankan setiap tahun pada pukul 13.20 tanggal 5 Maret:

   schedule => "20 13 5 3 *"

   Untuk detail lebih lanjut, lihat Scheduling dalam dokumentasi Logstash.

   

2. Klik Next untuk mengonfigurasi parameter pipeline. Untuk detail parameter, lihat Use configuration files to manage pipelines.

3. Simpan dan terapkan pipeline menggunakan salah satu opsi berikut:

   Opsi	Perilaku
   Save	Menyimpan pengaturan pipeline dan memicu perubahan kluster, tetapi pengaturan tidak langsung berlaku. Setelah menyimpan, buka halaman Pipelines, temukan pipeline tersebut, lalu klik Deploy Now di kolom Actions.
   Save and Deploy	Menyimpan pengaturan dan segera me-restart kluster Logstash untuk menerapkannya.

4. Pada pesan konfirmasi, klik OK.

Langkah 3: Lihat log debug

Setelah kluster di-restart, log debug siap dilihat.

1. Di halaman Pipelines, temukan pipeline tersebut lalu klik View Debug Logs di kolom Actions.

2. Di tab Debug Log pada halaman Logs, tinjau data keluaran pipeline. Jika Anda memiliki beberapa pipeline, filter log dengan memasukkan pipelineId: <Pipeline ID> di kotak pencarian.

   

3. Jika data keluaran tidak memenuhi persyaratan, kembali ke konfigurasi pipeline, sesuaikan Config Settings, lalu terapkan ulang.