Elasticsearch:Debug konfigurasi pipeline Logstash

Prosedur

1. Buka halaman Logstash Clusters.

2. Di bilah navigasi atas, pilih wilayah tempat kluster yang diinginkan berada.

3. Klik ID instans target dalam daftar instans.

4. Di panel navigasi kiri, klik Pipelines.

5. Klik Create Pipeline.

6. Konfigurasikan dan mulai pipeline.

   1. Di bagian Config Settings, masukkan Pipeline ID dan Config Settings Anda.

      Parameter	Deskripsi
      Pipeline ID	Masukkan ID kustom. ID ini secara otomatis dipetakan ke parameter path plugin file_extend.
      Config Settings	Config Settings terdiri dari tiga bagian: input: Menentukan sumber data. Alibaba Cloud Logstash mendukung semua input plugin resmi Logstash kecuali plugin file. filter: Memproses data dari sumber data. Alibaba Cloud Logstash mendukung berbagai filter plugin. output: Mengirim data yang telah diproses ke tujuan tertentu. Selain output plugin standar Logstash, Alibaba Cloud Logstash menyediakan plugin eksklusif file_extend. Konfigurasikan plugin ini untuk mengaktifkan debugging dan melihat output pipeline langsung di Konsol.

      Kode berikut memberikan contoh konfigurasi pipeline:

      input {
           elasticsearch {
             hosts => "http://es-cn-0pp1jxv000****.elasticsearch.aliyuncs.com:9200"
             user  => "elastic"
             index => "twitter"
             password => "<YOUR_PASSWORD>"
             docinfo => true
           }
      
      }
      filter {
      
      }
      output {
          elasticsearch {
          hosts => ["http://es-cn-000000000i****.elasticsearch.aliyuncs.com:9200"]
          user => "elastic"
          password => "<your_password>"
          index => "%{[@metadata][_index]}"
          document_id => "%{[@metadata][_id]}"
      
        }
         file_extend {
           path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
         }
      
      }

      Penting

      • Konfigurasi file_extend di bagian output secara default dikomentari. Untuk menggunakan fitur debugging, Anda harus menghapus komentar pada bagian ini.

      • Parameter path dalam konfigurasi file_extend secara default menggunakan path yang dihasilkan sistem. Jangan ubah path ini. Atau, Anda dapat mengklik Start Configuration Debug untuk menghasilkan path yang benar secara otomatis.

      • Sistem secara otomatis mengganti variabel {pipelineid} dalam path dengan Pipeline ID yang Anda tentukan. Jangan mengubah variabel ini, karena log debug akan menjadi tidak dapat diakses.

      Plugin input Elasticsearch berguna untuk tugas seperti mengimpor log uji secara massal dengan membaca dokumen dari kluster Alibaba Cloud Elasticsearch. Secara default, proses ini berhenti setelah semua data selesai dibaca. Namun, instans Alibaba Cloud Logstash berjalan terus-menerus dan secara otomatis me-restart proses yang berhenti. Dalam skenario tugas tunggal, perilaku ini dapat menyebabkan penulisan data duplikat. Untuk mencegah hal ini, gunakan parameter schedule dengan ekspresi cron agar tugas hanya dijalankan sekali. Pipeline akan berhenti setelah eksekusi tunggal ini, sehingga mencegah pengulangan. Untuk informasi lebih lanjut, lihat dokumentasi resmi Logstash tentang Scheduling.

      Sebagai contoh, untuk menjadwalkan tugas dijalankan pada pukul 13.20 tanggal 5 Maret:

      schedule => "20 13 5 3 *"

   2. Klik Next step untuk mengonfigurasi parameter pipeline.

      Untuk informasi lebih lanjut tentang parameter pipeline, lihat Kelola pipeline menggunakan file konfigurasi.

   3. Simpan dan deploy pipeline.

      • Save: Menyimpan konfigurasi pipeline dan mengembalikan Anda ke halaman Pipelines, di mana perubahan belum diterapkan. Dari daftar Pipelines, klik Deploy Now di kolom Actions untuk menerapkan konfigurasi.

      • Save and Deploy: Menyimpan konfigurasi dan segera me-restart instans untuk menerapkan perubahan.

   4. Di pesan sukses, klik OK.

7. Lihat log debug.

   1. Setelah instans direstart, kembali ke daftar Pipelines, temukan pipeline target, lalu klik View Debug Logs di kolom Actions.

   2. Di halaman Logs, buka tab Debug Log untuk melihat output pipeline yang telah diproses.

      Untuk menemukan log untuk pipeline tertentu, masukkan pipelineId: <your_pipeline_id> di bilah pencarian untuk memfilter dan melihat data keluaran log yang diproses oleh pipeline tersebut.