Elasticsearch：Gunakan fitur debugging konfigurasi pipeline

Prosedur

1. Buka halaman Klaster Logstash di konsol Alibaba Cloud Elasticsearch.

2. Di bilah navigasi atas, pilih wilayah tempat klaster yang diinginkan berada.

3. Di halaman Logstash Clusters, temukan klaster dan klik ID-nya.

4. Di panel navigasi sisi kiri halaman yang muncul, klik Pipelines.

5. Di halaman Pipelines, klik Create Pipeline.

6. Konfigurasikan dan jalankan pipeline.

   1. Di langkah Config Settings, konfigurasikan Pipeline ID dan Config Settings.

      

      Parameter	Deskripsi
      Pipeline ID	Tentukan ID berdasarkan kebutuhan bisnis Anda. ID pipeline secara otomatis dipetakan ke bidang path dari parameter file_extend.
      Config Settings	Config Settings terdiri dari bagian-bagian berikut: input: menentukan sumber data. Plug-in input Logstash open source input plug-ins didukung, kecuali plug-in file. filter: memproses data yang dikumpulkan dari sumber data. Banyak plug-in filter didukung. output: mengirim data yang diproses ke tujuan. Selain plug-in output Logstash open source Logstash output plug-ins, Alibaba Cloud Logstash menyediakan plug-in output file_extend. Plug-in ini memungkinkan Anda mengaktifkan fitur debugging konfigurasi pipeline. Setelah pipeline diterapkan, Anda dapat melihat data keluaran pipeline di konsol dan memeriksa apakah data memenuhi persyaratan. Jika data tidak memenuhi persyaratan, ubah konfigurasi pipeline.

      Kode berikut memberikan contoh konfigurasi:

      input {
           elasticsearch {
             hosts => "http://es-cn-0pp1jxv000****.elasticsearch.aliyuncs.com:9200"
             user  => "elastic"
             index => "twitter"
             password => "<YOUR_PASSWORD>"
             docinfo => true
           }
      
      }
      filter {
      
      }
      output {
          elasticsearch {
          hosts => ["http://es-cn-000000000i****.elasticsearch.aliyuncs.com:9200"]
          user => "elastic"
          password => "<your_password>"
          index => "%{[@metadata][_index]}"
          document_id => "%{[@metadata][_id]}"
      
        }
         file_extend {
           path => "/ssd/1/ls-cn-v0h1kzca****/logstash/logs/debug/test"
         }
      
      }

      null

      • Secara default, parameter file_extend di bagian output dikomentari. Jika Anda ingin menggunakan fitur debugging konfigurasi pipeline, hapus komentar pada parameter tersebut.

      • Secara default, jalur yang ditunjukkan oleh bidang path dari parameter file_extend ditentukan oleh sistem. Anda tidak diizinkan mengubah jalur. Anda dapat mengklik Start Configuration Debug untuk mendapatkan jalur.

      • {pipelineid} di jalur yang ditunjukkan oleh bidang path secara otomatis dipetakan ke ID pipeline yang Anda tentukan. Anda tidak diizinkan mengubah {pipelineid}. Jika tidak, log debug tidak dapat diperoleh.

      Plug-in input yang mana klaster Elasticsearch ditentukan dapat membaca data dari klaster berdasarkan pernyataan query yang dikonfigurasi untuk plug-in. Plug-in ini cocok untuk skenario di mana beberapa log uji perlu diimpor sekaligus. Secara default, operasi sinkronisasi dinonaktifkan secara otomatis dan proses Logstash dihentikan setelah data dibaca. Namun, Logstash perlu memastikan bahwa proses terus berjalan. Oleh karena itu, Logstash memulai ulang proses. Ini dapat menyebabkan penulisan data duplikat jika hanya ada satu pipeline. Untuk mengatasi masalah ini, Anda dapat menentukan periode untuk memungkinkan Logstash menjalankan pipeline secara berkala. Misalnya, Anda dapat mengaktifkan Logstash untuk menjalankan pipeline pada pukul 13:20 pada tanggal 5 Maret setiap tahun. Setelah pipeline dijalankan pertama kali, Logstash menghentikannya. Anda dapat menggunakan parameter schedule bersama dengan sintaks ekspresi cron untuk menentukan periode. Untuk informasi lebih lanjut, lihat Penjadwalan dalam dokumentasi Logstash open source.

      Kode berikut memberikan contoh. Dalam contoh ini, pipeline dijadwalkan untuk dijalankan pada pukul 13:20 pada tanggal 5 Maret setiap tahun.

      schedule => "20 13 5 3 *"

   2. Klik Next untuk mengonfigurasi parameter pipeline.

      Untuk informasi lebih lanjut tentang parameter, lihat Gunakan File Konfigurasi untuk Mengelola Pipeline.

   3. Simpan pengaturan dan terapkan pipeline.

      • Save: Setelah Anda mengklik tombol ini, sistem menyimpan pengaturan pipeline dan memicu perubahan klaster. Namun, pengaturan tidak langsung berlaku. Setelah Anda mengklik Save, halaman Pipelines muncul. Di halaman Pipelines, temukan pipeline yang dibuat dan klik Deploy Now di kolom Actions. Lalu, sistem memulai ulang klaster Logstash untuk membuat pengaturan berlaku.

      • Save and Deploy: Setelah Anda mengklik tombol ini, sistem memulai ulang klaster Logstash untuk membuat pengaturan berlaku.

   4. Di pesan yang muncul, klik OK.

7. Lihat log debug pipeline.

   1. Setelah klaster dimulai ulang, temukan pipeline di halaman Pipelines dan klik View Debug Logs di kolom Actions.

   2. Di tab Debug Log halaman Logs, lihat data keluaran pipeline.

      Jika Anda memiliki banyak pipeline, Anda dapat memasukkan pipelineId: <Pipeline ID> di kotak pencarian untuk mencari log pipeline.