Elasticsearch：Gunakan plug-in logstash-input-sls

Fitur

• Konsumsi kolaboratif terdistribusi: Beberapa server dapat dikonfigurasi untuk mengonsumsi data log dalam Logstore secara bersamaan.

  Catatan

  Jika Anda ingin menggunakan beberapa server Logstash untuk mengimplementasikan konsumsi kolaboratif terdistribusi, pastikan hanya satu pipeline dengan logstash-input-sls yang diinstal diterapkan pada setiap server. Hal ini karena batasan pada plug-in logstash-input-sls. Jika beberapa pipeline dengan logstash-input-sls yang diinstal diterapkan pada satu server, data duplikat mungkin ada di output.

• Kinerja tinggi: Jika Anda menggunakan grup konsumen Java, kecepatan konsumsi CPU inti tunggal dapat mencapai 20 MB/s.

• Keandalan tinggi: logstash-input-sls menyimpan kemajuan konsumsi di server. Jika server pulih dari pengecualian, ia dapat melanjutkan konsumsi data dari titik kontrol konsumsi terakhir.

• Pemerataan beban otomatis: Shard dialokasikan secara otomatis berdasarkan jumlah konsumen dalam grup konsumen. Jika konsumen bergabung atau meninggalkan grup konsumen, logstash-input-sls secara otomatis mengalokasikan ulang shard.

Prasyarat

• Plug-in logstash-input-sls telah diinstal.

  Untuk informasi lebih lanjut, lihat Instal dan hapus plug-in.

• Proyek Simple Log Service dan Logstore telah dibuat. Data telah dikumpulkan.

  Untuk informasi lebih lanjut, lihat Memulai cepat.

Aplikasi logstash-input-sls

Berikut adalah contoh cara menggunakan Alibaba Cloud Logstash untuk mengonsumsi data log dalam Logstore dan mentransfer data ke Alibaba Cloud Elasticsearch:

input {
 logservice{
  endpoint => "titik akhir proyek Anda"
  access_id => "id akses Anda"
  access_key => "kunci akses Anda"
  project => "nama proyek Anda"
  logstore => "nama logstore Anda"
  consumer_group => "nama grup konsumen"
  consumer_name => "nama konsumen"
  position => "end"
  checkpoint_second => 30
  include_meta => true
  consumer_name_with_ip => true
  }
}

output {
  elasticsearch {
    hosts => ["http://es-cn-***.elasticsearch.aliyuncs.com:9200"]
    index => "<indeks_anda>"
    user => "elastic"
    password => "changeme"
  }
}

Buat asumsi berikut: Logstore memiliki 10 shard. Trafik data setiap shard adalah 1 MB/s. Kapasitas pemrosesan setiap server Logstash adalah 3 MB/s. Lima server Logstash dialokasikan, dan satu pipeline dengan logstash-input-sls yang diinstal diterapkan pada setiap server. Setiap server menggunakan pengaturan yang sama untuk consumer_group dan consumer_name. consumer_name_with_ip disetel ke true.

Dalam kasus ini, dua shard dialokasikan ke setiap server, dan setiap shard memproses data pada 2 MB/s.

Parameter

Tabel berikut menjelaskan parameter yang didukung oleh logstash-input-sls.

Uji benchmark kinerja

• Lingkungan uji

  • CPU: Intel(R) Xeon(R) Platinum 8163 Prosesor@2.50 GHz, 4-core

  • Memori: 8 GB

  • Sistem operasi: Linux

• Konfigurasi pipeline Logstash

  input {
    logservice{
    endpoint => "cn-hangzhou-intranet.log.aliyuncs.com"
    access_id => "***"
    access_key => "***"
    project => "test-project"
    logstore => "logstore1"
    consumer_group => "consumer_group1"
    consumer_name => "consumer1"
    position => "end"
    checkpoint_second => 30
    include_meta => true
    consumer_name_with_ip => true
    }
  }
  output {
    elasticsearch {
      hosts => ["http://es-cn-***.elasticsearch.aliyuncs.com:9200"]
      index => "myindex"
      user => "elastic"
      password => "changeme"
    }
  }

• Prosedur uji

  1. Gunakan produsen Java untuk mengirim 2 MB, 4 MB, 8 MB, 16 MB, dan 32 MB data ke Logstore setiap detik.

     Setiap entri log berisi 10 pasangan kunci-nilai dan sekitar 500 byte panjangnya.

  2. Mulai Logstash untuk mengonsumsi data dalam Logstore. Pastikan latensi konsumsi tidak bertambah dan kecepatan konsumsi dapat mengimbangi kecepatan produksi.

• Hasil uji

  Trafik (MB/s)	Penggunaan CPU (%)	Penggunaan memori (GB)
  32	170.3	1.3
  16	83.3	1.3
  8	41.5	1.3
  4	21.0	1.3
  2	11.3	1.3