Simple Log Service：Mengonsumsi data menggunakan Logstash

Fitur

• Konsumsi Terdistribusi: Konfigurasikan beberapa server untuk mengonsumsi data dari satu logstore secara bersamaan.

• Kinerja Tinggi: Berdasarkan implementasi Java ConsumerGroup, kecepatan konsumsi inti tunggal mencapai hingga 20 MB/s sebelum kompresi.

• Keandalan Tinggi: Kemajuan konsumsi disimpan di server. Jika terjadi pengecualian, konsumsi akan dilanjutkan otomatis dari checkpoint terakhir setelah pemulihan.

• Penyeimbangan Beban Otomatis: Shard dialokasikan secara otomatis berdasarkan jumlah konsumen. Beban akan diseimbangkan secara otomatis saat konsumen ditambahkan atau dihapus.

Prosedur

Unduh paket instalasi Logstash untuk sistem operasi Anda dari Logstash.

Panduan ini menggunakan Linux sebagai contoh:

1. Instal Logstash. Untuk informasi lebih lanjut, lihat Logstash.

   1. Unduh dan instal kunci tanda tangan publik.

      sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

   2. Di direktori /etc/yum.repos.d/, buat file dengan akhiran .repo. Sebagai contoh, buat file logstash.repo dan tambahkan konten berikut:

      [logstash-9.x]
      name=Elastic repository for 9.x packages
      baseurl=https://artifacts.elastic.co/packages/9.x/yum
      gpgcheck=1
      gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
      enabled=1
      autorefresh=1
      type=rpm-md

   3. Unduh dan instal Logstash.

      sudo yum install logstash

2. Instal plugin input.

   1. Unduh plugin input dari logstash-input-sls.

   2. Instal plugin input.

      /usr/share/logstash/bin/logstash-plugin install logstash-input-sls.zip

      Catatan

      Untuk informasi tentang potensi kegagalan instalasi dan solusinya, lihat Instalasi dan Konfigurasi Plugin.

3. Buat pengguna logstash. Logstash harus dijalankan sebagai pengguna non-root.

   1. Buat pengguna logstash.

      sudo adduser --system --no-create-home --group logstash

   2. Tetapkan izin untuk pengguna logstash. Pastikan bahwa pengguna logstash memiliki akses ke direktori terkait Logstash, seperti /usr/share/logstash, /etc/logstash, dan /var/log/logstash.

      sudo chown -R logstash:logstash /usr/share/logstash /etc/logstash /var/log/logstash

   3. Verifikasi bahwa pengguna logstash telah dibuat.

      id logstash

      Keluaran menampilkan ID Pengguna (UID) dan ID Grup (GID) dari pengguna logstash. Ini menunjukkan bahwa pengguna telah berhasil dibuat.

      

4. Jalankan Logstash sebagai pengguna logstash.

   1. Di direktori /etc/logstash, buat file dengan akhiran .conf. Panduan ini menggunakan file bernama logstash-sample.conf sebagai contoh.

   2. Di file logstash-sample.conf, tambahkan kode contoh dan jalankan Logstash sebagai pengguna logstash.

      sudo -u logstash /usr/share/logstash/bin/logstash -f /etc/logstash/logstash-sample.conf

      Contoh berikut menunjukkan cara mengonfigurasi Logstash untuk mengonsumsi data dari logstore dan mencetak data ke output standar. Parameter juga dijelaskan:

      Deskripsi parameter	Kode contoh input { logservice{ endpoint => "your project endpoint" access_id => "your_accesskey_id" access_key => "your_accesskey_secret" project => "your project name" logstore => "your logstore name" consumer_group => "consumer group name" consumer_name => "consumer name" position => "end" checkpoint_second => 30 include_meta => true consumer_name_with_ip => true } } output { stdout {} }
      endpointstring (Diperlukan) Titik akhir proyek di SLS. Untuk informasi lebih lanjut, lihat Titik Akhir Layanan.
      access_idstring (Diperlukan) ID AccessKey dari akun Alibaba Cloud Anda. ID AccessKey harus memiliki izin untuk mengelola kelompok konsumen. Untuk informasi lebih lanjut, lihat Memberikan Izin untuk Mengonsumsi Data dari Logstore.
      access_keystring (Diperlukan) Rahasia AccessKey dari akun Alibaba Cloud Anda. Rahasia AccessKey harus memiliki izin untuk mengelola kelompok konsumen. Untuk informasi lebih lanjut, lihat Memberikan Izin untuk Mengonsumsi Data dari Logstore.
      projectstring (Diperlukan) Nama proyek SLS.
      logstorestring (Diperlukan) Nama logstore.
      consumer_groupstring (Diperlukan) Nama kelompok konsumen.
      consumer_namestring (Diperlukan) Nama konsumen. Nama konsumen harus unik dalam kelompok konsumen yang sama.
      positionstring (Diperlukan) Posisi dari mana konsumsi dimulai. begin: Mulai konsumsi dari data pertama yang ditulis ke logstore. end: Mulai konsumsi dari titik waktu saat ini. yyyy-MM-dd HH:mm:ss: Mulai konsumsi dari titik waktu tertentu.
      checkpoint_secondnumber (Opsional) Interval, dalam detik, pada saat checkpoint dibuat. Nilainya harus bilangan bulat dari 10 hingga 60. Nilai default adalah 30.
      include_metaboolean (Opsional) Menentukan apakah akan menyertakan metadata dalam data. Metadata mencakup sumber, waktu, tag, dan topik. Nilai default adalah true.
      consumer_name_with_ipboolean (Opsional) Menentukan apakah akan menyertakan alamat IP dalam nama konsumen. Nilai default adalah true. Untuk konsumsi terdistribusi, Anda harus mengatur parameter ini ke true.