Simple Log Service:Mengonsumsi data dengan Logstash

Fitur

• Distributed consumption: Konfigurasikan beberapa server untuk mengonsumsi data dari satu Logstore secara bersamaan.

• High performance: Berdasarkan implementasi consumer group Java, plugin ini dapat memproses hingga 20 MB/detik data pada satu core (sebelum kompresi).

• High reliability: Kemajuan konsumsi disimpan di server. Jika konsumen terputus, proses tersebut akan secara otomatis dilanjutkan dari checkpoint terakhir.

• Automatic load balancing: Sistem secara otomatis mengalokasikan shard berdasarkan jumlah konsumen dan menyeimbangkan ulang beban saat konsumen ditambah atau dihapus.

Prosedur

Unduh paket instalasi Logstash untuk sistem operasi Anda dari Logstash.

Contoh berikut menggunakan lingkungan Linux:

1. Instal Logstash. Untuk informasi selengkapnya, lihat dokumentasi resmi Logstash.

   1. Unduh dan instal kunci signature publik.

      sudo rpm --import https://artifacts.elastic.co/GPG-KEY-elasticsearch

   2. Di direktori /etc/yum.repos.d/, buat file repositori dengan ekstensi .repo, seperti logstash.repo, lalu tambahkan konten berikut:

      [logstash-9.x]
      name=Elastic repository for 9.x packages
      baseurl=https://artifacts.elastic.co/packages/9.x/yum
      gpgcheck=1
      gpgkey=https://artifacts.elastic.co/GPG-KEY-elasticsearch
      enabled=1
      autorefresh=1
      type=rpm-md

   3. Unduh dan instal Logstash.

      sudo yum install logstash

2. Instal plugin input.

   1. Unduh plugin input dari logstash-input-sls.

   2. Instal plugin input.

      /usr/share/logstash/bin/logstash-plugin install logstash-input-sls.zip

      Catatan

      Untuk informasi tentang potensi kegagalan instalasi dan solusinya, lihat instalasi dan konfigurasi plugin.

3. Buat pengguna logstash. Logstash harus dijalankan sebagai pengguna non-root.

   1. Buat pengguna logstash.

      sudo adduser --system --no-create-home --group logstash

   2. Tetapkan izin untuk pengguna logstash. Pastikan pengguna logstash memiliki kepemilikan atas direktori terkait Logstash, seperti /usr/share/logstash, /etc/logstash, dan /var/log/logstash.

      sudo chown -R logstash:logstash /usr/share/logstash /etc/logstash /var/log/logstash

   3. Verifikasi bahwa pengguna logstash telah dibuat.

      id logstash

      Output harus menampilkan User ID (UID) dan Group ID (GID) untuk pengguna logstash, yang mengonfirmasi bahwa pengguna berhasil dibuat.

      

4. Jalankan Logstash sebagai pengguna logstash.

   1. Di direktori /etc/logstash, buat file konfigurasi dengan ekstensi .conf. Topik ini menggunakan logstash-sample.conf sebagai contoh.

   2. Tambahkan kode contoh ke file logstash-sample.conf dan jalankan Logstash sebagai pengguna logstash.

      sudo -u logstash /usr/share/logstash/bin/logstash -f /etc/logstash/logstash-sample.conf

      Contoh berikut mengonfigurasi Logstash untuk mengonsumsi data dari Logstore dan mencetaknya ke standard output. Parameter yang digunakan dalam contoh dijelaskan di bawah ini.

      Parameter	Kode contoh input { logservice{ endpoint => "your project endpoint" access_id => "your_accesskey_id" access_key => "your_accesskey_secret" project => "your project name" logstore => "your logstore name" consumer_group => "consumer group name" consumer_name => "consumer name" position => "end" checkpoint_second => 30 include_meta => true consumer_name_with_ip => true } } output { stdout {} }
      endpointstring (Wajib) Titik akhir layanan Proyek SLS. Untuk informasi selengkapnya, lihat Titik akhir layanan.
      access_idstring (Wajib) ID AccessKey Akun Alibaba Cloud Anda. ID AccessKey harus memiliki izin yang diperlukan untuk mengelola kelompok konsumen. Untuk informasi selengkapnya, lihat Berikan izin untuk mengonsumsi data dari Logstore.
      access_keystring (Wajib) Rahasia AccessKey Akun Alibaba Cloud Anda. Rahasia AccessKey harus memiliki izin yang diperlukan untuk mengelola kelompok konsumen. Untuk informasi selengkapnya, lihat Berikan izin untuk mengonsumsi data dari Logstore.
      projectstring (Wajib) Nama Proyek SLS.
      logstorestring (Wajib) Nama penyimpanan log SLS.
      consumer_groupstring (Wajib) Nama kelompok konsumen.
      consumer_namestring (Wajib) Nama konsumen. Nama ini harus unik dalam kelompok konsumen.
      positionstring (Wajib) Posisi tempat konsumsi data dimulai. begin: Mulai konsumsi dari entri log pertama di Logstore. end: Mulai konsumsi dari waktu saat ini. yyyy-MM-dd HH:mm:ss: Mulai konsumsi dari titik waktu yang ditentukan.
      checkpoint_secondnumber (Opsional) Interval, dalam detik, untuk menyimpan checkpoint. Nilainya harus berupa bilangan bulat antara 10 hingga 60. Default: 30.
      include_metaboolean (Opsional) Menentukan apakah metadata disertakan dalam output. Metadata mencakup bidang seperti source, time, tag, dan topic. Default: true.
      consumer_name_with_ipboolean (Opsional) Menentukan apakah alamat IP konsumen ditambahkan ke nama konsumen. Parameter ini harus diatur ke true untuk mengaktifkan distributed consumption. Default: true.