Elasticsearch：Gunakan klaster Logstash yang dikelola sendiri untuk memigrasikan data ke klaster Elasticsearch Alibaba Cloud

Langkah 1: (Opsional) Buat peran dan pengguna

Anda memerlukan pengguna Elasticsearch saat menghubungkan klaster Logstash yang dikelola sendiri ke klaster Elasticsearch Alibaba Cloud atau melihat data pemantauan Logstash di konsol Kibana. Anda dapat menggunakan pengguna elastic atau pengguna kustom.

Langkah 2: Instal Logstash pada instance ECS

1. Sambungkan ke instance ECS.

   Untuk informasi lebih lanjut, lihat Metode untuk menghubungkan ke instance ECS.

2. Unduh paket instalasi Logstash.

   Kunjungi Situs web Elastic dan unduh paket instalasi Logstash yang sesuai dengan versi klaster Elasticsearch.

   wget https://artifacts.elastic.co/downloads/logstash/logstash-8.5.1-linux-x86_64.tar.gz

   Catatan

   Perintah untuk Logstash V7.4:

   wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.0.tar.gz

3. Ekstrak paket instalasi Logstash.

   Dalam contoh ini, Logstash V8.5.1 digunakan.

   tar -xzvf logstash-8.5.1-linux-x86_64.tar.gz

Langkah 3: Konfigurasikan dan jalankan pipeline Logstash

1. Pergi ke direktori Logstash.

   cd logstash-8.5.1

2. Buat file .conf.

   touch test.conf

3. Konfigurasikan file test.conf.

   Contoh kode berikut memberikan contoh konfigurasi:

   input {
       file {
           path => "/your/file/path/xxx"
           }
   }
   filter {
   }
   output {
     elasticsearch {
       hosts => "<http://<instanceId>.elasticsearch.aliyuncs.com:9200>"
     	index => "<index-name>"
       user => "<user-name>"
       password => "<logstash-password>"
     }
   }

   Parameter	Deskripsi
   path	Path file log. Dalam contoh ini, /var/log/messages digunakan.
   hosts	Titik akhir klaster Elasticsearch. Ganti instanceId dengan ID klaster Elasticsearch. Anda dapat memeriksa ID klaster di halaman Informasi Dasar klaster. Contoh: http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200.
   index	Nama indeks tempat data dalam file log ditulis. Anda dapat menentukan nama kustom.
   user	Nama pengguna yang digunakan untuk mengakses klaster Elasticsearch. Dalam contoh ini, elastic digunakan. Penting Untuk memastikan keamanan sistem, kami merekomendasikan agar Anda menggunakan pengguna kustom alih-alih pengguna elastic dalam bisnis nyata. Nama pengguna harus diapit oleh tanda kutip ganda ("). Ini menghindari kesalahan potensial yang disebabkan oleh karakter khusus dalam nama pengguna saat Anda menjalankan pipeline Logstash.
   password	Kata sandi yang digunakan untuk mengakses klaster Elasticsearch. Penting Kata sandi harus diapit oleh tanda kutip ganda ("). Ini menghindari kesalahan potensial yang disebabkan oleh karakter khusus dalam kata sandi saat Anda menjalankan pipeline Logstash.

   Logstash menyediakan berbagai plug-in input, filter, dan output. Anda hanya perlu mengonfigurasi plug-in ini secara sederhana untuk transfer data. Untuk informasi lebih lanjut, lihat Struktur File Konfigurasi.

4. Jalankan pipeline Logstash.

   bin/logstash -f test.conf

   Jika perintah berhasil dijalankan, Logstash secara otomatis mendeteksi perubahan pada file log dan menyinkronkan perubahan tersebut ke klaster Elasticsearch. Logstash secara otomatis menyinkronkan data ke klaster Elasticsearch setiap kali data ditambahkan ke file log yang dipantau.

Langkah 4: Lihat data yang dimigrasikan

1. Masuk ke konsol Kibana klaster Elasticsearch.

   Untuk informasi lebih lanjut, lihat Masuk ke konsol Kibana.

2. Klik ikon di pojok kiri atas halaman yang muncul, lalu pilih Management > Dev Tools.

3. Di tab Console halaman yang muncul, jalankan perintah berikut:

   GET /logstash-*/_search

Langkah 5: (Opsional) Pantau node Logstash

1. Navigasikan ke folder config di direktori Logstash.

   cd logstash-8.5.1/config

2. Konfigurasikan file logstash.yml.

   1. Buka file logstash.yml.

      vim logstash.yml

   2. Di file logstash.yml, hapus anotasi parameter yang terdaftar dalam tabel berikut. Kemudian, konfigurasikan parameter.

      xpack.monitoring.enabled:true
      xpack.monitoring.elasticsearch.username:"<user-name>"
      xpack.monitoring.elasticsearch.password:"<logstash-password>"
      xpack.monitoring.elasticsearch.hosts:["http://es-cn-nwy3fwjp8xxxxxxx.elasticsearch.aliyuncs.com:9200"]

      Parameter	Deskripsi
      xpack.monitoring.enable	Atur parameter ini ke true. Nilai default: false.
      xpack.monitoring.elasticsearch.username	Nama pengguna yang Anda buat untuk pemantauan Logstash. Dalam contoh ini, pengguna elastic digunakan. Penting Untuk memastikan keamanan sistem, kami merekomendasikan agar Anda menggunakan pengguna kustom alih-alih pengguna elastic dalam bisnis nyata.
      xpack.monitoring.elasticsearch.password	Kata sandi pengguna yang Anda buat untuk pemantauan Logstash.
      xpack.monitoring.elasticsearch.hosts	Titik akhir klaster Elasticsearch. Contoh: http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200.

3. Pergi ke direktori Logstash dan luncurkan layanan Logstash.

   cd ../
   bin/logstash -f test.conf

4. Masuk ke konsol Kibana klaster Elasticsearch.

   Untuk informasi lebih lanjut, lihat Masuk ke konsol Kibana.

5. Klik ikon di pojok kiri atas halaman yang muncul, lalu pilih Management > Stack Monitoring.

6. (Opsional) Di kotak dialog Create rules, klik OK.

7. Di halaman Cluster overview, lihat data pemantauan Logstash.