Elasticsearch:Gunakan kluster Logstash yang dikelola sendiri untuk migrasi data ke kluster Alibaba Cloud Elasticsearch

Langkah 1: (Opsional) Buat role dan user

Instance Logstash yang dikelola sendiri memerlukan akun Elasticsearch untuk mengakses kluster Elasticsearch Anda dan melihat data pemantauan Logstash di Konsol Kibana. Anda dapat menggunakan user bawaan elastic atau user kustom.

Langkah 2: Instal Logstash pada instance ECS

1. Hubungkan ke instance ECS.

   Untuk informasi lebih lanjut, lihat Metode koneksi.

2. Unduh paket instalasi Logstash.

   Kunjungi situs web Elastic dan unduh paket instalasi Logstash yang memiliki versi yang sama dengan kluster Elasticsearch.

   wget https://artifacts.elastic.co/downloads/logstash/logstash-8.5.1-linux-x86_64.tar.gz

   Catatan

   Perintah untuk Logstash V7.4:

   wget https://artifacts.elastic.co/downloads/logstash/logstash-7.4.0.tar.gz

3. Ekstrak paket instalasi Logstash.

   Dalam contoh ini, digunakan Logstash V8.5.1.

   tar -xzvf logstash-8.5.1-linux-x86_64.tar.gz

Langkah 3: Konfigurasi dan jalankan pipeline Logstash

1. Masuk ke direktori Logstash.

   cd logstash-8.5.1

2. Buat file .conf.

   touch test.conf

3. Konfigurasi file test.conf.

   Kode contoh berikut memberikan contoh konfigurasi:

   input {
       file {
           path => "/your/file/path/xxx"
           }
   }
   filter {
   }
   output {
     elasticsearch {
       hosts => "<http://<instanceId>.elasticsearch.aliyuncs.com:9200>"
     	index => "<index-name>"
       user => "<user-name>"
       password => "<logstash-password>"
     }
   }

   Parameter	Deskripsi
   path	Jalur file log. Dalam contoh ini, digunakan /var/log/messages.
   hosts	Titik akhir kluster Alibaba Cloud Elasticsearch Anda. Ganti instanceId dengan ID instance Anda. Contoh: http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200.
   index	Nama indeks tempat data dalam file log ditulis. Anda dapat menentukan nama kustom.
   user	Username yang digunakan untuk mengakses kluster Elasticsearch. Dalam contoh ini, digunakan elastic. Penting Untuk memastikan keamanan sistem, kami menyarankan agar Anda menggunakan user kustom alih-alih user elastic dalam bisnis aktual. Username harus diapit tanda kutip ganda ("). Hal ini menghindari potensi error yang disebabkan oleh karakter khusus dalam username saat Anda menjalankan pipeline Logstash.
   password	Password yang digunakan untuk mengakses kluster Elasticsearch. Penting Password harus diapit tanda kutip ganda ("). Hal ini menghindari potensi error yang disebabkan oleh karakter khusus dalam password saat Anda menjalankan pipeline Logstash.

   Logstash menyediakan berbagai plugin input, filter, dan output. Anda hanya perlu mengonfigurasi plugin-plugin ini secara sederhana untuk transfer data. Untuk informasi lebih lanjut, lihat Struktur File Konfigurasi.

4. Jalankan pipeline Logstash.

   bin/logstash -f test.conf

   Jika perintah berhasil dijalankan, Logstash secara otomatis mendeteksi perubahan pada file log dan menyinkronkan perubahan tersebut ke kluster Elasticsearch. Logstash secara otomatis menyinkronkan data ke kluster Elasticsearch setiap kali data ditambahkan ke file log yang dipantau.

Langkah 4: Lihat data yang dimigrasikan

1. Login ke Konsol Kibana kluster Elasticsearch.

   Untuk informasi lebih lanjut, lihat Login ke Konsol Kibana.

2. Klik ikon di pojok kiri atas halaman yang muncul, lalu pilih Management > Dev Tools.

3. Pada tab Console halaman yang muncul, jalankan perintah berikut:

   GET /logstash-*/_search

Langkah 5: (Opsional) Pantau node Logstash

1. Masuk ke folder config di direktori Logstash.

   cd logstash-8.5.1/config

2. Konfigurasi file logstash.yml.

   1. Buka file logstash.yml.

      vim logstash.yml

   2. Dalam file logstash.yml, hapus anotasi parameter yang tercantum dalam tabel berikut. Lalu, konfigurasikan parameter tersebut.

      xpack.monitoring.enabled:true
      xpack.monitoring.elasticsearch.username:"<user-name>"
      xpack.monitoring.elasticsearch.password:"<logstash-password>"
      xpack.monitoring.elasticsearch.hosts:["http://es-cn-nwy3fwjp8xxxxxxx.elasticsearch.aliyuncs.com:9200"]

      Parameter	Deskripsi
      xpack.monitoring.enabled	Atur parameter ini ke true. Nilai default-nya adalah false.
      xpack.monitoring.elasticsearch.username	Nama user yang Anda buat untuk pemantauan Logstash. Dalam contoh ini, digunakan user elastic. Penting Untuk memastikan keamanan sistem, kami menyarankan agar Anda menggunakan user kustom alih-alih user elastic dalam bisnis aktual.
      xpack.monitoring.elasticsearch.password	Password user yang Anda buat untuk pemantauan Logstash.
      xpack.monitoring.elasticsearch.hosts	Titik akhir kluster Alibaba Cloud Elasticsearch Anda. Contoh: http://es-cn-45xxxxxxxxxxxxju.elasticsearch.aliyuncs.com:9200.

3. Masuk ke direktori Logstash dan launch layanan Logstash.

   cd ../
   bin/logstash -f test.conf

4. Login ke Konsol Kibana kluster Elasticsearch.

   Untuk informasi lebih lanjut, lihat Login ke Konsol Kibana.

5. Klik ikon di pojok kiri atas halaman yang muncul, lalu pilih Management > Stack Monitoring.

6. (Opsional) Di kotak dialog Create rules, klik OK.

7. Pada halaman Cluster overview, lihat data pemantauan Logstash.