Elasticsearch:Kumpulkan log NetFlow dengan Elastic Agent

• Buat kluster Alibaba Cloud Elasticsearch. Untuk informasi lebih lanjut, lihat Buat kluster Alibaba Cloud Elasticsearch. Topik ini menggunakan contoh kluster Elasticsearch 8.5.

• Buat Instance ECS. Instans tersebut harus berada dalam Virtual Private Cloud (VPC) yang sama dengan kluster Elasticsearch Anda. Untuk informasi lebih lanjut, lihat Buat instans menggunakan wizard.

  Catatan

  Instance ECS berfungsi sebagai server sumber tempat Elastic Agent mengumpulkan data NetFlow.

Langkah 1: Buat kebijakan agen

1. Masuk ke konsol Kibana. Untuk informasi lebih lanjut, lihat Masuk ke konsol Kibana.

2. Buka > Management > Fleet.

3. Pada halaman Fleet, klik tab Agent policies.

4. Klik Create agent policy dan konfigurasikan kebijakan agen di panel yang muncul.

   1. Untuk Name, masukkan nama kebijakan.

   2. Hapus centang pada kotak Collect system logs and metrics.

   3. Klik Advanced Options. Di bawah Agent monitoring, hapus centang pada kotak Collect agent logs dan Collect agent metrics.

      

      Catatan

      Dalam skenario ini, Anda hanya perlu mengumpulkan log NetFlow, sehingga Anda dapat menonaktifkan pengumpulan log sistem, metrik, dan data pemantauan agen.

5. Setelah selesai, klik Create agent policy di pojok kanan bawah.

Langkah 2: Buat integrasi Fleet Server

1. Pada tab Agent policies halaman Fleet, klik kebijakan agen netflow-log.

2. Pada tab Integration, klik Add integration.

3. Pada tab Browse integrations, cari dan klik Fleet Server.

4. Instal integrasi Fleet Server.

   1. Pada halaman Fleet Server, klik tab Set.

   2. Klik Install Fleet Server assets, lalu klik Install Fleet Server di kotak dialog yang muncul.

      Catatan

      Setelah integrasi diinstal, tab Settings akan menampilkan versinya.

5. Di pojok kanan atas halaman, klik Add Fleet Server.

6. Pada halaman Add Fleet Server integration, masukkan nama untuk integrasi dan pilih kebijakan agen netflow-log.

7. Di pojok kanan bawah, klik Save and continue. Di kotak dialog yang muncul, klik Add Elastic Agent later.

Langkah 3: Buat integrasi NetFlow Records

1. Pada tab Integration kebijakan agen netflow-log, klik Add integration.

2. Pada tab Browse integrations, cari dan klik NetFlow Records.

3. Instal integrasi NetFlow Records.

   1. Pada halaman NetFlow Records, klik tab Set.

   2. Klik Install NetFlow Records assets, lalu klik Install NetFlow Records di kotak dialog yang muncul.

      Catatan

      Setelah integrasi diinstal, tab Settings akan menampilkan versinya.

4. Di pojok kanan atas halaman, klik Add NetFlow Records.

5. Pada halaman Add NetFlow Records integration, konfigurasikan integrasi tersebut.

   1. Di bawah Integration Configuration, masukkan netflow-1 untuk Integration name.

   2. Di samping Collect NetFlow logs, klik Change defaults. Masukkan 0.0.0.0 sebagai alamat pendengar UDP dan pertahankan port UDP default 2055.

      

   3. Di bawah Where to add this integration, pada tab Existing hosts, pilih kebijakan agen netflow-log.

6. Setelah selesai, klik Save and continue di pojok kanan bawah. Di kotak dialog yang muncul, klik Add Elastic Agent later.

Langkah 1: Konfigurasi host Fleet Server

1. Masuk ke konsol Kibana. Untuk informasi lebih lanjut, lihat Masuk ke konsol Kibana.

2. Buka > Management > Fleet.

3. Pada halaman Fleet, klik tab Set.

   1. Di bawah Fleet Server hosts, klik Modify Host.

   2. Di panel Fleet Server hosts, masukkan alamat IP pribadi server sumber dalam format https://<private_ip>:<port>, misalnya, https://172.16.*.***:8220.

      Catatan

      Dalam topik ini, alamat IP pribadi adalah Alamat IP pribadi utama dari Instance ECS. Untuk detail konfigurasi lebih lanjut, lihat Fleet Server hosts.

   3. Di bagian Output, klik ikon edit () di kolom Actions.

   4. Di panel Edit output, masukkan alamat IP pribadi kluster Alibaba Cloud Elasticsearch Anda dalam format http://<private_address>:<port>, misalnya, http://es-cn-uqm3auln80001****.elasticsearch.aliyuncs.com:9200.

   5. Klik Save and apply settings, lalu klik Save and Deploy di kotak dialog yang muncul.

Langkah 2: Tambahkan Elastic Agent

Tambahkan Elastic Agent ke Fleet Server.

1. Buka > Management > Fleet.

2. Klik tab Agent policies.

3. Untuk kebijakan agen netflow-log, di kolom Actions, pilih > Add agent.

4. Di panel Add agent, di bawah Select a policy for Fleet Server, pastikan kebijakan agen default adalah netflow-log.

5. Di bawah Choose a deployment mode for security, pertahankan pilihan default Quick start.

6. Di bawah Add your Fleet Server host, klik Add Host di sebelah kanan.

7. Di bawah Generate a service token, klik Generate a service token.

8. Di bawah Install Fleet Server to a centralized host, salin blok kode yang dihasilkan secara otomatis dan jalankan di Instance ECS Anda.

   

   Setelah perintah selesai, pesan yang berisi Successfully mengonfirmasi bahwa Elastic Agent telah diinstal dan sedang berjalan di Instance ECS.

Langkah 3: Konfigurasi layanan NetFlow

Contoh ini menggunakan softflowd untuk menghasilkan log NetFlow. Jalankan perintah berikut di Instance ECS untuk menginstal dan menjalankan layanan tersebut.

1. Unduh paket sumber softflowd.

   wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/softflowd/softflowd-0.9.9.tar.gz

2. Instal dependensi libpcap-devel.

   yum install libpcap-devel

3. Kompilasi dan instal softflowd.

   tar -xvf softflowd-0.9.9.tar.gz
   cd softflowd-0.9.9
   ./configure 
   make
   make install

4. Jalankan softflowd.

   nohup softflowd -v 9 -D -i eth0 -t maxlife=1 -n localhost:2055 >/dev/null 2>&1 &