Elasticsearch：Gunakan agen Fleet untuk mengumpulkan data log NetFlow

• Buat kluster Elasticsearch Alibaba Cloud. Untuk informasi lebih lanjut, lihat Buat Kluster Elasticsearch Alibaba Cloud. Dalam contoh ini, kluster Elasticsearch V8.5 dibuat.

• Buat instance Elastic Compute Service (ECS) di virtual private cloud (VPC) yang sama dengan kluster Elasticsearch. Untuk informasi lebih lanjut, lihat Buat Instance pada Tab Peluncuran Kustom.

  Catatan

  Instance ECS digunakan sebagai server sumber. Agen Fleet mengumpulkan data dari instance ECS.

Langkah 1: Buat kebijakan agen

1. Masuk ke konsol Kibana dari kluster Elasticsearch. Untuk informasi lebih lanjut, lihat Masuk ke Konsol Kibana.

2. Klik ikon di sudut kiri atas. Di panel navigasi sebelah kiri, pilih Management > Fleet.

3. Di halaman Fleet, klik tab Agent policies.

4. Klik Create agent policy. Di panel Create agent policy, konfigurasikan kebijakan agen.

   1. Masukkan nama netflow-log di bidang Name.

   2. Hapus centang pada Collect system logs and metrics.

   3. Klik Advanced options. Di bagian Agent monitoring, hapus centang pada Collect agent logs dan Collect agent metrics.

      

      Catatan

      Dalam contoh ini, hanya log NetFlow Records yang perlu dikumpulkan. Oleh karena itu, opsi Kumpulkan Log Sistem dan Metrik, Kumpulkan Log Agen, dan Kumpulkan Metrik Agen tidak perlu dipilih.

5. Klik Create agent policy.

Langkah 2: Tambahkan integrasi server Fleet

1. Di tab Agent policies halaman Fleet, temukan kebijakan agen netflow-log dan klik namanya.

2. Di tab Integrations halaman yang muncul, klik Add integration.

3. Di tab Browse integrations halaman Integrasi, masukkan Fleet Server di kotak pencarian. Lalu, klik kartu Fleet Server yang ditampilkan.

4. Instal integrasi server Fleet.

   1. Di halaman Fleet Server, klik tab Settings.

   2. Klik Install Fleet Server assets. Di pesan Instal Fleet Server, klik Install Fleet Server.

      Catatan

      Setelah integrasi diinstal, versi integrasi akan ditampilkan di tab Pengaturan halaman Fleet Server.

5. Di sudut kanan atas halaman Fleet Server, klik Add Fleet Server.

6. Di halaman Add Fleet Server integration, masukkan nama untuk integrasi di bidang Nama Integrasi di bagian Konfigurasi Integrasi dan pilih netflow-log dari daftar drop-down Kebijakan Agen di bagian Tempat Menambahkan Integrasi Ini.

7. Di sudut kanan bawah halaman Tambahkan Integrasi Fleet Server, klik Save and continue. Di pesan integrasi Fleet Server telah ditambahkan, klik Add Elastic Agent later.

Langkah 3: Tambahkan integrasi NetFlow

1. Di tab Integrations kebijakan agen netflow-log, klik Add integration.

2. Di tab Browse integrations halaman Integrasi, masukkan NetFlow Records di kotak pencarian. Lalu, klik kartu NetFlow Records yang ditampilkan.

3. Instal integrasi NetFlow Records.

   1. Di halaman NetFlow Records, klik tab Settings.

   2. Klik Install NetFlow Records assets. Di pesan Instal NetFlow Records, klik Install NetFlow Records.

      Catatan

      Setelah integrasi diinstal, versi integrasi akan ditampilkan di tab Pengaturan halaman NetFlow Records.

4. Di sudut kanan atas halaman NetFlow Records, klik Add NetFlow Records.

5. Di halaman Add NetFlow Records integration, konfigurasikan integrasi.

   1. Di bagian Configure integration, masukkan netflow-1 di bidang Integration name.

   2. Klik Change defaults di sebelah Collect NetFlow logs. Masukkan 0.0.0.0 di bidang Host UDP untuk mendengarkan dan pertahankan nilai default 2055 di bidang Port UDP untuk mendengarkan.

      

   3. Di tab Existing hosts bagian Tempat Menambahkan Integrasi Ini, pilih netflow-log dari daftar drop-down Kebijakan Agen.

6. Di sudut kanan bawah halaman Tambahkan Integrasi NetFlow Records, klik Save and continue. Di pesan integrasi NetFlow Records telah ditambahkan, klik Add Elastic Agent later.

Langkah 1: Konfigurasikan host untuk server Fleet

1. Masuk ke konsol Kibana dari kluster Elasticsearch. Untuk informasi lebih lanjut, lihat Masuk ke Konsol Kibana.

2. Klik ikon di sudut kiri atas. Di panel navigasi sebelah kiri, pilih Management > Fleet.

3. Di halaman Fleet, klik tab Settings. Di tab Pengaturan, konfigurasikan parameter untuk Fleet.

   1. Di bagian Fleet server hosts, klik Edit hosts.

   2. Di panel Fleet Server hosts, masukkan URL sumber dari mana Anda ingin mengumpulkan data di bidang Tentukan URL Host. URL harus dalam format https://<Alamat IP Privat Sumber>:<Nomor Port>, seperti https://172.16.*.***:8220. Lalu, klik Simpan dan Terapkan Pengaturan. Di pesan Simpan dan Terapkan Perubahan, klik Simpan dan Terapkan.

      Catatan

      Dalam contoh ini, URL yang berisi alamat IP privat utama instance ECS dimasukkan. Untuk informasi lebih lanjut tentang konfigurasi, lihat Host Server Fleet.

   3. Di bagian Outputs halaman Fleet, klik ikon di kolom Actions.

   4. Di panel Edit output, masukkan URL kluster Elasticsearch di bidang Host. URL harus dalam format http://<Titik Akhir Internal Kluster Elasticsearch>:<Nomor Port>, seperti http://es-cn-uqm3auln80001****.elasticsearch.aliyuncs.com:9200.

   5. Klik Save and apply settings. Di pesan Simpan dan Terapkan Perubahan, klik Save and deploy.

Langkah 2: Tambahkan agen Fleet

Tambahkan Agen Fleet ke server Fleet.

1. Klik ikon di sudut kiri atas. Di panel navigasi sebelah kiri, pilih Management > Fleet.

2. Di halaman Fleet, klik tab Kebijakan Agen.

3. Di tab Kebijakan Agen, temukan kebijakan agen netflow-log, klik ikon di kolom Actions, dan pilih Add agent.

4. Di tab Enroll in Fleet panel Add agent, klik Tambahkan Fleet Server. Di panel Tambahkan Fleet Server, klik Advanced. Di bagian Select a policy for Fleet Server, pertahankan nilai default netflow-log.

5. Di bagian Choose a deployment mode for security, pertahankan nilai default Quick start.

6. Di bagian Add your Fleet Server host, klik Add host.

7. Di bagian Generate a service token, klik Generate service token.

8. Di bagian Install Fleet Server to a centralized host, salin kode yang dihasilkan secara otomatis dan jalankan kode di instance ECS.

   

   Jika Successfully ditampilkan setelah Anda menjalankan kode, Agen Fleet diinstal di instance ECS dan dimulai.

Langkah 3: Konfigurasikan layanan NetFlow

Dalam contoh ini, softflowd digunakan untuk menghasilkan log NetFlow. Anda harus menjalankan kode berikut untuk memulai softflowd di instance ECS.

1. Unduh paket kode sumber softflowd.

   wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/softflowd/softflowd-0.9.9.tar.gz

2. Instal lingkungan ibpcap-devel.

   yum install libpcap-devel

3. Kompilasi kode dan instal softflowd.

   tar -xvf softflowd-0.9.9.tar.gz
   cd softflowd-0.9.9
   ./configure 
   make
   make install

4. Jalankan softflowd.

   nohup softflowd -v 9 -D -i eth0 -t maxlife=1 -n localhost:2055 >/dev/null 2>&1 &