Gunakan Agen Fleet untuk Mengumpulkan Data Log Kustom dari Server - Elasticsearch

Fleet adalah solusi kuat yang disediakan oleh Elasticsearch untuk mengelola Agen Fleet secara terpusat. Anda dapat menggunakan Fleet untuk mengelola beberapa node dan layanan di Elasticsearch dengan mudah. Fleet terdiri dari Server Fleet dan Agen Fleet. Agen Fleet adalah agen pengumpulan data ringan yang digunakan untuk mengumpulkan data dari sumber. Server Fleet adalah node inti dari Fleet dan bertanggung jawab untuk mengelola serta memantau semua Agen Fleet serta mentransfer data ke Elasticsearch.

Istilah

Istilah	Deskripsi
Fleet	Fleet adalah solusi kuat yang disediakan oleh Elasticsearch untuk mengelola agen Fleet secara terpusat.
Agen Fleet	Agen Fleet adalah agen pengumpulan data ringan yang digunakan untuk mengumpulkan data dari sumber. Agen Fleet dapat berjalan pada berbagai jenis sistem operasi dan mengumpulkan berbagai jenis data.
Server Fleet	Server Fleet digunakan untuk mentransfer data yang dikumpulkan oleh agen Fleet dari sumber ke Elasticsearch.

Persiapkan lingkungan

Buat kluster Elasticsearch Alibaba Cloud. Untuk informasi lebih lanjut, lihat Buat Kluster Elasticsearch Alibaba Cloud. Dalam contoh ini, kluster Elasticsearch V8.5 dibuat.
Catatan
Versi kluster Elasticsearch Alibaba Cloud harus V7.16 atau V8.5.
Buat instance Elastic Compute Service (ECS) di virtual private cloud (VPC) yang sama dengan kluster Elasticsearch. Untuk informasi lebih lanjut, lihat Buat Instance pada Tab Peluncuran Kustom.
Catatan
Instance ECS digunakan sebagai server sumber. Agen Fleet mengumpulkan data dari instance ECS.

Buat kebijakan agen dan tambahkan integrasi

Langkah 1: Buat kebijakan agen

Masuk ke konsol Kibana dari kluster Elasticsearch. Untuk informasi lebih lanjut, lihat Masuk ke Konsol Kibana.
Klik ikon di pojok kiri atas. Di panel navigasi sebelah kiri, pilih Management > Fleet.
Di halaman Fleet, klik tab Agent policies.
Klik Create agent policy. Di panel Create agent policy, konfigurasikan kebijakan agen.
1. Masukkan nama custom-log di bidang Name.
2. Hapus centang pada Collect system logs and metrics.
3. Klik Advanced options. Di bagian Agent monitoring, hapus centang pada Collect agent logs dan Collect agent metrics.
  Catatan
  Dalam contoh ini, hanya log kustom yang perlu dikumpulkan. Oleh karena itu, opsi Kumpulkan Log Sistem dan Metrik, Kumpulkan Log Agen, dan Kumpulkan Metrik Agen tidak perlu dipilih.
Klik Create agent policy.

Langkah 2: Tambahkan integrasi server Fleet

Di tab Agent policies halaman Fleet, temukan kebijakan agen baru custom-log dan klik namanya.
Di tab Integrations halaman yang muncul, klik Add integration.
Di tab Browse integrations halaman Integrasi, masukkan Fleet Server di kotak pencarian. Lalu, klik kartu Fleet Server yang ditampilkan.
Instal integrasi Server Fleet.
1. Di halaman Fleet Server, klik tab Settings.
2. Klik Install Fleet Server assets. Di pesan Instal Fleet Server, klik Install Fleet Server.
  Catatan
  Setelah integrasi diinstal, versi integrasi akan ditampilkan di tab Pengaturan halaman Fleet Server.
Di pojok kanan atas halaman Fleet Server, klik Add Fleet Server.
Di halaman Add Fleet Server integration, masukkan nama untuk integrasi di bidang Nama Integrasi di bagian Konfigurasi Integrasi dan pilih custom-log dari daftar drop-down Kebijakan Agen di bagian Tempat Menambahkan Integrasi Ini.
Di pojok kanan bawah halaman Tambahkan Integrasi Fleet Server, klik Save and continue. Di pesan integrasi Fleet Server telah ditambahkan, klik Add Elastic Agent later.

Langkah 3: Tambahkan integrasi Log Kustom

Di tab Integrations kebijakan agen custom-log, klik Add integration.
Di tab Browse integrations halaman Integrasi, masukkan Log Kustom di kotak pencarian. Lalu, klik kartu Custom Logs yang ditampilkan.
Instal integrasi Log Kustom.
1. Di halaman Custom Logs, klik tab Settings.
2. Klik Install Custom Logs assets. Di pesan Instal Log Kustom, klik Install Custom Logs.
  Catatan
  Setelah integrasi diinstal, versi integrasi akan ditampilkan di tab Pengaturan halaman Log Kustom.
Di pojok kanan atas halaman Custom Logs, klik Add Custom Logs.
Di halaman Add Custom Logs integration, konfigurasikan integrasi.
1. Di bagian Configure integration, masukkan nama di bidang Integration name.
2. Di bagian Custom log file, masukkan jalur log ECS yang ingin Anda kumpulkan di bidang Jalur File Log, seperti /var/log/a2.log.
3. Klik Advanced options. Masukkan nama di bidang Nama Dataset.
  Catatan
  - Nama dataset menentukan nama indeks Elasticsearch tempat data yang dikumpulkan disimpan. Anda dapat menentukan nama dataset berdasarkan kebutuhan bisnis Anda. Kemudian, data yang dikumpulkan akan ditransfer ke indeks yang namanya sama dengan dataset. Ini dapat meningkatkan fleksibilitas pemrosesan data dan mempermudah manajemen data.
  - Nama dataset harus sesuai dengan konvensi penamaan indeks Elasticsearch. Nama dataset hanya boleh berisi huruf, angka, dan garis bawah (_).
4. Di tab Existing hosts bagian Tempat Menambahkan Integrasi Ini, pilih custom-log dari daftar drop-down Kebijakan Agen.
Di pojok kanan bawah halaman Tambahkan Integrasi Log Kustom, klik Save and continue. Di pesan integrasi Log Kustom telah ditambahkan, klik Add Elastic Agent later.

Tambahkan agen Fleet

Langkah 1: Konfigurasikan host untuk server Fleet

Masuk ke konsol Kibana dari kluster Elasticsearch. Untuk informasi lebih lanjut, lihat Masuk ke Konsol Kibana.
Klik ikon di pojok kiri atas. Di panel navigasi sebelah kiri, pilih Management > Fleet.
Di halaman Fleet, klik tab Settings. Di tab Pengaturan, konfigurasikan parameter untuk Fleet.
1. Di bagian Fleet server hosts, klik Edit hosts.
2. Di panel Fleet Server hosts, masukkan URL dari sumber tempat Anda ingin mengumpulkan data di bidang Tentukan URL Host. URL harus dalam format https://<Alamat IP Privat Sumber>:<Nomor Port>, seperti https://172.16.*.***:8220. Lalu, klik Simpan dan Terapkan Pengaturan. Di pesan Simpan dan Terapkan Perubahan, klik Simpan dan Terapkan.
  Catatan
  Dalam contoh ini, URL yang berisi alamat IP privat utama instance ECS dimasukkan. Untuk informasi lebih lanjut tentang konfigurasi, lihat Host Server Fleet.
3. Di bagian Outputs halaman Fleet, klik ikon di kolom Actions.
4. Di panel Edit output, masukkan URL kluster Elasticsearch di bidang Host. URL harus dalam format http://<Titik Akhir Internal Kluster Elasticsearch>:<Nomor Port>, seperti http://es-cn-uqm3auln80001****.elasticsearch.aliyuncs.com:9200.
5. Klik Save and apply settings. Di pesan Simpan dan Terapkan Perubahan, klik Save and deploy.

Langkah 2: Tambahkan agen Fleet

Tambahkan Agen Fleet ke Server Fleet.

Catatan

Jika Anda ingin mengumpulkan data dari beberapa server sumber, Anda dapat mengulangi langkah-langkah berikut. Setelah Anda menambahkan beberapa Agen Fleet ke Server Fleet, setiap Agen Fleet mengumpulkan data dari server sumber terkait. Data yang dikumpulkan dikelola oleh Server Fleet secara terpusat.

Di halaman Fleet, klik tab Agent policies.
Di tab Kebijakan Agen, temukan kebijakan agen custom-log, klik ikon di kolom Actions, lalu pilih Add agent.
Di tab Daftarkan di Fleet panel Add agent, klik Tambahkan Fleet Server. Di panel Tambahkan Fleet Server, klik Lanjutan. Di bagian Select a policy for Fleet Server, pertahankan nilai default custom-log.
Pada bagian Choose a deployment mode for security, biarkan nilai default Quick start tetap dipertahankan.
Di bagian Add your Fleet Server host, klik Add host.
Di bagian Generate a service token, klik Generate service token.
Di bagian Install Fleet Server to a centralized host, salin kode yang dihasilkan secara otomatis dan jalankan kode tersebut di instance ECS.
Jika Berhasil ditampilkan setelah Anda menjalankan kode, Agen Fleet diinstal di instance ECS dan dimulai.

Lihat data yang dikumpulkan

Dalam contoh ini, jalur log ECS /var/log/a2.log dan dataset generic digunakan. Bagian ini menjelaskan cara melihat data log ECS yang dikumpulkan.

Catatan

Anda harus memastikan bahwa beberapa data disimpan di jalur log ECS yang Anda tentukan.

Lihat nama aliran data di halaman Index Management.
1. Klik ikon di pojok kiri atas dan pilih Management > Stack Management.
2. Di panel navigasi sebelah kiri, pilih Data > Index Management.
3. Di halaman Index Management, klik tab Data Streams. Di tab Aliran Data, temukan aliran data yang namanya berisi generic, seperti logs-generic-default.
Lihat nama indeks yang sesuai dengan aliran data di konsol Kibana.
1. Klik ikon di pojok kiri atas. Di panel navigasi sebelah kiri, pilih Management > Dev Tools.
2. Di tab Console, jalankan perintah berikut untuk mendapatkan nama indeks yang sesuai dengan aliran data:
```
GET _data_Stream/logs-generic-default
```
  Nilai index_name di hasil yang dikembalikan menunjukkan nama indeks yang sesuai dengan aliran data.

Jalankan perintah berikut untuk melihat data log di indeks:

GET <index_name>/_search
{
  "query":{
    "match":{
      "log.file.path":"/var/log/a2.log"
    }
  }
}