Cara mengumpulkan data log kustom dari server menggunakan Elastic Agent - Elasticsearch

Fleet adalah solusi manajemen terpusat yang andal di Elasticsearch untuk mengelola beberapa node dan layanan. Fleet terdiri dari dua komponen utama: server Fleet dan agen Fleet. Agen Fleet merupakan agen pengumpulan data ringan yang mengumpulkan data dari server sumber, sedangkan server Fleet berfungsi sebagai node pusat yang mengelola dan memantau semua agen Fleet serta mentransfer data ke Elasticsearch.

Terms

Term	Description
Fleet	Solusi manajemen terpusat yang andal di Elasticsearch untuk mengelola layanan agen.
Fleet agent	Agen pengumpulan data ringan yang bertanggung jawab mengumpulkan data dari server sumber. Agen Fleet dapat berjalan di berbagai sistem operasi dan mengumpulkan berbagai jenis data.
Fleet server	Bertanggung jawab mentransfer data yang dikumpulkan oleh agen ke Elasticsearch.

Prasyarat

Buat kluster Alibaba Cloud Elasticsearch. Untuk informasi selengkapnya, lihat Buat kluster Alibaba Cloud Elasticsearch. Topik ini menggunakan kluster Elasticsearch 8.5 sebagai contoh.
Catatan
Kluster Alibaba Cloud Elasticsearch hanya mendukung versi 7.16 dan 8.5.
Buat Instance ECS di VPC yang sama dengan kluster Elasticsearch. Untuk informasi selengkapnya, lihat Buat instans.
Catatan
Instance ECS berperan sebagai server sumber. Elastic Agent mengumpulkan data dari Instance ECS ini.

Buat kebijakan agen dan tambahkan integrasi

Langkah 1: Buat kebijakan agen

Masuk ke Konsol Kibana. Untuk informasi selengkapnya, lihat Masuk ke Konsol Kibana.
Klik ikon dan navigasikan ke Management > Fleet.
Pada halaman Fleet, klik tab Agent policies.
Klik Create agent policy dan konfigurasikan kebijakan tersebut di panel.
1. Untuk Name, masukkan custom-log.
2. Hapus centang pada kotak Collect system logs and metrics.
3. Klik Advanced Options. Pada bagian Agent monitoring, hapus centang pada kotak Collect agent logs dan Collect agent metrics.
  Catatan
  Dalam skenario ini, Anda hanya perlu mengumpulkan data Custom Logs. Oleh karena itu, Anda tidak perlu mengumpulkan log sistem, metrik sistem, atau data milik agen itu sendiri.
Klik Create agent policy.

Langkah 2: Buat integrasi Fleet Server

Pada halaman Fleet, klik tab Agent policies, lalu klik kebijakan agen custom-log.
Pada tab Integration, klik Add integration.
Pada tab Browse integrations, cari dan klik Fleet Server.
Instal integrasi Fleet Server.
1. Pada halaman Fleet Server, klik tab Set.
2. Klik Install Fleet Server assets. Di kotak dialog yang muncul, klik Install Fleet Server.
  Catatan
  Versi integrasi akan ditampilkan di tab Settings setelah instalasi.
Di pojok kanan atas halaman, klik Add Fleet Server.
Pada halaman Add Fleet Server integration, masukkan nama untuk integrasi dan pilih kebijakan agen custom-log.
Klik Save and continue, lalu klik Add Elastic Agent later di kotak dialog.

Langkah 3: Buat integrasi Custom Logs

Pada kebijakan agen custom-log, di tab Integration, klik Add integration.
Pada tab Browse integrations, cari dan klik Custom Logs.
Instal integrasi Custom Logs.
1. Pada halaman Custom Logs, klik tab Set.
2. Klik Install Custom Logs assets. Di kotak dialog yang muncul, klik Install Custom Logs.
  Catatan
  Versi integrasi akan ditampilkan di tab Settings setelah instalasi.
Di pojok kanan atas halaman, klik Add Custom Logs.
Pada halaman Add Custom Logs integration, konfigurasikan integrasi tersebut.
1. Pada bagian Integration Configuration, masukkan Integration name.
2. Pada bagian Custom log file, masukkan path file log di Instance ECS (Log file path), misalnya, /var/log/a2.log.
3. Klik Advanced Options dan tentukan nama dataset kustom.
  Catatan
  - Nama dataset menentukan nama indeks Elasticsearch. Menentukan nama dataset baru akan mengirimkan data ke indeks baru, yang meningkatkan fleksibilitas dan kemudahan pengelolaan pemrosesan data.
  - Nama dataset harus memenuhi persyaratan penamaan indeks Elasticsearch. Nama tersebut hanya boleh berisi huruf, angka, dan garis bawah (_).
4. Pada bagian Where to add this integration, di tab Existing hosts, pilih kebijakan agen custom-log.
Klik Save and continue, lalu klik Add Elastic Agent later di kotak dialog.

Tambahkan agen

Langkah 1: Konfigurasi host Fleet Server

Masuk ke Konsol Kibana. Untuk informasi selengkapnya, lihat Masuk ke Konsol Kibana.
Klik ikon dan navigasikan ke Management > Fleet.
Pada halaman Fleet, klik tab Set.
1. Pada bagian Fleet server hosts, klik Modify Host.
2. Di panel Fleet server hosts, masukkan alamat IP pribadi server sumber dalam format https://<private IP address>:<port>, misalnya, https://172.16.*.***:8220.
  Catatan
  Topik ini menggunakan alamat IP pribadi utama Instance ECS. Untuk informasi konfigurasi lebih lanjut, lihat Fleet Server hosts.
3. Pada bagian Output, klik ikon di kolom Actions.
4. Di panel Edit output, masukkan titik akhir pribadi kluster Alibaba Cloud Elasticsearch dalam format http://<private endpoint>:<port>, misalnya, http://es-cn-uqm3auln80001****.elasticsearch.aliyuncs.com:9200.
5. Klik Save and apply settings. Di kotak dialog yang muncul, klik Save and Deploy.

Langkah 2: Tambahkan Elastic Agent

Tambahkan Elastic Agent ke server Fleet.

Catatan

Untuk mengumpulkan data dari beberapa server, ulangi langkah-langkah ini untuk menambahkan lebih banyak agen. Satu server Fleet dapat mengelola beberapa agen, masing-masing mengumpulkan data dari servernya sendiri.

Pada halaman Fleet, klik tab Agent policies.
Di kolom Actions untuk kebijakan agen custom-log, klik ikon .
Di panel Add agent, di bawah Select a policy for Fleet Server, pastikan kebijakan agen adalah custom-log.
Di bawah Choose a deployment mode for security, pertahankan pilihan default Quick start.
Di bawah Add your Fleet Server host, klik Add Host.
Di bagian Generate a service token, klik Generate a service token.
Di bagian Install Fleet Server to a centralized host, salin blok kode yang dihasilkan secara otomatis dan jalankan di Instance ECS Anda.
Pesan Successfully menunjukkan bahwa Elastic Agent telah berhasil diinstal dan sedang berjalan di Instance ECS.

Lihat data

Bagian ini menunjukkan cara melihat data log menggunakan contoh path log ECS (/var/log/a2.log) dan nama dataset (generic).

Catatan

Pastikan path log yang ditentukan di Instance ECS berisi data.

Lihat nama aliran data di Index Management.
1. Klik ikon dan navigasikan ke Management > Stack Management.
2. Di panel navigasi sebelah kiri, klik Data > Index Management.
3. Di halaman Index Management, klik tab Data Stream dan temukan aliran data yang berisi nama dataset generic, misalnya, logs-generic-default.
Lihat nama indeks yang sesuai dengan aliran data di Konsol Kibana.
1. Klik ikon dan navigasikan ke Management > Dev Tools.
2. Jalankan perintah berikut untuk mendapatkan nama indeks untuk aliran data:
```
GET _data_Stream/logs-generic-default
```
  Nilai index_name dalam output adalah nama indeks.

Jalankan perintah berikut untuk melihat data log dalam indeks:

GET <index_name>/_search
{
  "query":{
    "match":{
      "log.file.path":"/var/log/a2.log"
    }
  }
}