Elasticsearch:Gunakan Elastic Agent untuk mengumpulkan data log kustom

Login ke Konsol Kibana kluster Elasticsearch Anda. Untuk instruksi, lihat Login ke Konsol Kibana.

Klik ikon di pojok kiri atas, lalu pilih Management > Fleet pada panel navigasi kiri.

Pada halaman Fleet, klik tab Agent policies, lalu klik Create agent policy.

Pada panel Create agent policy:

1. Masukkan custom-log pada bidang Name.

2. Hilangkan centang pada Collect system logs and metrics.

3. Klik Advanced options. Pada bagian Agent monitoring, hilangkan centang pada Collect agent logs dan Collect agent metrics.

   Catatan

   Panduan ini hanya mengumpulkan log kustom, sehingga log sistem, log agen, dan metrik agen tidak diperlukan.

Klik Create agent policy.

Pada tab Agent policies, klik kebijakan custom-log.

Pada tab Integrations, klik Add integration.

Pada tab Browse integrations, cari Fleet Server dan klik kartu Fleet Server.

Instal integrasi Fleet Server:

1. Pada halaman Fleet Server, klik tab Settings.

2. Klik Install Fleet Server assets. Pada dialog konfirmasi, klik Install Fleet Server.

   Catatan

   Setelah instalasi, versi integrasi akan muncul pada tab Settings.

Di pojok kanan atas, klik Add a Fleet Server.

Pada halaman Add Fleet Server integration:

• Pada bagian Configure integration, masukkan nama pada bidang Integration name.

• Pada bagian Where to add this integration, pilih custom-log dari daftar tarik-turun Agent policy.

Klik Save and continue. Pada pesan konfirmasi, klik Add Elastic Agent later.

Pada tab Integrations kebijakan custom-log, klik Add integration.

Pada tab Browse integrations, cari Custom Logs dan klik kartu Custom Logs.

Instal integrasi Custom Logs:

1. Pada halaman Custom Logs, klik tab Settings.

2. Klik Install Custom Logs assets. Pada dialog konfirmasi, klik Install Custom Logs.

   Catatan

   Setelah instalasi, versi integrasi akan muncul pada tab Settings.

Di pojok kanan atas, klik Add Custom Logs.

Pada halaman Add Custom Logs integration:

1. Pada bagian Configure integration, masukkan nama pada bidang Integration name.

2. Pada bagian Custom log file, masukkan path file log pada bidang Log file path, misalnya, /var/log/a2.log.

3. Klik Advanced options dan masukkan nama pada bidang Dataset name.

   Catatan

   Nama dataset menentukan indeks Elasticsearch tempat data yang dikumpulkan disimpan. Nama tersebut harus mengikuti aturan penamaan indeks Elasticsearch dan hanya boleh berisi huruf, angka, dan garis bawah (_). Data diarahkan ke indeks dengan nama yang sama dengan dataset, sehingga mempermudah manajemen data.

4. Pada tab Existing hosts di bagian Where to add this integration, pilih custom-log dari daftar drop-down Agent policies.

Klik Save and continue. Pada pesan konfirmasi, klik Add Elastic Agent later.

Login ke Konsol Kibana dan navigasi ke Management > Fleet.

Pada halaman Fleet, klik tab Settings.

Konfigurasikan host Fleet Server:

1. Pada bagian Fleet server hosts, klik Edit hosts.

2. Pada panel Fleet Server hosts, masukkan URL Fleet Server pada bidang Specify host URL dengan format https://<private-ip-of-ECS>:<port>, misalnya, https://172.16.*.*:8220. Klik Save and apply settings, lalu klik Save and deploy pada dialog konfirmasi.

   Catatan

   Masukkan alamat IP pribadi utama instance ECS Anda. Untuk detail lebih lanjut tentang pengaturan host Fleet Server, lihat Fleet Server hosts.

Konfigurasikan output Elasticsearch:

1. Pada bagian Outputs, klik ikon pada kolom Actions.

2. Pada panel Edit output, masukkan URL kluster Elasticsearch Anda pada bidang Hosts dengan format http://<internal-endpoint>:<port>, misalnya, http://es-cn-uqm3auln80001****.elasticsearch.aliyuncs.com:9200.

3. Klik Save and apply settings, lalu klik Save and deploy.

Pada halaman Fleet, klik tab Agent policies.

Temukan kebijakan custom-log, klik ikon pada kolom Actions, lalu pilih Add agent.

Pada tab Enroll in Fleet panel Add agent, klik Add a Fleet Server.

Pada panel Add a Fleet Server, klik Advanced. Pada bagian Select a policy for Fleet Server, pertahankan nilai default custom-log.

Pada bagian Choose a deployment mode for security, pertahankan nilai default Quick start.

Pada bagian Add your Fleet Server host, klik Add host.

Pada bagian Generate a service token, klik Generate service token.

Pada bagian Install Fleet Server to a centralized host, salin perintah yang dihasilkan dan jalankan pada instance ECS. Jika output mencantumkan Successfully, Fleet agent telah berhasil diinstal dan sedang berjalan.

Klik ikon dan pilih Management > Stack Management.

Pada panel navigasi kiri, pilih Data > Index Management.

Pada tab Data Streams, cari aliran data yang namanya mengandung generic, seperti logs-generic-default.

Klik ikon dan pilih Management > Dev Tools.

Pada tab Console, jalankan perintah berikut untuk mendapatkan nama indeks dari aliran data:

GET _data_Stream/logs-generic-default

Bidang index_name pada respons merupakan nama indeks pendukung.

Lakukan kueri terhadap data log dalam indeks:

GET <index_name>/_search
{
  "query":{
    "match":{
      "log.file.path":"/var/log/a2.log"
    }
  }
}

Ganti <index_name> dengan nilai dari langkah sebelumnya. Dokumen yang sesuai mengonfirmasi bahwa Fleet agent berhasil mengumpulkan dan mengindeks data log kustom Anda.