Elasticsearch：Menyiapkan File Konfigurasi YML untuk Shipper

Prasyarat

Sebuah kluster Elasticsearch Alibaba Cloud telah dibuat, dan fitur Auto Indexing diaktifkan untuk kluster tersebut. Untuk informasi lebih lanjut tentang cara membuat kluster Elasticsearch, lihat Membuat Kluster Elasticsearch Alibaba Cloud.

Untuk alasan keamanan, Alibaba Cloud Elasticsearch menonaktifkan fitur Auto Indexing secara default. Namun, Beats bergantung pada fitur ini. Jika Anda memilih Elasticsearch untuk Output saat menginstal shipper, Anda harus mengaktifkan fitur Auto Indexing. Untuk informasi lebih lanjut, lihat Konfigurasikan File YML.

metricbeat.modules:
- module: system
metricsets: ["diskio","network"]
diskio.include_devices: []
period: 1s

Konfigurasi Filebeat

Anda dapat menentukan filebeat.inputs dalam filebeat.yml untuk menentukan cara mencari atau memproses sumber data input. Gambar berikut menunjukkan contoh konfigurasi input sederhana.

filebeat.inputs:
- type: log
  enabled:true
  paths:
    - /opt/test/logs/t1.log
    - /opt/test/logs/t2/*
  fields:
    alilogtype: usercenter_serverlog

Penting

• Jika Anda menentukan Output saat menginstal shipper, Anda tidak perlu mengonfigurasi bagian output dalam Shipper YML Configuration. Jika tidak, sistem akan memberi tahu kesalahan instalasi shipper.
• Setiap sumber data input dimulai dengan tanda hubung (-). Anda dapat menggunakan beberapa tanda hubung untuk menentukan beberapa sumber data input.

Parameter	Deskripsi
type	Jenis input. Contoh nilai valid: stdin, redis, tcp, dan syslog. Nilai default: log.
paths	Jalur log yang ingin Anda pantau. Anda dapat menentukan file atau direktori, seperti /log/nginx.log atau log/*. File atau direktori yang ditentukan dipetakan ke Docker. Penting Jika Anda menentukan direktori, Anda harus memastikan bahwa direktori yang ditentukan berisi tanda asterisk (*) untuk pencocokan kabur, seperti /*. Anda juga harus memastikan bahwa jenis file dalam direktori yang ditentukan sama dengan jenis file dari mana Anda ingin mengumpulkan data.
enabled	Menentukan apakah konfigurasi berlaku. Nilai valid: true: Konfigurasi berlaku. false: Konfigurasi tidak berlaku.
fields	Opsional. Di bawah parameter ini, Anda dapat menambahkan dua spasi untuk menambahkan bidang. Sebagai contoh, masukkan alilogtype: usercenter_serverlog untuk menambahkan bidang ini ke setiap log keluaran untuk mengidentifikasi jenis sumber log. Jika log dikirim ke Logstash, mereka dapat diklasifikasikan dan diproses berdasarkan bidang ini.

Untuk informasi lebih lanjut, lihat Input Log dalam dokumentasi Filebeat sumber terbuka.

Konfigurasi Metricbeat

Metricbeat mengirimkan statistik sistem dan layanan secara ringan. Anda dapat menentukan metricbeat.modules dalam metricbeat.yml untuk mengonfigurasi sebuah module.

metricbeat.modules:
- module: system
  metricsets: ["diskio","network"]
  enabled: true
  hosts: ["http://XX.XX.XX.XX/"]
  period: 10s
  fields:
    dc: west
  tags: ["tag"]

Penting Jika Anda menentukan Output saat menginstal shipper, Anda tidak perlu mengonfigurasi bagian output dalam Shipper YML Configuration. Jika tidak, sistem akan memberi tahu kesalahan instalasi shipper.

Parameter	Deskripsi
module	Nama modul yang ingin Anda jalankan. Untuk informasi lebih lanjut tentang modul yang didukung, lihat Modul.
metricsets	Metricset yang ingin Anda eksekusi. Untuk informasi lebih lanjut tentang metricset, lihat Modul.
enabled	Menentukan apakah konfigurasi berlaku. Nilai true menunjukkan bahwa konfigurasi berlaku. Nilai false menunjukkan bahwa konfigurasi tidak berlaku.
period	Menentukan frekuensi eksekusi metricset. Jika sistem tidak dapat diakses, Metricbeat mengembalikan kesalahan untuk setiap periode.
hosts	Host dari mana Anda ingin mendapatkan informasi. Parameter ini opsional.
fields	Bidang yang dikirim bersama dengan event metricset. Parameter ini opsional.
tags	Tag yang dikirim bersama dengan event metricset. Parameter ini opsional.

Untuk informasi lebih lanjut, lihat dokumentasi Metricbeat sumber terbuka.

Konfigurasi Heartbeat

Heartbeat dapat diinstal pada server jarak jauh secara ringan. Anda dapat menggunakan Heartbeat untuk memeriksa status layanan Anda secara berkala dan menentukan apakah layanan tersebut tersedia. Heartbeat berbeda dari Metricbeat. Heartbeat memeriksa ketersediaan layanan, sedangkan Metricbeat memeriksa apakah layanan berjalan.

Anda dapat menentukan heartbeat.monitors dalam heartbeat.yml untuk menentukan layanan yang ingin Anda pantau.

Catatan Anda hanya dapat mengonfigurasi layanan yang ingin Anda pantau untuk Heartbeat. Untuk memastikan ketersediaan Heartbeat, kami sarankan menerapkan setidaknya dua instance Elastic Compute Service (ECS).

heartbeat.monitors:
- type: http
  name: ecs_monitor
  enabled: true
  urls: ["http://localhost:9200"]
  schedule: '@every 5s'
  fields:
    dc: west

Penting Jika Anda menentukan Output saat menginstal shipper, Anda tidak perlu mengonfigurasi bagian output dalam Shipper YML Configuration. Jika tidak, sistem akan memberi tahu kesalahan instalasi shipper.

Parameter	Deskripsi
type	Jenis monitor. Nilai valid: icmp, tcp, dan http.
name	Nama monitor. Nilai ini muncul dalam Bidang Ekspor dari bidang monitor dan digunakan sebagai nama pekerjaan. Bidang type digunakan sebagai jenis pekerjaan.
enabled	Menentukan apakah konfigurasi berlaku. Nilai true menunjukkan bahwa konfigurasi berlaku. Nilai false menunjukkan bahwa konfigurasi tidak berlaku.
urls	Server tempat Anda ingin terhubung. Parameter ini opsional.
schedule	Jadwal tugas. Jika Anda menyetel parameter ini ke @every 5s, sistem menjalankan tugas setiap 5 detik sejak Heartbeat dimulai. Jika Anda menyetel parameter ini ke */5 * * * * * *, sistem menjalankan tugas setiap 5 detik.
fields	Opsional. Anda dapat menambahkan bidang ke bagian konfigurasi output sebagai informasi tambahan.

Untuk informasi lebih lanjut, lihat dokumentasi Heartbeat sumber terbuka.

Konfigurasi Auditbeat

Saat mengonfigurasi shipper Auditbeat, Anda dapat menentukan auditbeat.modules dalam auditbeat.yml. auditbeat.yml terdiri dari dua bagian: modul dan output. Jika ingin mengaktifkan modul, Anda harus menambahkan parameter tertentu ke auditbeat.yml. Dalam contoh konfigurasi berikut, modul auditd dan file_integrity digunakan.

auditbeat.modules:
- module: auditd
  audit_rules: |
    -w /etc/passwd -p wa -k identity
    -a always,exit -F arch=b32 -S open,create,truncate,ftruncate,openat,open_by_handle_at -F exit=-EPERM -k access
- module: file_integrity
  paths:
  - /bin
  - /usr/bin
  - /sbin
  - /usr/sbin
  - /etc

Untuk informasi lebih lanjut tentang konfigurasi auditbeat.yml, lihat dokumentasi Auditbeat sumber terbuka. Untuk informasi lebih lanjut tentang konfigurasi module, lihat Modul.