Elasticsearch:Konfigurasi Shipper YML

Dalam filebeat.yml, gunakan filebeat.inputs untuk mendefinisikan sumber input Anda. Contoh berikut menunjukkan konfigurasi input dasar.

#========================== Filebeat inputs ================================

filebeat.inputs:

# Setiap - adalah sebuah input. Sebagian besar opsi dapat diatur pada level input,
# sehingga Anda dapat menggunakan input berbeda untuk berbagai konfigurasi.
# Di bawah ini adalah konfigurasi khusus input.

- type: log

  # Ubah menjadi true untuk mengaktifkan konfigurasi input ini.
  enabled: true

  # Path yang harus di-crawl dan diambil. Path berbasis glob.
  paths:
    - /opt/test/logs/t1.log
    - /opt/test/logs/t2/*
  fields:
    alilogtype: usercenter_serverlog
  #- c:\programdata\elasticsearch\logs\*

filebeat.inputs:
- type: log
  enabled:true
  paths:
    - /opt/test/logs/t1.log
    - /opt/test/logs/t2/*
  fields:
    alilogtype: usercenter_serverlog

Parameter	Deskripsi
type	Jenis input. Nilai default-nya adalah log. Nilai lain yang didukung meliputi stdin, redis, tcp, dan syslog.
paths	Log yang akan dipantau. Anda dapat menentukan file, seperti /log/nginx.log, atau direktori, seperti log/*. File atau direktori yang ditentukan dipetakan ke direktori Docker. Penting Untuk menentukan direktori, Anda harus menggunakan pola wildcard seperti /*. Pastikan jenis file dalam direktori tersebut konsisten dengan jenis pengumpulan.
enabled	Menentukan apakah konfigurasi diaktifkan: true: Diaktifkan false: Dinonaktifkan
fields	Menentukan bidang opsional yang akan ditambahkan ke output. Indentasi bidang yang ingin Anda tambahkan dengan dua spasi di bawah parameter ini. Misalnya, jika Anda mengatur parameter ini menjadi alilogtype: usercenter_serverlog, bidang ini akan ditambahkan ke setiap entri log untuk mengidentifikasi sumber log tersebut. Logstash kemudian dapat menggunakan bidang ini untuk mengklasifikasikan dan memproses log.

Metricbeat adalah shipper ringan yang mengirim berbagai statistik sistem dan layanan. Dalam metricbeat.yml, tentukan metricbeat.modules untuk mengonfigurasi pengaturan module.

#========================== Modules configuration ============================

metricbeat.config.modules:
    # Pola glob untuk pemuatan konfigurasi
    path: ${path.config}/modules.d/*.yml

    # Atur ke true untuk mengaktifkan pemuatan ulang konfigurasi
    reload.enabled: false
metricbeat.modules:
  - module: system
    metricsets: ["diskio","network"]
    enabled: true
    hosts: ["http://XX.XX.XX.XX/"]
    period: 10s
    fields:
      dc: west
    tags: ["tag"]
    # Periode pemantauan perubahan file di path
    #reload.period: 10s

metricbeat.modules:
- module: system
  metricsets: ["diskio","network"]
  enabled: true
  hosts: ["http://XX.XX.XX.XX/"]
  period: 10s
  fields:
    dc: west
  tags: ["tag"]

Parameter	Deskripsi
module	Nama modul yang akan dijalankan. Untuk informasi tentang modul yang didukung beserta deskripsinya, lihat Modules.
metricsets	Daftar metricset yang akan dijalankan. Untuk informasi lebih lanjut tentang metricset tersebut, lihat Modules.
enabled	Menentukan apakah konfigurasi ini diaktifkan. true menunjukkan bahwa konfigurasi diaktifkan, dan false menunjukkan bahwa konfigurasi dinonaktifkan.
periode	Frekuensi eksekusi metricset. Jika sistem yang dipantau tidak dapat diakses, Metricbeat akan mengembalikan error untuk periode pengumpulan tersebut.
hosts	Opsional. Daftar host tempat informasi diambil.
fields	Bidang opsional yang dikirim bersama event metricset.
tags	Opsional. Daftar tag yang dikirim bersama setiap event metricset.

Dalam heartbeat.yml, Anda menentukan heartbeat.monitors untuk mendefinisikan layanan yang akan dipantau.

# Definisikan direktori untuk memuat definisi monitor dari. Definisi berupa
# file yaml individual.
heartbeat.config.monitors:
  # Direktori + pola glob untuk mencari file konfigurasi
  path: ${path.config}/monitors.d/*.yml
  # Jika diaktifkan, heartbeat akan memeriksa secara berkala path config.monitors untuk perubahan
  reload.enabled: false
  # Seberapa sering memeriksa perubahan
  reload.period: 5s

  # Konfigurasi monitor inline
heartbeat.monitors:
- type: http
  name: ecs_monitor
  enabled: true
  urls: ["http://localhost:9200"]
  schedule: '@every 5s'
  fields:
    dc: west
#- type: http

heartbeat.monitors:
- type: http
  name: ecs_monitor
  enabled: true
  urls: ["http://localhost:9200"]
  schedule: '@every 5s'
  fields:
    dc: west

Parameter	Deskripsi
type	Jenis monitor. Nilai yang valid: icmp, tcp, dan http.
name	Nama monitor. Nilai ini muncul di bawah bidang monitor dalam Exported fields sebagai nama pekerjaan. Bidang type digunakan sebagai jenis pekerjaan.
enabled	Menentukan apakah konfigurasi ini diaktifkan. true menunjukkan bahwa konfigurasi diaktifkan, dan false menunjukkan bahwa konfigurasi dinonaktifkan.
urls	Opsional. Daftar server yang akan dihubungi.
schedule	Jadwal tugas. Misalnya, @every 5s menjalankan tugas setiap 5 detik setelah Heartbeat dimulai. Ekspresi cron seperti */5 * * * * * * juga menjalankan tugas setiap 5 detik.
fields	Bidang opsional yang ditambahkan ke output.

Auditbeat adalah shipper ringan yang mengumpulkan data audit dari framework audit Linux dan memantau integritas file. Auditbeat dapat menggabungkan pesan terkait menjadi satu event tunggal serta menyusun data untuk analisis. Auditbeat juga terintegrasi secara mulus dengan Logstash, Elasticsearch, dan Kibana.

auditbeat.modules:
- module: auditd
  audit_rules: |
    -w /etc/passwd -p wa -k identity
    -a always,exit -F arch=b32 -S open,create,truncate,ftruncate,openat,open_by_handle_at -F exit=-EPERM -k access
- module: file_integrity
  paths:
  - /bin
  - /usr/bin
  - /sbin
  - /usr/sbin
  - /etc