All Products
Search

This Product

    Elasticsearch:Dokumen

    Document Center

    Elasticsearch:Dokumen

    Last Updated:Mar 26, 2026

    Gunakan Elastic Agent untuk mengumpulkan data log NetFlow

    NetFlow adalah protokol analisis lalu lintas jaringan yang memungkinkan Anda memantau, menganalisis, dan mendiagnosis lalu lintas secara real time. Tutorial ini menjelaskan cara menyiapkan pipeline pengumpulan data lengkap: deploy Fleet agent pada instance Elastic Compute Service (ECS), gunakan Fleet Server untuk mengelola agent tersebut, dan kirim data NetFlow ke Kibana untuk dianalisis.

    Konsep utama

    TermDeskripsi
    FleetSolusi manajemen terpusat di Elasticsearch untuk mengelola Fleet agent
    Fleet agentAgent pengumpulan data ringan yang berjalan di berbagai sistem operasi dan mengumpulkan berbagai tipe data
    Fleet ServerKomponen yang mentransfer data yang dikumpulkan oleh Fleet agent dari server sumber ke Elasticsearch

    Prasyarat

    Sebelum memulai, pastikan Anda telah memiliki:

    Instance ECS berfungsi sebagai server sumber. Fleet agent berjalan di atasnya untuk mengumpulkan data NetFlow.

    Buat kebijakan agent dan tambahkan integrasi

    Langkah 1: Buat kebijakan agent

    1. Masuk ke konsol Kibana kluster Elasticsearch Anda. Untuk informasi lebih lanjut, lihat Masuk ke konsol Kibana.

    2. Klik ikon image.png di pojok kiri atas. Di panel navigasi sebelah kiri, pilih Management > Fleet.

    3. Di halaman Fleet, klik tab Agent policies.

    4. Klik Create agent policy. Di panel Create agent policy, konfigurasi kebijakan tersebut:

      1. Masukkan netflow-log di bidang Name.

      2. Hapus centang pada Collect system logs and metrics.

      3. Klik Advanced options. Di bagian Agent monitoring, hapus centang pada Collect agent logs dan Collect agent metrics. image.png

        Tutorial ini hanya mengumpulkan log NetFlow Records, sehingga log sistem, log agent, dan metrik agent tidak diperlukan.

    5. Klik Create agent policy.

    Langkah 2: Tambahkan integrasi Fleet Server

    1. Di tab Agent policies, temukan kebijakan netflow-log dan klik namanya.

    2. Di tab Integrations, klik Add integration.

    3. Di tab Browse integrations, cari Fleet Server, lalu klik kartu Fleet Server.

    4. Instal integrasi Fleet Server:

      1. Di halaman Fleet Server, klik tab Settings.

      2. Klik Install Fleet Server assets. Di dialog konfirmasi, klik Install Fleet Server.

        Setelah instalasi, versi integrasi akan muncul di tab Settings.

    5. Di pojok kanan atas halaman Fleet Server, klik Add a Fleet Server.

    6. Di halaman Add Fleet Server integration:

      • Di bagian Configure integration, masukkan nama di bidang Integration name.

      • Di bagian Where to add this integration, pilih netflow-log dari daftar drop-down Agent policies.

    7. Klik Save and continue. Di pesan konfirmasi, klik Add Elastic Agent later.

    Langkah 3: Tambahkan integrasi NetFlow Records

    1. Di tab Integrations kebijakan agent netflow-log, klik Add integration.

    2. Di tab Browse integrations, cari NetFlow Records, lalu klik kartu NetFlow Records.

    3. Instal integrasi NetFlow Records:

      1. Di halaman NetFlow Records, klik tab Settings.

      2. Klik Install NetFlow Records assets. Di dialog konfirmasi, klik Install NetFlow Records.

        Setelah instalasi, versi integrasi akan muncul di tab Settings.

    4. Di pojok kanan atas halaman NetFlow Records, klik Add NetFlow Records.

    5. Di halaman Add NetFlow Records integration, konfigurasi integrasi tersebut:

      1. Di bagian Configure integration, masukkan netflow-1 di bidang Integration name.

      2. Klik Change defaults di samping Collect NetFlow logs. Tetapkan nilai-nilai berikut:

        Field

        Value

        Description

        UDP host to listen on

        0.0.0.0

        Listens on all network interfaces

        UDP port to listen on

        2055

        Keep the default; softflowd sends to this port

        image.png

      3. Di tab Existing hosts bagian Where to add this integration, pilih netflow-log dari daftar drop-down Agent policies.

    6. Klik Save and continue. Di pesan konfirmasi, klik Add Elastic Agent later.

    Tambahkan Fleet agent dan mulai NetFlow

    Langkah 1: Konfigurasi host Fleet Server dan output

    1. Masuk ke konsol Kibana. Untuk informasi lebih lanjut, lihat Masuk ke konsol Kibana.

    2. Klik ikon image.png di pojok kiri atas. Di panel navigasi sebelah kiri, pilih Management > Fleet.

    3. Di halaman Fleet, klik tab Settings.

    4. Konfigurasi host Fleet Server:

      1. Di bagian Fleet server hosts, klik Edit hosts.

      2. Di panel Fleet Server hosts, masukkan URL host di bidang Specify host URL. Gunakan format https://<private-IP-of-ECS>:<port>, misalnya https://172.16.*.***:8220.

        Masukkan alamat IP pribadi utama instance ECS Anda. Untuk detail pengaturan host Fleet Server, lihat Fleet Server hosts.

      3. Klik Save and apply settings. Di dialog konfirmasi, klik Save and deploy.

    5. Konfigurasi output agar mengarah ke kluster Elasticsearch Anda:

      1. Di bagian Outputs, klik ikon image.png di kolom Actions.

      2. Di panel Edit output, masukkan URL titik akhir internal kluster Elasticsearch Anda di bidang Hosts. Gunakan format http://<internal-endpoint>:<port>, misalnya http://es-cn-uqm3auln80001****.elasticsearch.aliyuncs.com:9200.

      3. Klik Save and apply settings. Di dialog konfirmasi, klik Save and deploy.

    Langkah 2: Tambahkan Fleet agent

    Untuk mengumpulkan traffic NetFlow dari beberapa server sumber, ulangi langkah ini untuk setiap server. Setiap Fleet agent mengumpulkan data dari server sumber masing-masing, dan Fleet Server mengelola semua agent secara terpusat.

    1. Klik ikon image.png di pojok kiri atas. Di panel navigasi sebelah kiri, pilih Management > Fleet.

    2. Di halaman Fleet, klik tab Agent policies.

    3. Temukan kebijakan agent netflow-log, klik ikon image.png di kolom Actions, lalu pilih Add agent.

    4. Di tab Enroll in Fleet panel Add agent, klik Add a Fleet Server. Di panel Add a Fleet Server, klik Advanced. Di bagian Select a policy for Fleet Server, pertahankan nilai default netflow-log.

    5. Di bagian Choose a deployment mode for security, pertahankan default Quick start.

    6. Di bagian Add your Fleet Server host, klik Add host.

    7. Di bagian Generate a service token, klik Generate service token.

    8. Di bagian Install Fleet Server to a centralized host, salin perintah yang dihasilkan dan jalankan di instance ECS. Jika Successfully muncul di output, Fleet agent telah terinstal dan berjalan di instance ECS.

      image.png

    Langkah 3: Konfigurasi layanan NetFlow

    Tutorial ini menggunakan softflowd untuk menghasilkan data traffic NetFlow. Jalankan perintah-perintah berikut di instance ECS.

    1. Unduh paket sumber softflowd:

      wget https://storage.googleapis.com/google-code-archive-downloads/v2/code.google.com/softflowd/softflowd-0.9.9.tar.gz

    2. Instal library pengembangan libpcap (diperlukan untuk packet capture):

      yum install libpcap-devel

    3. Bangun dan instal softflowd:

      tar -xvf softflowd-0.9.9.tar.gz
cd softflowd-0.9.9
./configure
make
make install

    4. Jalankan softflowd:

      FlagValueDescription
      -v9Gunakan NetFlow versi 9
      -D—Jalankan sebagai daemon
      -ieth0Tangkap traffic pada antarmuka eth0
      -tmaxlife=1Ekspor flow setelah masa aktif maksimum 1 menit
      -nlocalhost:2055Kirim catatan NetFlow ke port 2055 (sesuai dengan konfigurasi integrasi)
      nohup softflowd -v 9 -D -i eth0 -t maxlife=1 -n localhost:2055 >/dev/null 2>&1 &

      Tabel berikut menjelaskan flag utama:

    Lihat data yang dikumpulkan

    Setelah pipeline berjalan, gunakan salah satu metode berikut untuk memverifikasi bahwa data NetFlow sedang dikumpulkan.

    Metode 1: Lihat data di dasbor

    1. Klik ikon image.png di pojok kiri atas. Di panel navigasi sebelah kiri, pilih Management > Fleet.

    2. Di halaman Fleet, klik tab Data streams untuk melihat data log NetFlow yang dikumpulkan di daftar dataset.

    3. Temukan dataset yang diinginkan, klik ikon image.png di kolom Actions, lalu pilih View Dashboards. Pilih dasbor untuk dijelajahi, misalnya [Logs Netflow] Overview.

    Metode 2: Jelajahi data di Discover

    Klik ikon image.png di pojok kiri atas. Di panel navigasi sebelah kiri, pilih Analytics > Discover. Di halaman Discover, telusuri data di indeks tujuan.

    Metode 3: Kueri data dari Dev Tools

    1. Klik ikon image.png di pojok kiri atas. Di panel navigasi sebelah kiri, pilih Management > Dev Tools.

    2. Di tab Console, jalankan kueri berikut:

      GET logs-netflow.log-default/_search