全部产品
Search
文档中心

Simple Log Service:Kumpulkan data dari Beats dan Logstash

更新时间:Jul 06, 2025

Topik ini menjelaskan cara mengonfigurasi Logtail di konsol Simple Log Service untuk mengumpulkan data dari Beats dan Logstash.

Prasyarat

  • Logtail telah terpasang pada server yang digunakan untuk mengumpulkan data dari Beats dan Logstash. Server Linux mendukung Logtail versi 0.16.9 atau lebih baru, sedangkan server Windows mendukung Logtail versi 1.0.0.8 atau lebih baru. Untuk informasi lebih lanjut, lihat Instal Logtail pada Server Linux atau Instal Logtail pada Server Windows.

  • Data dikumpulkan menggunakan Logstash atau Beats.

    • Untuk informasi lebih lanjut tentang cara mengumpulkan data dari Logstash, kunjungi Logstash-Lumberjack-Output.

    • Untuk informasi lebih lanjut tentang cara mengumpulkan data dari Beats, kunjungi Beats-Lumberjack-Output.

      Prosedur dalam topik ini menjelaskan cara menggunakan Packetbeat untuk mengumpulkan data yang ditransmisikan di jaringan lokal, serta menggunakan Plugin Lumberjack Logtail untuk mengunggah data ke Simple Log Service. Data yang dikumpulkan menggunakan Packetbeat dikirim ke Logstash, seperti yang ditunjukkan dalam contoh skrip berikut:

      output.logstash:
        hosts: ["127.0.0.1:5044"]

Informasi latar belakang

Logstash dan Beats (seperti MetricBeat, PacketBeat, Winlogbeat, Auditbeat, Filebeat, dan Heartbeat) mendukung protokol Lumberjack. Oleh karena itu, Logtail dapat menggunakan protokol tersebut untuk mengunggah data yang dikumpulkan oleh Beats dan Logstash ke Simple Log Service.

Catatan
  • Anda dapat mengonfigurasi beberapa Plugin Lumberjack, tetapi plugin-plugin tersebut tidak dapat mendengarkan port yang sama.

  • Plugin Lumberjack mendukung SSL. Data yang diunggah ke Simple Log Service dari Logstash harus dienkripsi menggunakan SSL.

Prosedur

  1. Masuk ke konsol Simple Log Service.

  2. Di bagian Import Data, pilih Custom Data Plug-in.

  3. Pilih proyek dan penyimpanan log, lalu klik Next.

  4. Di langkah Machine Group Configurations, konfigurasikan grup mesin.

    1. Konfigurasikan parameter Skenario dan Lingkungan Instalasi sesuai dengan kebutuhan bisnis Anda.

      Penting

      Parameter Skenario dan Lingkungan Instalasi harus dikonfigurasi terlepas dari apakah grup mesin tersedia. Pengaturan parameter ini mempengaruhi konfigurasi selanjutnya.

    2. Pastikan bahwa grup mesin ditampilkan di bagian Applied Server Groups dan klik Next.

      Grup mesin tersedia

      Pilih grup mesin dari bagian Source Machine Group.

      image

      Tidak ada grup mesin tersedia

      Klik Create Machine Group. Di panel Create Machine Group, konfigurasikan parameter-parameter tersebut. Anda dapat menyetel parameter Pengenal Grup Mesin ke IP Address atau Custom Identifier. Untuk informasi lebih lanjut, lihat Buat Grup Mesin Berbasis Pengenal Kustom atau Buat Grup Mesin Berbasis Alamat IP.

      Penting

      Jika Anda menerapkan grup mesin segera setelah membuat grup mesin, status detak jantung grup mesin mungkin menjadi FAIL. Masalah ini terjadi karena grup mesin belum terhubung ke Simple Log Service. Untuk menyelesaikan masalah ini, Anda dapat mengklik Retry. Jika masalah berlanjut, lihat Apa yang harus saya lakukan jika tidak ada koneksi detak jantung yang terdeteksi pada Logtail?

  5. Di langkah Configure Data Source, atur parameter Configuration Name dan Plug-in Configuration, lalu klik Next.

      Data dari Beats dan Logstash berada dalam format JSON. processor_anchor dikonfigurasi untuk memperluas data berformat JSON.

      {
        "inputs": [
          {
            "detail": {
              "BindAddress": "0.0.0.0:5044"
            },
            "type": "service_lumberjack"
          }
        ],
        "processors": [
          {
            "detail": {
              "Anchors": [
                {
                  "ExpondJson": true,
                  "FieldType": "json",
                  "Start": "",
                  "Stop": ""
                }
              ],
              "SourceKey": "content"
            },
            "type": "processor_anchor"
          }
        ]
      }
                              

      Parameter

      Tipe

      Diperlukan

      Deskripsi

      type

      String

      Ya

      Tipe sumber data. Atur nilainya menjadi service_lumberjack.

      BindAddress

      String

      Tidak

      Alamat IP dan port server tempat data dapat dikirim menggunakan protokol Lumberjack. Nilai default: 127.0.0.1:5044. Untuk mengaktifkan akses dari host lain di LAN menggunakan protokol Lumberjack, atur nilai menjadi 0.0.0.0:5044.

      V1

      Boolean

      Tidak

      Menentukan apakah akan menggunakan protokol Lumberjack v1. Nilai default: false. Logstash mendukung protokol Lumberjack v1.

      V2

      Boolean

      Tidak

      Menentukan apakah akan menggunakan protokol Lumberjack v2. Nilai default: true. Beats mendukung protokol Lumberjack v2.

      SSLCA

      String

      Tidak

      Path Otoritas Sertifikat yang mengeluarkan sertifikat tanda tangan. Nilai default: null. Jika Anda menggunakan sertifikat tanda tangan sendiri, Anda tidak perlu menentukan parameter ini.

      SSLCert

      String

      Tidak

      Path sertifikat. Nilai default: null.

      SSLKey

      String

      Tidak

      Path kunci privat yang sesuai dengan sertifikat. Nilai default: null.

      InsecureSkipVerify

      Boolean

      Tidak

      Menentukan apakah akan melewati pemeriksaan keamanan SSL. Nilai default: false. Nilai ini menunjukkan bahwa pemeriksaan keamanan SSL dilakukan.

    • Create indexes dan preview data. Lalu, klik Next. Secara default, pengindeksan teks penuh diaktifkan di Simple Log Service. Anda juga dapat secara manual membuat indeks bidang untuk log yang dikumpulkan atau klik Automatic Index Generation. Lalu, Simple Log Service menghasilkan indeks bidang. Untuk informasi lebih lanjut, lihat Buat Indeks.

      Penting

      Jika Anda ingin menanyakan semua bidang dalam log, kami sarankan Anda menggunakan indeks teks penuh. Jika Anda hanya ingin menanyakan bidang tertentu, kami sarankan Anda menggunakan indeks bidang. Ini membantu mengurangi lalu lintas indeks. Jika Anda ingin menganalisis bidang, Anda harus membuat indeks bidang. Anda harus menyertakan pernyataan SELECT dalam pernyataan kueri Anda untuk analisis.

    • Klik Log Query. Anda akan dialihkan ke halaman kueri dan analisis Logstore Anda.

      Anda harus menunggu sekitar 1 menit agar indeks berlaku. Lalu, Anda dapat melihat log yang dikumpulkan di tab Raw Logs. Untuk informasi lebih lanjut, lihat Panduan Kueri dan Analisis Log.

    Pemecahan masalah

    Jika tidak ada data yang ditampilkan di halaman pratinjau atau halaman kueri setelah log dikumpulkan menggunakan Logtail, Anda dapat memecahkan kesalahan berdasarkan instruksi yang disediakan di Apa yang harus saya lakukan jika terjadi kesalahan saat saya menggunakan Logtail untuk mengumpulkan log?

    Apa yang harus dilakukan selanjutnya

    Setelah Logtail mengunggah data ke Simple Log Service, Anda dapat melihat data tersebut di konsol Simple Log Service. Berikut adalah contoh data yang diunggah ke Simple Log Service.

    _@metadata_beat:  packetbeat
    _@metadata_type:  doc
    _@metadata_version:  6.2.4
    _@timestamp:  2018-06-05T03:58:42.470Z
    __source__:  **. **. **.**
    __tag__:__hostname__:  *******
    __topic__:  
    _beat_hostname:  bdbe0b8d53a4
    _beat_name:  bdbe0b8d53a4
    _beat_version:  6.2.4
    _bytes_in:  56
    _bytes_out:  56
    _client_ip:  192.168.5.2
    _icmp_request_code:  0
    _icmp_request_message:  EchoRequest(0)
    _icmp_request_type:  8
    _icmp_response_code:  0
    _icmp_response_message:  EchoReply(0)
    _icmp_response_type:  0
    _icmp_version:  4
    _ip:  127.0.0.1
    _path:  127.0.0.1
    _responsetime:  0
    _status:  OK
    _type:  icmp