Simple Log Service:Kumpulkan data dari Beats dan Logstash

Prosedur

1. Masuk ke Konsol Simple Log Service.

2. Di sisi kanan halaman, klik Import Data, lalu pilih Custom Data Plug-in.

3. Pilih proyek dan Logstore tujuan, lalu klik Next.

4. Pada langkah Machine Group Configurations, konfigurasikan kelompok mesin.

   1. Konfigurasikan parameter Scenario dan Installation Environment sesuai kebutuhan.

      Penting

      Anda harus mengonfigurasi parameter Scenario dan Installation Environment terlepas dari apakah kelompok mesin tersedia atau tidak. Pengaturan parameter ini memengaruhi konfigurasi selanjutnya.

   2. Pastikan kelompok mesin ditampilkan di bagian Applied Server Groups, lalu klik Next.

      Machine group available

      Pilih kelompok mesin dari bagian Source Machine Group.

      

      No machine group available

      Klik Create Machine Group. Di panel Create Machine Group, konfigurasikan parameter tersebut. Anda dapat mengatur parameter Machine Group Identifier menjadi IP Address atau Custom Identifier. Untuk informasi lebih lanjut, lihat Buat kelompok mesin berbasis pengenal kustom atau Buat kelompok mesin berbasis alamat IP.

      Penting

      Jika Anda menerapkan kelompok mesin segera setelah membuatnya, status heartbeat kelompok mesin mungkin menunjukkan FAIL. Masalah ini terjadi karena kelompok mesin belum terhubung ke Simple Log Service. Untuk mengatasinya, Anda dapat mengklik Automatic Retry. Jika masalah tetap berlanjut, lihat Apa yang harus saya lakukan jika tidak ada koneksi heartbeat yang terdeteksi pada Logtail?

5. Pada tab Data Source Configuration, atur Configuration Name dan Plugin Configuration, lalu klik Next.

   • inputs wajib diisi dan digunakan untuk mengonfigurasi pengaturan sumber data pada konfigurasi Logtail.

     Penting

     Anda hanya dapat menentukan satu jenis sumber data dalam inputs.

   • processors bersifat opsional dan digunakan untuk mengonfigurasi pengaturan pemrosesan data pada konfigurasi Logtail guna mengurai data. Anda dapat menentukan satu atau beberapa metode pemrosesan.

     Jika log Anda tidak dapat diurai hanya berdasarkan pengaturan inputs, Anda dapat mengonfigurasi processors pada kolom Plug-in Configuration untuk menambahkan plugin guna pemrosesan data. Misalnya, ekstraksi bidang, ekstraksi waktu log, masking data, dan penyaringan log. Untuk informasi lebih lanjut, lihat Plugin Logtail untuk pemrosesan data.

   Beats dan Logstash menghasilkan data dalam format JSON. Gunakan plugin processor_anchor untuk mengurai data JSON.

   {
     "inputs": [
       {
         "detail": {
           "BindAddress": "0.0.0.0:5044"
         },
         "type": "service_lumberjack"
       }
     ],
     "processors": [
       {
         "detail": {
           "Anchors": [
             {
               "ExpondJson": true,
               "FieldType": "json",
               "Start": "",
               "Stop": ""
             }
           ],
           "SourceKey": "content"
         },
         "type": "processor_anchor"
       }
     ]
   }
                           

   Parameter	Type	Wajib	Deskripsi
   type	string	Ya	Jenis sumber data. Atur ke service_lumberjack.
   BindAddress	string	Tidak	Alamat pendengar untuk protokol Lumberjack. Default: 127.0.0.1:5044. Atur ke 0.0.0.0:5044 agar dapat diakses dari host LAN lainnya.
   V1	boolean	Tidak	Apakah akan menggunakan protokol Lumberjack V1. Default: false. Logstash menggunakan Lumberjack V1.
   V2	boolean	Tidak	Apakah akan menggunakan protokol Lumberjack V2. Default: true. Beats menggunakan Lumberjack V2.
   SSLCA	string	Tidak	Jalur sertifikat tanda tangan yang dikeluarkan oleh CA. Default: kosong. Tidak diperlukan untuk sertifikat tanda tangan sendiri.
   SSLCert	string	Tidak	Jalur sertifikat SSL. Default: kosong.
   SSLKey	string	Tidak	Jalur kunci privat untuk sertifikat. Default: kosong.
   InsecureSkipVerify	boolean	Tidak	Apakah akan melewati verifikasi SSL. Default: false (verifikasi SSL dilakukan).

6. Buat indeks dan pratinjau data. Lalu, klik Next. Secara default, indeks teks penuh diaktifkan di Simple Log Service. Anda juga dapat membuat indeks bidang secara manual untuk log yang dikumpulkan atau klik Automatic Index Generation. Setelah itu, Simple Log Service akan menghasilkan indeks bidang. Untuk informasi lebih lanjut, lihat Buat indeks.

   Penting

   Jika Anda ingin melakukan kueri terhadap semua bidang dalam log, kami merekomendasikan penggunaan indeks teks penuh. Jika Anda hanya ingin melakukan kueri terhadap bidang tertentu, kami merekomendasikan penggunaan indeks bidang. Hal ini membantu mengurangi trafik indeks. Jika Anda ingin menganalisis bidang, Anda harus membuat indeks bidang. Anda harus menyertakan pernyataan SELECT dalam pernyataan kueri Anda untuk analisis.

7. Klik Query Log untuk menuju halaman Query & Analysis untuk Logstore tersebut.

   Anda mungkin perlu menunggu sekitar satu menit hingga indeks berlaku. Setelah itu, Anda dapat melihat log yang dikumpulkan pada tab Raw Logs. Untuk informasi lebih lanjut, lihat Panduan cepat untuk kueri dan analisis log.

Pemecahan masalah

Jika tidak ada data yang muncul di halaman pratinjau atau kueri setelah Anda mengonfigurasi Logtail untuk mengumpulkan log, lihat Pemecahan masalah kegagalan pengumpulan Logtail.