Simple Log Service：Mengumpulkan Data HTTP

Implementasi

Logtail mengirimkan permintaan HTTP ke URL yang ditentukan berdasarkan URL, metode, header, dan badan yang dikonfigurasi. Kemudian, Logtail mengunggah kode status respons, badan respons, dan waktu respons sebagai sumber data ke Simple Log Service.

Fitur

• Anda dapat menentukan beberapa URL.

• Anda dapat menentukan metode permintaan HTTP.

• Anda dapat menentukan interval pengiriman permintaan.

• Anda dapat menentukan header permintaan kustom.

• Anda dapat menggunakan HTTPS.

• Anda dapat memeriksa apakah badan respons cocok dengan pola tetap.

Skenario

• Anda dapat memantau status layanan menggunakan operasi API HTTP. Sebagai contoh, Anda dapat memantau jenis layanan berikut:

  • NGINX

  • Docker yang mendukung pemantauan menggunakan operasi API HTTP

  • Elasticsearch

  • HAProxy

  • Layanan lain yang mendukung pemantauan menggunakan operasi API HTTP

• Anda dapat memantau ketersediaan layanan.

  Logtail memantau ketersediaan layanan dengan mengirimkan permintaan ke layanan tersebut pada interval tertentu dan memeriksa kode status respons serta latensi permintaan.

• Anda dapat menarik data seperti komentar Weibo dan jumlah pengikut pada interval tertentu.

Batasan

• URL harus dimulai dengan http atau https.

• Sertifikat kustom tidak didukung.

• Komunikasi interaktif tidak didukung.

Prosedur

Prosedur berikut menunjukkan cara mengumpulkan data HTTP dari modul status NGINX. Permintaan dikirim ke URL http://127.0.0.1/ngx_status pada interval 1.000 milidetik. Ekspresi reguler digunakan untuk mengekstrak informasi status dari badan respons.

1. Masuk ke Konsol Simple Log Service.

2. Di sisi kanan halaman, klik Import Data, lalu pilih Custom Data Plug-in.

3. Pilih proyek dan logstore, lalu klik Next.

4. Buat kelompok mesin.

   • Jika kelompok mesin tersedia, klik Use Existing Machine Groups.

   • Jika tidak ada kelompok mesin yang tersedia, lakukan langkah-langkah berikut untuk membuat kelompok mesin. Dalam contoh ini, Instance ECS digunakan.

     1. Di tab ECS Instance, pilih Pilih Instans Secara Manual. Lalu, pilih instance ECS yang ingin Anda gunakan dan klik Create.

        Untuk informasi lebih lanjut, lihat Instal Logtail pada Instance ECS.

        Penting

        Jika server Anda adalah instance ECS yang termasuk akun Alibaba Cloud yang berbeda dari Simple Log Service, server di pusat data lokal, atau server dari penyedia layanan cloud pihak ketiga, Anda harus menginstal Logtail secara manual di server tersebut. Untuk informasi lebih lanjut, lihat Instal Logtail pada Server Linux atau Instal Logtail pada Server Windows. Setelah Anda menginstal Logtail secara manual, Anda harus mengonfigurasi pengenal pengguna untuk server tersebut. Untuk informasi lebih lanjut, lihat Konfigurasikan Pengenal Pengguna.

     2. Setelah Anda mengonfirmasi pengaturan, klik OK.

     3. Setelah Logtail terinstal, klik Complete Installation.

     4. Di langkah Create Machine Group, konfigurasikan parameter Name dan klik Next.

        Simple Log Service memungkinkan Anda membuat kelompok mesin berbasis alamat IP dan kelompok mesin berbasis pengenal kustom. Untuk informasi lebih lanjut, lihat Buat Kelompok Mesin Berbasis Alamat IP dan Buat Kelompok Mesin Berbasis Pengenal Kustom.

5. Konfirmasikan bahwa kelompok mesin ditampilkan di bagian Applied Server Groups dan klik Next.

   Penting

   Jika Anda menerapkan kelompok mesin segera setelah membuat kelompok mesin, status detak jantung kelompok mesin mungkin FAIL. Masalah ini terjadi karena kelompok mesin belum terhubung ke Simple Log Service. Untuk menyelesaikan masalah ini, Anda dapat mengklik Automatic Retry. Jika masalah tetap ada, lihat Apa yang harus saya lakukan jika tidak ada koneksi detak jantung yang terdeteksi di Logtail?

6. Di langkah Specify Data Source, konfigurasikan Config Name dan Plug-in Config. Lalu, klik Next.

   Koleksi plug-in Logtail

   • inputs diperlukan dan digunakan untuk mengonfigurasi pengaturan sumber data untuk konfigurasi Logtail.

     Penting

     Anda hanya dapat menentukan satu jenis sumber data di inputs.

   • processors bersifat opsional dan digunakan untuk mengonfigurasi pengaturan pemrosesan data untuk konfigurasi Logtail untuk mengurai data. Anda dapat menentukan satu atau lebih metode pemrosesan.

     Jika log Anda tidak dapat diurai hanya berdasarkan pengaturan inputs, Anda dapat mengonfigurasi prosesor di bidang Plug-in Configuration untuk menambahkan plug-in untuk pemrosesan data. Sebagai contoh, Anda dapat mengekstrak bidang, mengekstrak waktu log, menyamarkan data, dan menyaring log. Untuk informasi lebih lanjut, lihat Gunakan plug-in Logtail untuk memproses data.

   {
    "inputs": [
        {
            "type": "metric_http",
            "detail": {
                "IntervalMs": 1000,
                "Addresses": [
                    "http://127.0.0.1/ngx_status"
                ],
                "Headers": {"key":"value"},
                "IncludeBody": true
            }
        }
    ],
    "processors" : [
        {
            "type": "processor_regex",
            "detail" : {
                "SourceKey": "content",
                "Regex": "Active connections: (\\d+)\\s+server accepts handled requests\\s+(\\d+)\\s+(\\d+)\\s+(\\d+)\\s+Reading: (\\d+) Writing: (\\d+) Waiting: (\\d+).*",
                "Keys": [
                    "connection",
                    "accepts",
                    "handled",
                    "requests",
                    "reading",
                    "writing",
                    "waiting"
                ],
                "FullMatch": true,
                "NoKeyError": true,
                "NoMatchError": true,
                "KeepSource": false
            }
        }
    ]
   }

   Parameter	Tipe	Diperlukan	Deskripsi
   type	string	Ya	Tipe sumber data. Atur nilainya menjadi metric_http.
   Addresses	array string	Ya	URL. Penting URL harus dimulai dengan http atau https.
   IntervalMs	int	Ya	Interval antara dua permintaan berturut-turut. Satuan: milidetik.
   Method	string	Tidak	Metode permintaan. Nilai default: GET. Nilai harus huruf kapital.
   Body	string	Tidak	Badan permintaan HTTP. Parameter ini kosong secara default.
   Headers	key: string, value: string map	Tidak	Header permintaan HTTP. Parameter ini kosong secara default. Contoh: {"key":"value"}. Konfigurasikan parameter ini sesuai dengan skenario bisnis Anda.
   PerAddressSleepMs	int	Tidak	Interval pengiriman permintaan ke URL yang ditentukan oleh parameter Addresses. Satuan: milidetik. Nilai default: 100.
   ResponseTimeoutMs	int	Tidak	Periode timeout untuk permintaan. Satuan: milidetik. Nilai default: 5000.
   IncludeBody	boolean	Tidak	Menentukan apakah akan mengumpulkan badan permintaan. Nilai default: false. Jika Anda mengatur parameter ini ke true, badan permintaan disimpan di bidang bernama content.
   FollowRedirects	boolean	Tidak	Menentukan apakah akan memproses pengalihan URL secara otomatis. Nilai default: false.
   InsecureSkipVerify	boolean	Tidak	Menentukan apakah akan melewati pemeriksaan keamanan HTTPS. Nilai default: false.
   ResponseStringMatch	string	Tidak	Menentukan apakah akan mencocokkan badan respons dengan ekspresi reguler. Hasil pencocokan disimpan di bidang bernama _response_match_. Jika badan respons cocok dengan ekspresi reguler, nilai bidang tersebut adalah yes. Jika tidak, nilainya adalah no.

7. Pratinjau data, konfigurasikan indeks, lalu klik Next.

   Secara default, pengindeksan teks penuh diaktifkan untuk Simple Log Service. Anda juga dapat mengonfigurasi indeks bidang berdasarkan log yang dikumpulkan dalam mode manual atau otomatis. Untuk mengonfigurasi indeks bidang dalam mode otomatis, klik Automatic Index Generation. Dengan cara ini, Simple Log Service secara otomatis membuat indeks bidang. Untuk informasi lebih lanjut, lihat Buat indeks.

   Penting

   Jika Anda ingin menanyakan dan menganalisis log, Anda harus mengaktifkan pengindeksan teks penuh atau pengindeksan bidang. Jika Anda mengaktifkan kedua pengindeksan teks penuh dan pengindeksan bidang, sistem hanya menggunakan indeks bidang.

Pemecahan Masalah

Jika tidak ada data yang ditampilkan di halaman pratinjau atau halaman kueri setelah log dikumpulkan menggunakan Logtail, Anda dapat memecahkan kesalahan berdasarkan instruksi yang diberikan di Apa yang harus saya lakukan jika terjadi kesalahan saat saya menggunakan Logtail untuk mengumpulkan log?