全部产品
Search
文档中心

Simple Log Service:Memulai

更新时间:Jul 06, 2025

Setelah mengaitkan pemroses ingest dengan penyimpanan log, Anda dapat memproses log menggunakan pemroses tersebut. Sebagai contoh, jika ingin mengumpulkan log akses situs web ke penyimpanan log dalam format satu baris, Anda dapat membuat pemroses ingest untuk mengurai log mentah dan mengekstrak bidang valid dari log guna kueri dan analisis.

Prasyarat

Ikhtisar solusi

Dalam solusi ini, Logtail digunakan untuk mengumpulkan log akses NGINX dari instance ECS. Pemroses ingest digunakan untuk mengurai log satu baris yang dikumpulkan ke format ${key}:${value} dan mengekspor log yang telah diurai ke penyimpanan log.

  1. Kumpulkan log menggunakan Logtail: Aktifkan Layanan Log Sederhana dan gunakan Logtail untuk mengumpulkan log akses NGINX dari instance ECS ke penyimpanan log.

  2. Konfigurasikan pemroses ingest: Konfigurasikan pernyataan Simple Log Service Processing Language (SPL) untuk mengurai log mentah.

  3. Kaitkan pemroses ingest dengan penyimpanan log: Setelah mengaitkan pemroses ingest dengan penyimpanan log, pemroses akan mengurai log yang dikumpulkan dan menulis hasilnya ke penyimpanan log untuk kueri dan analisis.

1. Kumpulkan log menggunakan Logtail

1.1 Buat proyek dan penyimpanan log

  1. Masuk ke Konsol Layanan Log Sederhana.

  2. Buat proyek baru.

    Di bagian Proyek, klik Create Project. Untuk contoh ini, buat proyek bernama web-project-test di wilayah Filipina (Manila). Untuk informasi lebih lanjut, lihat Kelola proyek.

    image

  3. Buat penyimpanan log.

    Setelah proyek dibuat, Anda akan diminta untuk membuat penyimpanan log. Untuk contoh ini, buat penyimpanan log bernama website_log. Untuk informasi lebih lanjut, lihat Kelola penyimpanan log.

1.2 Kumpulkan log akses NGINX

Log akses NGINX dari sebuah situs web disimpan di file /var/log/nginx/access.log pada instance ECS, dan log tersebut diformat dalam mode satu baris secara default. Contoh kode berikut memberikan sampel log di file /var/log/nginx/access.log:

192.168.1.75 - David [2024-07-31T14:27:24+08:00] "PUT /request/path-0/file-8 HTTP/1.1" 819 21577 403 73895 www.test5.com www.test2.com "Mozilla/5.0 (Windows NT 5.2; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.41 Safari/535.1"

Untuk informasi lebih lanjut tentang cara menggunakan Logtail untuk mengumpulkan log akses NGINX dari instance ECS, lihat Kumpulkan log teks dari server. Setelah log dikumpulkan dari file /var/log/nginx/access.log ke penyimpanan log website_log, Anda dapat query and analyze log yang dikumpulkan.

image

Anda juga dapat menggunakan SDK Layanan Log Sederhana untuk mengumpulkan log. Untuk informasi lebih lanjut, lihat Mulai dengan SDK Layanan Log Sederhana untuk Java. Untuk informasi lebih lanjut, lihat Ikhtisar pengumpulan data.

2. Konfigurasikan pemroses ingest

2.1 Buka halaman Pemroses Data

  1. Di bagian Proyek, klik proyek web-project-test.

    image

  2. Di panel navigasi sisi kiri, pilih Resources > Data Processor.

    image

2.2 Buat pemroses ingest

  1. Pada tab Data Processor > Ingest Processor, klik Create.

    image

  2. Di panel Create Processor, konfigurasikan parameter sesuai gambar berikut dan klik OK.

    image

    Kode berikut menunjukkan contoh pengaturan SPL. ingest processor memproses data berdasarkan pengaturan SPL. Untuk informasi lebih lanjut, lihat Sintaks SPL.

    * 
    | parse-regexp content, '(\S+)\s-\s(\S+)\s\[(\S+)\]\s"(\S+)\s(\S+)\s(\S+)"\s(\d+)\s(\d+)\s(\d+)\s(\d+)\s(\S+)\s(\S+)\s"(.*)"' as remote_addr, remote_user, time_local, request_method, request_uri, http_protocol, request_time, request_length, status, body_bytes_sent, host, referer, user_agent
    | project-away content
    | extend __topic__ = request_method

3. Kaitkan pemroses ingest dengan penyimpanan log

3.1 Kaitkan pemroses ingest dengan penyimpanan log

  1. Di panel navigasi sisi kiri, klik Log Storage, arahkan pointer ke penyimpanan log website_log, lalu pilih Modify.

    image

  2. Di halaman Atribut Penyimpanan Log dari penyimpanan log website_log, klik Modify di pojok kanan atas. Dalam mode edit, pilih pemroses ingest yang Anda buat untuk mengurai log akses NGINX dengan penyimpanan log dari daftar drop-down Ingest Processor dan klik Save.

    image

3.2 Kueri dan analisis log

Di panel navigasi sisi kiri, klik Log Storage dan penyimpanan log website_log. Di halaman kueri dan analisis penyimpanan log website_log, lihat log yang telah diurai.

Catatan

Setelah pemroses ingest dikaitkan dengan penyimpanan log, pemroses akan memproses log baru yang dikumpulkan. Anda dapat melihat log yang telah diurai di halaman kueri dan analisis sekitar 1 menit setelah mengaitkan pemroses ingest dengan penyimpanan log.

image

Referensi

  • Untuk informasi lebih lanjut tentang cara mengelola pemroses ingest, lihat Kelola pemroses ingest.

  • Untuk informasi lebih lanjut tentang cara mengumpulkan log setelah mengaktifkan Layanan Log Sederhana, lihat Ikhtisar pengumpulan data.

  • Pemroses ingest memproses data berdasarkan pengaturan SPL. Untuk informasi lebih lanjut tentang sintaks SPL, lihat Sintaks SPL.