Setelah mengaitkan pemroses ingest dengan penyimpanan log, Anda dapat memproses log menggunakan pemroses tersebut. Sebagai contoh, jika ingin mengumpulkan log akses situs web ke penyimpanan log dalam format satu baris, Anda dapat membuat pemroses ingest untuk mengurai log mentah dan mengekstrak bidang valid dari log guna kueri dan analisis.
Prasyarat
Tersedia instance Elastic Compute Service (ECS). Untuk informasi lebih lanjut, lihat Memulai dengan ECS.
Layanan Log Sederhana telah diaktifkan. Untuk informasi lebih lanjut, lihat Aktifkan Layanan Log Sederhana.
Pengguna Resource Access Management (RAM) yang digunakan telah diberikan izin manajemen pada pemroses ingest. Pastikan prasyarat ini terpenuhi jika Anda ingin menggunakan pengguna RAM. Untuk informasi lebih lanjut, lihat Berikan izin kepada pengguna RAM untuk memproses data.
Ikhtisar solusi
Dalam solusi ini, Logtail digunakan untuk mengumpulkan log akses NGINX dari instance ECS. Pemroses ingest digunakan untuk mengurai log satu baris yang dikumpulkan ke format ${key}:${value} dan mengekspor log yang telah diurai ke penyimpanan log.
Kumpulkan log menggunakan Logtail: Aktifkan Layanan Log Sederhana dan gunakan Logtail untuk mengumpulkan log akses NGINX dari instance ECS ke penyimpanan log.
Konfigurasikan pemroses ingest: Konfigurasikan pernyataan Simple Log Service Processing Language (SPL) untuk mengurai log mentah.
Kaitkan pemroses ingest dengan penyimpanan log: Setelah mengaitkan pemroses ingest dengan penyimpanan log, pemroses akan mengurai log yang dikumpulkan dan menulis hasilnya ke penyimpanan log untuk kueri dan analisis.
1. Kumpulkan log menggunakan Logtail
1.1 Buat proyek dan penyimpanan log
Masuk ke Konsol Layanan Log Sederhana.
Buat proyek baru.
Di bagian Proyek, klik Create Project. Untuk contoh ini, buat proyek bernama
web-project-testdi wilayahFilipina (Manila). Untuk informasi lebih lanjut, lihat Kelola proyek.
Buat penyimpanan log.
Setelah proyek dibuat, Anda akan diminta untuk membuat penyimpanan log. Untuk contoh ini, buat penyimpanan log bernama
website_log. Untuk informasi lebih lanjut, lihat Kelola penyimpanan log.
1.2 Kumpulkan log akses NGINX
Log akses NGINX dari sebuah situs web disimpan di file /var/log/nginx/access.log pada instance ECS, dan log tersebut diformat dalam mode satu baris secara default. Contoh kode berikut memberikan sampel log di file /var/log/nginx/access.log:
192.168.1.75 - David [2024-07-31T14:27:24+08:00] "PUT /request/path-0/file-8 HTTP/1.1" 819 21577 403 73895 www.test5.com www.test2.com "Mozilla/5.0 (Windows NT 5.2; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.41 Safari/535.1"Untuk informasi lebih lanjut tentang cara menggunakan Logtail untuk mengumpulkan log akses NGINX dari instance ECS, lihat Kumpulkan log teks dari server. Setelah log dikumpulkan dari file /var/log/nginx/access.log ke penyimpanan log website_log, Anda dapat query and analyze log yang dikumpulkan.

Anda juga dapat menggunakan SDK Layanan Log Sederhana untuk mengumpulkan log. Untuk informasi lebih lanjut, lihat Mulai dengan SDK Layanan Log Sederhana untuk Java. Untuk informasi lebih lanjut, lihat Ikhtisar pengumpulan data.
2. Konfigurasikan pemroses ingest
2.1 Buka halaman Pemroses Data
Di bagian Proyek, klik proyek
web-project-test.
Di panel navigasi sisi kiri, pilih .

2.2 Buat pemroses ingest
Pada tab , klik Create.

Di panel Create Processor, konfigurasikan parameter sesuai gambar berikut dan klik OK.

Kode berikut menunjukkan contoh pengaturan SPL. ingest processor memproses data berdasarkan pengaturan SPL. Untuk informasi lebih lanjut, lihat Sintaks SPL.
* | parse-regexp content, '(\S+)\s-\s(\S+)\s\[(\S+)\]\s"(\S+)\s(\S+)\s(\S+)"\s(\d+)\s(\d+)\s(\d+)\s(\d+)\s(\S+)\s(\S+)\s"(.*)"' as remote_addr, remote_user, time_local, request_method, request_uri, http_protocol, request_time, request_length, status, body_bytes_sent, host, referer, user_agent | project-away content | extend __topic__ = request_method
3. Kaitkan pemroses ingest dengan penyimpanan log
3.1 Kaitkan pemroses ingest dengan penyimpanan log
Di panel navigasi sisi kiri, klik Log Storage, arahkan pointer ke penyimpanan log
website_log, lalu pilih .
Di halaman Atribut Penyimpanan Log dari penyimpanan log
website_log, klik Modify di pojok kanan atas. Dalam mode edit, pilih pemroses ingest yang Anda buat untukmengurai log akses NGINXdengan penyimpanan log dari daftar drop-down Ingest Processor dan klik Save.
3.2 Kueri dan analisis log
Di panel navigasi sisi kiri, klik Log Storage dan penyimpanan log website_log. Di halaman kueri dan analisis penyimpanan log website_log, lihat log yang telah diurai.
Setelah pemroses ingest dikaitkan dengan penyimpanan log, pemroses akan memproses log baru yang dikumpulkan. Anda dapat melihat log yang telah diurai di halaman kueri dan analisis sekitar 1 menit setelah mengaitkan pemroses ingest dengan penyimpanan log.

Referensi
Untuk informasi lebih lanjut tentang cara mengelola pemroses ingest, lihat Kelola pemroses ingest.
Untuk informasi lebih lanjut tentang cara mengumpulkan log setelah mengaktifkan Layanan Log Sederhana, lihat Ikhtisar pengumpulan data.
Pemroses ingest memproses data berdasarkan pengaturan SPL. Untuk informasi lebih lanjut tentang sintaks SPL, lihat Sintaks SPL.