Setelah mengaitkan Ingest Processor dengan LogStore, Anda dapat menggunakan prosesor tersebut untuk memproses data log. Misalnya, jika Anda mengumpulkan log akses satu baris dari situs web ke dalam LogStore, Anda dapat membuat Ingest Processor untuk mengurai log mentah tersebut sehingga mengekstraksi field log yang valid guna kueri dan analisis.
Prasyarat
-
Tersedia instans Elastic Compute Service (ECS) yang aktif. Untuk informasi selengkapnya, lihat Panduan Cepat untuk ECS.
-
Simple Log Service telah diaktifkan. Untuk informasi selengkapnya, lihat Aktifkan Simple Log Service.
-
Jika Anda menggunakan pengguna Resource Access Management (RAM), berikan izin kepada pengguna RAM tersebut untuk mengelola Ingest Processor. Untuk informasi selengkapnya, lihat Berikan izin pemrosesan data kepada pengguna RAM.
Ikhtisar solusi
Solusi ini menggunakan Logtail untuk mengumpulkan log akses Nginx. Ingest Processor kemudian mengurai log satu baris tersebut ke dalam format ${key}:${value}. Terakhir, log dikirim ke LogStore. Prosesnya adalah sebagai berikut:
-
Kumpulkan log dengan Logtail: Aktifkan Simple Log Service dan gunakan Logtail untuk mengumpulkan log Nginx dari host ECS ke LogStore.
-
Konfigurasikan Ingest Processor: Konfigurasikan pernyataan Structured Process Language (SPL) untuk mengurai log mentah.
-
Kaitkan Ingest Processor: Kaitkan LogStore dengan Ingest Processor target. Log baru akan diurai oleh prosesor sebelum ditulis ke LogStore. Log yang telah diurai kemudian ditulis ke LogStore untuk kueri dan analisis.
1. Kumpulkan log dengan Logtail
1.1 Buat proyek dan LogStore
-
Masuk ke konsol Simple Log Service.
-
Buat proyek.
Di bagian Projects, klik Create Project. Untuk contoh ini, buat proyek bernama
web-project-testdi wilayahPhilippines (Manila). Untuk informasi selengkapnya tentang konfigurasi, lihat Kelola proyek.
-
Buat LogStore.
Setelah membuat proyek, sistem akan meminta Anda untuk membuat LogStore. Untuk contoh ini, buat LogStore bernama
website_log. Untuk informasi selengkapnya tentang konfigurasi, lihat Kelola LogStore.
1.2 Kumpulkan log akses Nginx
Situs web menyimpan log akses Nginx-nya dalam file /var/log/nginx/access.log pada host ECS. Secara default, log tersebut di-output dalam satu baris. Isi file access.log adalah sebagai berikut:
192.168.1.75 - David [2024-07-31T14:27:24+08:00] "PUT /request/path-0/file-8 HTTP/1.1" 819 21577 403 73895 www.test5.com www.test2.com "Mozilla/5.0 (Windows NT 5.2; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/13.0.782.41 Safari/535.1"
Gunakan Logtail untuk mengumpulkan log Nginx dari host ECS. Untuk prosedurnya, lihat Kumpulkan log teks dari host. Kumpulkan log dari /var/log/nginx/access.log ke website_log. Halaman LogSearch ditampilkan pada gambar berikut.

Anda juga dapat menggunakan software development kit (SDK) untuk pengumpulan data. Untuk informasi selengkapnya, lihat Panduan Cepat untuk Java SDK. Informasi lebih lanjut tersedia di Ikhtisar pengumpulan data.
2. Konfigurasikan Ingest Processor
2.1 Buka halaman Data Processors
-
Di bagian Projects, klik
web-project-test.
-
Di panel navigasi kiri, klik .

2.2 Buat Ingest Processor
-
Di tab , klik Create.

-
Di panel Create Processor, konfigurasikan parameter seperti yang ditunjukkan pada gambar berikut, lalu klik OK.

Konfigurasi SPL-nya adalah sebagai berikut. Ingest Processor menggunakan SPL untuk memproses data. Untuk informasi selengkapnya tentang SPL, lihat Sintaks SPL.
* | parse-regexp content, '(\S+)\s-\s(\S+)\s\[(\S+)\]\s"(\S+)\s(\S+)\s(\S+)"\s(\d+)\s(\d+)\s(\d+)\s(\d+)\s(\S+)\s(\S+)\s"(.*)"' as remote_addr, remote_user, time_local, request_method, request_uri, http_protocol, request_time, request_length, status, body_bytes_sent, host, referer, user_agent | project-away content | extend __topic__ = request_method
3. Kaitkan Ingest Processor
3.1 Kaitkan Ingest Processor dengan LogStore
-
Di panel navigasi kiri, klik Log Storage. Arahkan pointer mouse ke
website_log, lalu klik .
-
Di halaman properti
website_log, klik Modify di pojok kanan atas. Dalam mode edit, atur Ingest Processor ke prosesorParse Nginx logsyang telah Anda buat, lalu klik Save.
3.2 Kueri dan analisis log
Di panel navigasi kiri, klik Log Storage. Di halaman LogSearch, lihat log yang telah diurai seperti yang ditunjukkan pada gambar berikut.
Ingest Processor hanya berlaku untuk log baru setelah dikaitkan. Tunggu sekitar satu menit untuk melihat log yang telah diurai di halaman LogSearch.

Referensi
-
Untuk mengelola Ingest Processor, lihat Kelola Ingest Processor.
-
Untuk informasi selengkapnya tentang pengumpulan log setelah mengaktifkan Simple Log Service, lihat Ikhtisar pengumpulan data.
-
Ingest Processor menggunakan SPL untuk memproses data. Untuk informasi selengkapnya tentang sintaks SPL, lihat Sintaks SPL.