Konfigurasi Logtail untuk mengumpulkan log teks NGINX dalam mode konfigurasi NGINX - Simple Log Service

Log NGINX mencatat informasi penting yang dapat digunakan untuk operasi dan pemeliharaan situs web. Simple Log Service memungkinkan Anda mengumpulkan log NGINX dalam mode konfigurasi NGINX serta menganalisis log dari berbagai dimensi. Anda dapat membuat konfigurasi Logtail untuk mengumpulkan log. Topik ini menjelaskan cara membuat konfigurasi Logtail dalam mode konfigurasi NGINX di konsol Simple Log Service.

Ikhtisar solusi

Dalam mode konfigurasi NGINX, Logtail menyusun isi log berdasarkan format log yang ditentukan oleh parameter log_format. Sebelum mengumpulkan log akses NGINX, Anda harus mengonfigurasi parameter log_format dan access_log di file /etc/nginx/nginx.conf. Parameter log_format menentukan format log, sedangkan parameter access_log menentukan jalur penyimpanan file log NGINX.

Format log dan jalur penyimpanan:

Contoh berikut menggunakan nilai default untuk parameter log_format dan access_log:

log_format main  '$remote_addr - $remote_user [$time_local] "$request" '
                 '$request_time $request_length '
                 '$status $body_bytes_sent "$http_referer" '
                 '"$http_user_agent"';

access_log  /var/log/nginx/access.log  main;

Tabel berikut menjelaskan field log:

Field	Deskripsi
remote_addr	Alamat IP klien.
remote_user	Nama pengguna yang digunakan oleh klien untuk mengirim permintaan.
time_local	Waktu sistem server. Nilai harus diberi tanda kurung siku [].
request	URI dan protokol HTTP dari permintaan.
request_time	Waktu yang diperlukan untuk memproses permintaan. Satuan: detik.
request_length	Panjang permintaan. Baris permintaan, header permintaan, dan badan permintaan semuanya dihitung.
status	Status permintaan.
body_bytes_sent	Jumlah byte dalam respons yang dikirim ke klien. Header respons tidak dihitung.
http_referer	URL halaman web sumber.
http_user_agent	Informasi browser klien.

Log mentah:

Log yang dihasilkan oleh NGINX berdasarkan format log yang ditentukan oleh parameter log_format:

192.168.1.1 - - [11/Dec/2024:11:21:03 +0800] "GET /nginx-logo.png HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.0.0 Safari/537.36"

Log yang dikumpulkan ke Layanan Log Sederhana Logstore:

Prasyarat

Grup mesin telah dibuat, dan server telah ditambahkan ke grup mesin. Untuk informasi lebih lanjut, lihat Buat grup mesin berbasis pengenal kustom dan Buat grup mesin berbasis alamat IP.
Server Anda dapat terhubung ke port 80 dan port 443 server jarak jauh untuk memastikan bahwa Logtail dapat mengirim log ke Simple Log Service.
Server tempat Anda ingin mengumpulkan log secara terus-menerus menghasilkan log. Logtail hanya mengumpulkan log tambahan. Jika file log di server Anda tidak diperbarui setelah konfigurasi Logtail dikirimkan dan diterapkan ke server, Logtail tidak akan mengumpulkan log dari file tersebut. Untuk informasi lebih lanjut, lihat Proses pengumpulan.

Prosedur

Masuk ke konsol Simple Log Service.
Di bagian Proyek, klik proyek yang ingin Anda kelola.
Di tab Log Storage > Logstores, klik Logstore yang ingin Anda kelola.
Klik panah drop-down di sebelah kiri Logstore, lalu klik Logtail Configurations. Di halaman Konfigurasi Logtail, klik Add Logtail Configuration.
Di kotak dialog Quick Data Import, pilih Nginx - Text Logs > Integrate Now.
Di langkah Konfigurasi Grup Mesin wizard Impor Data, pilih grup mesin yang telah dibuat.
Di langkah Konfigurasi Logtail wizard Impor Data, konfigurasikan parameter berikut:
1. Configuration Name: Nama konfigurasi Logtail. Contoh: nginx-logs.
2. File Path: Jalur penyimpanan file log NGINX. Misalnya, jika Anda menentukan /var/log/nginx/**/access*, Simple Log Service mengumpulkan log dari file log NGINX yang namanya diawali dengan access di direktori /var/log/nginx dan subdirektori rekursif dari direktori tersebut.
3. Processor Configurations: Klik Data Parsing (NGINX Mode). Di kotak dialog Processor, konfigurasikan parameter Konfigurasi Log NGINX. Dalam kebanyakan kasus, nilai parameter Konfigurasi Log NGINX diawali dengan log_format. Simple Log Service secara otomatis mengekstrak field. Contoh:
```
log_format main  '$remote_addr - $remote_user [$time_local] "$request" '
                 '$request_time $request_length '
                 '$status $body_bytes_sent "$http_referer" '
                 '"$http_user_agent"';
```
4. Biarkan nilai default untuk parameter lainnya. Untuk informasi lebih lanjut, lihat Kumpulkan log teks dari server.
Di langkah Konfigurasi Kueri dan Analisis wizard Impor Data, klik Refresh untuk melihat pratinjau log yang dikumpulkan.
Klik Next untuk menutup wizard. Anda dapat mengklik Query Log. Lalu, Anda akan diarahkan ke halaman kueri dan analisis Logstore Anda. Anda harus menunggu sekitar 1 menit agar indeks berlaku. Setelah itu, Anda dapat melihat log yang dikumpulkan di tab Raw Logs. Untuk informasi lebih lanjut, lihat Panduan kueri dan analisis log.

Referensi

Simple Log Service menyediakan alat diagnostik otomatis Logtail untuk Server Linux. Anda dapat menggunakan alat ini untuk mengidentifikasi dan menyelesaikan masalah secara efisien. Untuk informasi lebih lanjut, lihat Bagaimana cara menggunakan alat diagnostik otomatis Logtail?
Jika halaman pratinjau kosong atau tidak ada data yang ditampilkan di halaman kueri saat Anda menggunakan Logtail untuk mengumpulkan log, Anda dapat memecahkan masalah dengan mengikuti petunjuk yang diberikan di Apa yang harus saya lakukan jika terjadi kesalahan saat saya menggunakan Logtail untuk mengumpulkan log?
Saat menggunakan Logtail untuk mengumpulkan log, kesalahan mungkin terjadi. Misalnya, penguraian data berbasis ekspresi reguler gagal, jalur file tidak valid, atau lalu lintas melebihi kemampuan pemrosesan shard. Anda dapat melihat kesalahan pengumpulan data berbasis Logtail dengan mengikuti petunjuk yang diberikan di Bagaimana cara melihat kesalahan pengumpulan Logtail? Untuk informasi lebih lanjut tentang kesalahan umum dalam pengumpulan data, lihat Bagaimana cara memecahkan masalah kesalahan umum yang mungkin terjadi saat Simple Log Service mengumpulkan log?
Secara default, Anda hanya dapat menggunakan satu konfigurasi Logtail untuk mengumpulkan log dari file log. Anda juga dapat menggunakan beberapa konfigurasi Logtail untuk mengumpulkan log dari file log. Untuk informasi lebih lanjut, lihat Bagaimana cara mengumpulkan beberapa salinan log dalam file?
Anda dapat mengumpulkan log dari server di intranet perusahaan ke Simple Log Service. Untuk informasi lebih lanjut, lihat Kumpulkan log dari server di intranet perusahaan.
Jika jalur penyimpanan ke log yang dihasilkan oleh server yang berbeda sama atau file log memiliki nama yang sama, dan Anda ingin membedakan log yang dihasilkan oleh server yang berbeda, Anda dapat mengikuti petunjuk yang diberikan di Topik Grup Mesin. Anda juga dapat membedakan log yang dihasilkan untuk pengguna atau instance yang berbeda. Untuk informasi lebih lanjut, lihat Ekstraksi Jalur File.
Anda dapat menganalisis, mendiagnosis, dan mengoptimalkan akses ke situs web. Anda juga dapat mengonfigurasi peringatan untuk log akses situs web. Untuk informasi lebih lanjut, lihat Kumpulkan dan analisis log akses NGINX.