Simple Log Service:Kumpulkan log teks dari server

Prosedur:

1. Di halaman Logstores, klik ikon sebelum nama penyimpanan log target untuk memperluasnya.

2. Klik ikon di sebelah Data Collection, dan di kotak dialog Quick Data Import, pilih templat pengumpulan log teks (seperti Single Line - Text Log) dan klik Integrate Now.

   Semua templat pengumpulan log teks hanya berbeda dalam plugin penguraiannya. Proses konfigurasi sisanya sama dan dapat dimodifikasi nanti.

3. Di halaman Machine Group Configurations, konfigurasikan parameter berikut:

   • Scenario: Servers

   • Installation Environment: ECS

   • Pilih Kelompok Mesin: Berdasarkan status instalasi LoongCollector dan konfigurasi kelompok mesin server target, pilih operasi yang sesuai:

     • Jika LoongCollector sudah diinstal dan telah ditambahkan ke kelompok mesin, pilih kelompok mesin dari daftar Source Machine Group dan tambahkan ke Applied Server Groups. Anda tidak perlu membuat yang baru.

     • Jika LoongCollector belum diinstal, klik Create Machine Group:

       Langkah-langkah berikut memandu Anda melalui instalasi otomatis satu-klik LoongCollector dan pembuatan kelompok mesin.

       1. Sistem secara otomatis mencantumkan instance ECS di wilayah yang sama dengan proyek. Pilih satu atau beberapa instance dari mana Anda ingin mengumpulkan log.

       2. Klik Install and Create Machine Group. Sistem secara otomatis menginstal LoongCollector pada instance ECS yang dipilih.

       3. Konfigurasikan Name kelompok mesin dan klik OK.

       Catatan

       Jika instalasi gagal atau tetap dalam status menunggu, periksa apakah wilayah ECS sama dengan wilayah proyek.

     • Untuk menambahkan server yang sudah memiliki LoongCollector terinstal ke kelompok mesin yang sudah ada, lihat FAQ Bagaimana cara menambahkan server ke kelompok mesin yang sudah ada?

4. Periksa status heartbeat: Klik Next. Bagian Machine Group Heartbeat muncul. Periksa status Heartbeat. Jika statusnya OK, koneksi kelompok mesin normal. Klik Next untuk membuka halaman konfigurasi Logtail.

   Jika statusnya FAIL, mungkin diperlukan waktu untuk membangun heartbeat awal. Tunggu sekitar dua menit lalu refresh status heartbeat. Jika masih FAIL setelah direfresh, lihat Heartbeat kelompok mesin adalah FAIL untuk troubleshooting lebih lanjut.

Global Configurations:

• Configuration Name: Nama kustom untuk konfigurasi pengumpulan. Nama ini harus unik dalam proyek dan tidak dapat diubah setelah dibuat. Konvensi penamaan:

  • Hanya boleh berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_).

  • Harus dimulai dan diakhiri dengan huruf kecil atau angka.

Input Configurations:

• Type: Text Log Collection.

• File Path: Jalur pengumpulan log.

  • Linux: Jalur harus dimulai dengan garis miring (/). Misalnya, /data/mylogs/**/*.log menunjukkan semua file dengan ekstensi .log di direktori /data/mylogs dan subdirektorinya.

  • Windows: Jalur harus dimulai dengan huruf drive. Misalnya, C:\Program Files\Intel\**\*.Log.

• Maximum Directory Monitoring Depth: Kedalaman maksimum direktori yang dicocokkan oleh karakter wildcard ** di File Path. Nilai default adalah 0, yang berarti hanya direktori saat ini yang dipantau.

Kasus penggunaan 2: Log terstruktur

192.168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36"

body_bytes_sent: 368
http_referer: -
http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.x.x Safari/537.36
remote_addr:192.168.*.*
remote_user: -
request_length: 514
request_method: GET
request_time: 0.000
request_uri: /nginx-logo.png
status: 200
time_local: 15/Apr/2025:16:40:00

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration

1. Tambahkan plugin penguraian: Klik Add Processor dan konfigurasikan plugin seperti penguraian ekspresi reguler, penguraian pemisah, atau penguraian JSON berdasarkan format aktual. Contoh ini menggunakan pengumpulan log NGINX dan memilih Native Processor > Data Parsing (NGINX Mode).

2. NGINX Log Configuration: Salin definisi log_format dari file konfigurasi server NGINX (nginx.conf) dan tempelkan ke kotak teks ini.

   Contoh:

   log_format main  '$remote_addr - $remote_user [$time_local] "$request" ''$request_time $request_length ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent"';

   Penting

   Definisi format di sini harus persis sama dengan format yang menghasilkan log di server. Jika tidak, penguraian log akan gagal.

3. Deskripsi parameter konfigurasi umum: Parameter berikut muncul di beberapa plugin penguraian data dan memiliki fungsi serta penggunaan yang terpadu.

   • Original Field: Menentukan nama field sumber yang akan diurai. Default-nya adalah content, yaitu seluruh entri log yang dikumpulkan.

   • Retain Original Field if Parsing Fails: Aktifkan opsi ini untuk mempertahankan konten log asli di field sumber yang ditentukan ketika penguraian gagal, misalnya karena ketidakcocokan format.

   • Retain Original Field if Parsing Succeeds: Jika Anda memilih ini, konten log asli dipertahankan bahkan jika log berhasil diurai.

Prosedur: Global Configurations > Other Global Configurations > Log Topic Type: Pilih metode untuk menghasilkan topik. Tiga jenis berikut didukung:

• Machine Group Topic: Ketika konfigurasi pengumpulan diterapkan ke beberapa kelompok mesin, LoongCollector secara otomatis menggunakan nama kelompok mesin server sebagai field __topic__ untuk diunggah. Ini cocok untuk kasus penggunaan di mana log dibagi berdasarkan host.

• Custom: Menggunakan format customized://<custom_topic_name>, seperti customized://app-login. Format ini cocok untuk kasus penggunaan topik statis dengan pengidentifikasi bisnis tetap.

• File Path Extraction: Ekstrak informasi kunci dari jalur lengkap file log untuk menandai sumber log secara dinamis. Ini cocok untuk situasi di mana beberapa pengguna atau aplikasi berbagi nama file log yang sama tetapi memiliki jalur berbeda. Misalnya, ketika beberapa pengguna atau layanan menulis log ke direktori tingkat atas yang berbeda tetapi sub-jalur dan nama file-nya identik, sumber tidak dapat dibedakan hanya berdasarkan nama file:

  /data/logs
  ├── userA
  │   └── serviceA
  │       └── service.log
  ├── userB
  │   └── serviceA
  │       └── service.log
  └── userC
      └── serviceA
          └── service.log

  Konfigurasikan File Path Extraction dan gunakan ekspresi reguler untuk mengekstrak informasi kunci dari jalur lengkap. Hasil yang cocok kemudian diunggah ke penyimpanan log sebagai topik.

  Aturan ekstraksi jalur file: Berdasarkan grup penangkapan ekspresi reguler

  Saat Anda mengonfigurasi ekspresi reguler, sistem secara otomatis menentukan format field output berdasarkan jumlah dan penamaan grup penangkapan. Aturannya sebagai berikut:

  Dalam ekspresi reguler untuk jalur file, Anda harus meng-escape garis miring (/).

  Tipe grup penangkap	Kasus penggunaan	Field yang dihasilkan	Contoh Regex	Contoh jalur yang cocok	Contoh field yang dihasilkan
  Grup penangkapan tunggal (hanya satu (.*?))	Hanya diperlukan satu dimensi untuk membedakan sumber (seperti username atau lingkungan)	Menghasilkan field __topic__	\/logs\/(.*?)\/app\.log	/logs/userA/app.log	__topic__: userA
  Beberapa grup penangkapan - tidak bernama (beberapa (.*?))	Diperlukan beberapa dimensi untuk membedakan sumber, tetapi tidak memerlukan tag semantik	Menghasilkan field tag __tag__:__topic_{i}__, di mana {i} adalah nomor urut grup penangkapan	\/logs\/(.*?)\/(.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:__topic_1__userA __tag__:__topic_2__svcA
  Beberapa grup penangkapan - bernama (menggunakan (?P<name>.*？)	Diperlukan beberapa dimensi untuk membedakan sumber, dan makna field harus jelas untuk memudahkan kueri dan analisis	Menghasilkan field tag __tag__:{name}	\/logs\/(?P<user>.*?)\/(?P<service>.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:user:userA; __tag__:service:svcA

Secara default, semua log dikirim ke penyimpanan log saat ini dengan kompresi lz4. Untuk mengirim log dari sumber yang sama ke penyimpanan log yang berbeda, ikuti langkah-langkah di bawah ini:

Secara default, untuk menghindari duplikasi data, SLS membatasi file log teks agar tidak dikumpulkan oleh lebih dari satu konfigurasi Logtail. Untuk mengizinkan file log yang sama dikumpulkan oleh beberapa konfigurasi pengumpulan secara bersamaan, Anda harus mengaktifkan fitur yang mengizinkan file dikumpulkan beberapa kali secara manual.

Prosedur:

1. Masuk ke Konsol Simple Log Service dan buka proyek target.

2. Di panel navigasi sebelah kiri, pilih Logstores dan temukan penyimpanan log target.

3. Klik ikon sebelum namanya untuk memperluas penyimpanan log.

4. Klik Logtail Configuration. Di daftar konfigurasi, temukan konfigurasi Logtail target dan klik Manage Logtail Configuration di kolom Actions.

5. Di halaman konfigurasi Logtail, klik Edit:

   • Di Input Configurations > Other Input Configurations, aktifkan Allow File to Be Collected for Multiple Times.

6. Setelah konfigurasi selesai, klik Save.

Ekstrak field log menggunakan ekspresi reguler dan uraikan log menjadi pasangan kunci-nilai. Setiap field dapat dikueri dan dianalisis secara independen.

127.0.0.1 - - [16/Aug/2024:14:37:52 +0800] "GET /wp-admin/admin-ajax.php?action=rest-nonce HTTP/1.1" 200 41 "http://www.example.com/wp-admin/post-new.php?post_type=page" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"

body_bytes_sent: 41
http_referer: http://www.example.com/wp-admin/post-new.php?post_type=page
http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; ×64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0
remote_addr: 127.0.0.1
remote_user: -
request_method: GET
request_protocol: HTTP/1.1
request_uri: /wp-admin/admin-ajax.php?action=rest-nonce
status: 200
time_local: 16/Aug/2024:14:37:52 +0800

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Data Parsing (Regex Mode):

• Regular Expression: Ekspresi yang digunakan untuk mencocokkan log. Hasilkan secara otomatis atau masukkan secara manual:

  • Generasi otomatis:

    • Klik Generate.

    • Di Log Sample, pilih konten log untuk diekstrak.

    • Klik Generate Regular Expression.

      

  • Masukan manual: Manually Enter Regular Expression berdasarkan format log.

  Setelah konfigurasi, klik Validate untuk menguji apakah ekspresi reguler dapat mengurai konten log dengan benar.

• Extracted Field: Nama field (Key) yang sesuai dengan konten log yang diekstrak (Value).

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Kasus penggunaan 2: Log terstruktur.

Struktur konten log menggunakan pemisah untuk menguraikannya menjadi beberapa pasangan kunci-nilai. Baik pemisah karakter tunggal maupun multi-karakter didukung.

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Data Parsing (Delimiter Mode):

• Delimiter: Menentukan karakter yang digunakan untuk membagi konten log.

  Contoh: Untuk file CSV, pilih Custom dan masukkan koma (,).

• Quote: Jika nilai field berisi pemisah, Anda harus membungkus nilai field tersebut dalam tanda kutip untuk mencegah pembagian yang salah.

• Extracted Field: Tentukan nama field (Key) untuk setiap kolom sesuai urutan kemunculannya. Aturannya sebagai berikut:

  • Nama field hanya boleh berisi huruf, angka, dan garis bawah (_).

  • Harus dimulai dengan huruf atau garis bawah (_).

  • Panjang maksimum: 128 byte.

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Kasus penggunaan 2: Log terstruktur.

Struktur log JSON bertipe Objek dengan menguraikannya menjadi pasangan kunci-nilai.

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Data Parsing (JSON Mode):

• Original Field: Field yang berisi log mentah untuk diurai. Nilai default adalah content.

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Kasus penggunaan 2: Log terstruktur.

Uraikan log JSON bersarang menjadi pasangan kunci-nilai dengan menentukan kedalaman ekspansi.

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Extended Processor > Expand JSON Field:

• Original Field: Menentukan nama field sumber untuk diekspansi, seperti content.

• JSON Expansion Depth: Kedalaman ekspansi objek JSON, di mana 0 (default) menunjukkan ekspansi penuh, 1 menunjukkan ekspansi tingkat saat ini, dan seterusnya.

• Character to Concatenate Expanded Keys: Pemisah untuk nama field saat objek JSON diekspansi. Nilai default adalah garis bawah (_).

• Name Prefix of Expanded Keys: Awalan untuk nama field setelah ekspansi JSON.

• Expand Array: Ekspansi array menjadi pasangan kunci-nilai dengan indeks.

  Contoh: {"k":["a","b"]} diekspansi menjadi {"k[0]":"a","k[1]":"b"}.

  Untuk mengganti nama field yang diekspansi (misalnya, dari prefix_s_key_k1 menjadi new_field_name), tambahkan rename fields plugin setelahnya untuk menyelesaikan pemetaan.

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Kasus penggunaan 2: Log terstruktur.

Gunakan fungsi json_extract untuk mengekstrak objek JSON dari array JSON.

Contoh:

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, alihkan Processing Mode ke SPL, konfigurasikan Pernyataan SPL, dan gunakan fungsi json_extract untuk mengekstrak objek JSON dari array JSON.

Contoh: Ekstrak elemen dari array JSON di field log content dan simpan hasilnya di field baru json1 dan json2.

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

Struktur konten log menjadi beberapa pasangan kunci-nilai berdasarkan definisi dalam file konfigurasi log Apache.

1 192.168.1.10 - - [08/May/2024:15:30:28 +0800] "GET /index.html HTTP/1.1" 200 1234 "https://www.example.com/referrer" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36"

http_referer:https://www.example.com/referrer
http_user_agent:Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/123.0.X.X Safari/537.36
remote_addr:192.168.1.10
remote_ident:-
remote_user:-
request_method:GET
request_protocol:HTTP/1.1
request_uri:/index.html
response_size_bytes:1234
status:200
time_local:[08/May/2024:15:30:28 +0800]

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Data Parsing (Apache Mode):

• Log Format adalah combined.

• APACHE LogFormat Configuration diisi secara otomatis berdasarkan Log Format.

  Penting

  Pastikan untuk memverifikasi konten yang diisi otomatis untuk memastikan persis sama dengan LogFormat yang didefinisikan dalam file konfigurasi server Apache Anda (biasanya terletak di /etc/apache2/apache2.conf).

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Kasus penggunaan 2: Log terstruktur.

Struktur konten log menjadi beberapa pasangan kunci-nilai berdasarkan definisi format log IIS.

Contoh perbandingan:

#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken

c-ip: cs-username
cs-bytes: sc-substatus
cs-method: cs-method
cs-uri-query: cs-uri-query
cs-uri-stem: cs-uri-stem
cs-username: s-port
date: #Fields:
s-computername: s-sitename
s-ip: s-ip
s-sitename: time
sc-bytes: sc-status
sc-status: c-ip
sc-win32-status: cs (User-Agent)
time: date
time-taken: sc-win32-status

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Data Parsing (IIS Mode):

• Log Format: Pilih format log untuk server IIS Anda.

  • IIS: Format file log untuk Microsoft Internet Information Services.

  • NCSA: Common Log Format.

  • W3C mengacu pada W3C Extended Log File Format.

• IIS Configuration Fields: Saat Anda memilih IIS atau NCSA, SLS menggunakan field konfigurasi IIS default. Saat Anda memilih W3C, Anda harus mengatur field ke nilai parameter logExtFileFlags dalam file konfigurasi IIS Anda. Misalnya:

  logExtFileFlags="Date, Time, ClientIP, UserName, SiteName, ComputerName, ServerIP, Method, UriStem, UriQuery, HttpStatus, Win32Status, BytesSent, BytesRecv, TimeTaken, ServerPort, UserAgent, Cookie, Referer, ProtocolVersion, Host, HttpSubStatus"

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Kasus penggunaan 2: Log terstruktur.

Sembunyikan data sensitif dalam log.

Contoh:

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Data Masking:

• Original Field: Field yang berisi konten log sebelum penguraian.

• Data Masking Method:

  • const: Mengganti konten sensitif dengan string konstan.

  • md5: Mengganti konten sensitif dengan hash MD5-nya.

• Replacement String: Jika Data Masking Method diatur ke const, masukkan string untuk mengganti konten sensitif.

• Content Expression that Precedes Replaced Content: Ekspresi yang digunakan untuk menemukan konten sensitif, yang dikonfigurasi menggunakan sintaks RE2.

• Content Expression to Match Replaced Content: Ekspresi reguler yang digunakan untuk mencocokkan konten sensitif. Ekspresi harus ditulis dalam sintaks RE2.

Uraikan field waktu dalam log dan atur hasil penguraian sebagai field __time__ log.

Contoh:

{"level":"INFO","timestamp":"2025-09-23T19:11:47+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Time Parsing:

• Original Field: Field yang berisi konten log sebelum penguraian.

• Time Format: Atur format waktu yang sesuai dengan timestamp dalam log.

• Time Zone: Pilih zona waktu untuk field waktu log. Secara default, ini adalah zona waktu lingkungan tempat proses LoongCollector (Logtail) berjalan.