Simple Log Service：Kumpulkan log teks host dalam operasi satu kali

Prosedur:

1. Pada halaman Logstores, klik di sebelah kiri nama Logstore target untuk memperluasnya.

2. Klik Data Ingestion > Logtail Configuration. Pada tab One-time Logtail Configurations, klik Add Logtail Configuration.

3. Pada dialog Quick Data Import, klik Import Data pada kartu One-time File Collection - Host.

4. Pada halaman Machine Group Configuration, konfigurasikan parameter berikut:

   • Scenario: Host

   • Installation Environment: ECS

   • Konfigurasikan Kelompok Mesin: Berdasarkan status instalasi LoongCollector dan konfigurasi kelompok mesin pada server target, lakukan salah satu operasi berikut:

     • Jika LoongCollector telah diinstal dan ditambahkan ke kelompok mesin, pilih dari daftar Source Machine Group dan tambahkan ke daftar Applied Machine Groups. Anda tidak perlu membuatnya lagi.

     • Jika LoongCollector belum diinstal, klik Create Machine Group:

       Langkah-langkah berikut memandu Anda melalui proses instalasi otomatis LoongCollector dan pembuatan kelompok mesin.

       1. Sistem secara otomatis mencantumkan Instance ECS di wilayah yang sama dengan Project. Pilih satu atau beberapa instance dari mana Anda ingin mengumpulkan log.

       2. Klik Install and Create as Machine Group. Sistem secara otomatis menginstal LoongCollector pada Instance ECS yang dipilih.

       3. Konfigurasikan Name untuk kelompok mesin dan klik OK.

       Catatan

       Jika instalasi gagal atau tetap dalam status menunggu, periksa apakah wilayah ECS sama dengan wilayah Project.

     • Untuk menambahkan server yang telah menginstal LoongCollector ke kelompok mesin yang sudah ada, lihat Bagaimana cara menambahkan server ke kelompok mesin yang sudah ada?

5. Periksa Status Detak Jantung: Klik Next. Bagian Machine Group Heartbeat Status muncul. Periksa status Heartbeat. Jika statusnya OK, koneksi kelompok mesin normal. Klik Next untuk menuju halaman konfigurasi Logtail.

   Jika statusnya FAIL, mungkin diperlukan waktu hingga dua menit agar detak jantung awal terbentuk. Tunggu sekitar dua menit lalu refresh status detak jantung. Jika status masih FAIL setelah merefresh halaman, lihat Detak jantung kelompok mesin adalah FAIL untuk informasi troubleshooting.

Global Configurations:

• Configuration Name: Nama kustom untuk konfigurasi pengumpulan. Harus unik dalam Project-nya dan tidak dapat diubah setelah pembuatan. Konvensi penamaan:

  • Hanya boleh berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_).

  • Harus dimulai dan diakhiri dengan huruf kecil atau angka.

• Execution Timeout: Nilai default adalah 600 detik (10 menit). Rentangnya antara 600 hingga 604.800 detik (10 menit hingga 7 hari). Jika pengumpulan tidak selesai dalam waktu ini, tugas akan berhenti secara otomatis dan tidak mengumpulkan bagian yang tersisa.

  Penting

  Catatan tentang pengiriman konfigurasi: Periode validitas konfigurasi diatur ulang saat Anda memperbaruinya. Untuk menghindari pengiriman ganda atau pelaporan data yang tidak diinginkan, pastikan cakupan kelompok mesin akurat dan waktu eksekusi tugas terakhir belum melebihi Execution Timeout.

• Force Rerun on Update: Dinonaktifkan secara default.

  • Nonaktif:

    • Saat Anda memperbarui parameter konfigurasi pengumpulan selain Execution Timeout atau Input Configurations, sistem melanjutkan progres pengumpulan saat ini. Tugas pengumpulan tidak dimulai ulang, sehingga menjaga kontinuitas pengumpulan.

    • Jika Anda mengubah Execution Timeout atau Input Configurations, sistem akan memulai ulang tugas pengumpulan.

  • Aktif: Memaksa tugas pengumpulan dimulai ulang saat Anda memperbarui konfigurasi pengumpulan. Ini memastikan semua pemrosesan dan pelaporan data sesuai dengan perubahan terbaru. Catatan: Data yang dikumpulkan sebelum pembaruan tidak dihapus. Untuk menghapusnya, lihat Penghapusan lunak Simple Log Service.

Input Configurations:

• Type: One-time File Collection (available for LoongCollector 3.3 and later).

• File Path: Jalur untuk pengumpulan log.

  Catatan

  Daftar file untuk pengumpulan satu kali dan ukuran tiap file ditentukan saat LoongCollector menarik konfigurasi. File baru atau konten yang ditambahkan ke file yang sudah ada tidak dikumpulkan.

  • Linux: Dimulai dengan "/", misalnya /data/mylogs/**/*.log, yang menunjukkan semua file dengan ekstensi .log di direktori /data/mylogs dan subdirektorinya.

  • Windows: Dimulai dengan huruf drive, misalnya C:\Program Files\Intel\**\*.Log.

• Maximum Directory Monitoring Depth: Kedalaman direktori maksimum yang dapat dicocokkan oleh karakter wildcard ** dalam File Path. Nilai default adalah 0, yang berarti hanya direktori saat ini yang dipantau.

Skenario 2: Log terstruktur

192.168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36"

body_bytes_sent: 368
http_referer: -
http_user_agent : Mozi11a/5.0 (Nindows NT 10.0; Win64; x64) AppleMebKit/537.36 (KHTML, like Gecko) Chrome/131.0.x.x Safari/537.36
remote_addr:192.168.*.*
remote_user: -
request_length: 514
request_method: GET
request_time: 0.000
request_uri: /nginx-logo.png
status: 200
time_local: 15/Apr/2025:16:40:00

Prosedur: Pada area Processing Configurations di halaman Logtail Configuration:

1. Tambahkan Plugin Parsing: Klik Add Processing Plugin dan konfigurasikan plugin seperti parsing regex, parsing pemisah, atau parsing JSON berdasarkan format aktual. Contoh ini menggunakan pengumpulan log NGINX. Pilih Native Processing Plugins > NGINX Mode Parsing.

2. NGINX Log Configuration: Salin sepenuhnya definisi log_format dari file konfigurasi server Nginx (nginx.conf) dan tempelkan ke kotak teks ini.

   Contoh:

   log_format main  '$remote_addr - $remote_user [$time_local] "$request" ''$request_time $request_length ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent"';

   Penting

   Definisi format di sini harus persis sama dengan format yang menghasilkan log di server. Jika tidak, parsing log akan gagal.

3. Parameter konfigurasi umum: Parameter berikut muncul di berbagai plugin parsing data, dan fungsinya konsisten.

   • Source Field: Menentukan nama field sumber yang akan diurai. Nilai default adalah content, yaitu seluruh konten log yang dikumpulkan.

   • Keep Source Field on Failure: Direkomendasikan. Jika log tidak dapat diurai dengan sukses oleh plugin (misalnya karena ketidakcocokan format), opsi ini memastikan konten log asli tidak hilang tetapi tetap disimpan sepenuhnya di field sumber yang ditentukan.

   • Keep Source Field on Success: Jika dipilih, konten log asli akan tetap disimpan meskipun log berhasil diurai.

Prosedur: Di Global Configurations > Other Global Configurations > Topic Generation Mode, pilih metode pembuatan topik. Tiga jenis berikut didukung:

• Machine Group Topic: Saat konfigurasi pengumpulan diterapkan ke beberapa kelompok mesin, LoongCollector secara otomatis menggunakan nama kelompok mesin tempat server tersebut berada sebagai nilai untuk field __topic__. Cocok untuk skenario di mana log dibagi berdasarkan host.

• Custom: Formatnya adalah customized://<custom_topic_name>, misalnya customized://app-login. Cocok untuk skenario topik statis dengan pengenal bisnis tetap.

• Extract from File Path: Mengekstraksi informasi kunci dari jalur lengkap file log untuk menandai sumber log secara dinamis. Cocok untuk situasi di mana beberapa pengguna atau aplikasi berbagi nama file log yang sama tetapi memiliki jalur berbeda. Saat beberapa pengguna atau layanan menulis log ke direktori tingkat atas yang berbeda, tetapi sub-jalur dan nama filenya sama, sumber tidak dapat dibedakan hanya berdasarkan nama file. Misalnya:

  /data/logs
  ├── userA
  │   └── serviceA
  │       └── service.log
  ├── userB
  │   └── serviceA
  │       └── service.log
  └── userC
      └── serviceA
          └── service.log

  Dalam kasus ini, Anda dapat mengonfigurasi Extract from File Path dan menggunakan ekspresi reguler untuk mengekstraksi informasi kunci dari jalur lengkap. Hasil yang cocok kemudian digunakan sebagai topik dan diunggah ke Logstore.

  Aturan ekstraksi jalur file: Berdasarkan grup penangkapan ekspresi reguler

  Saat mengonfigurasi ekspresi reguler, sistem secara otomatis menentukan format field output berdasarkan jumlah dan penamaan grup penangkapan. Aturannya sebagai berikut:

  Dalam ekspresi reguler untuk jalur file, Anda perlu melakukan escape terhadap garis miring (/).

  Jenis Grup Penangkap	Skenario	Bidang yang Dihasilkan	Contoh Regex	Jalur yang Cocok	Contoh Bidang yang Dihasilkan
  Grup penangkapan tunggal (hanya satu (.*?))	Hanya satu dimensi yang diperlukan untuk membedakan sumber (seperti username atau lingkungan)	Menghasilkan field __topic__	\/logs\/(.*?)\/app\.log	/logs/userA/app.log	__topic__:userA
  Beberapa grup penangkapan tak bernama (beberapa (.*?))	Beberapa dimensi diperlukan untuk membedakan sumber, tetapi label semantik tidak diperlukan	Menghasilkan field tag __tag__:__topic_{i}__, di mana {i} adalah nomor urut grup penangkapan	\/logs\/(.*?)\/(.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:__topic_1__userA; __tag__:__topic_2__svcA
  Beberapa grup penangkapan bernama (menggunakan (?P<name>.*?))	Beberapa dimensi diperlukan untuk membedakan sumber, dan Anda ingin makna field jelas untuk memudahkan kueri dan analisis	Menghasilkan field tag __tag__:{name}	\/logs\/(?P<user>.*?)\/(?P<service>.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:user:userA; __tag__:service:svcA

Bagaimana cara menambahkan server ke kelompok mesin yang sudah ada?

Saat Anda memiliki kelompok mesin yang sudah ada dan ingin menambahkan server baru—seperti Instance ECS yang baru dideploy atau server yang dikelola sendiri—ke dalamnya agar mewarisi konfigurasi pengumpulannya, Anda dapat mengikuti langkah-langkah berikut.

Prasyarat:

• Kelompok mesin yang sudah dikonfigurasi sudah ada.

• LoongCollector telah diinstal di server baru.

Prosedur:

1. Lihat ID kelompok mesin target:

   1. Di halaman Project target, klik Resource > Machine Groups di panel navigasi kiri.

   2. Di halaman Machine Groups, klik nama kelompok mesin target.

   3. Di halaman konfigurasi kelompok mesin, lihat ID kelompok mesin tersebut.

2. Lakukan operasi yang sesuai berdasarkan jenis ID:

   Catatan

   Satu kelompok mesin tidak dapat berisi server Linux dan Windows sekaligus. Jangan mengonfigurasi ID kustom yang sama di server Linux dan Windows. Satu server dapat dikonfigurasi dengan beberapa ID kustom, dipisahkan dengan line feed.

   • Jenis 1: ID kelompok mesin adalah alamat IP

     1. Di server, jalankan perintah berikut untuk membuka file app_info.json dan lihat nilai ip.

        cat /usr/local/ilogtail/app_info.json

     2. Di halaman konfigurasi kelompok mesin target, klik Modify dan masukkan alamat IP server tersebut. Pisahkan beberapa alamat IP dengan line feed.

     3. Setelah konfigurasi selesai, klik Save dan konfirmasi status detak jantung. Setelah status detak jantung OK, server secara otomatis menerapkan konfigurasi pengumpulan kelompok mesin tersebut.

        Jika status detak jantung FAIL, lihat Detak jantung kelompok mesin adalah FAIL untuk troubleshooting lebih lanjut.

   • Jenis 2: ID kelompok mesin adalah ID kustom

     Bergantung pada sistem operasi, tuliskan string ID kustom yang konsisten dengan kelompok mesin target ke file yang ditentukan:

     Jika direktori tidak ada, buat secara manual. Jalur dan nama file ditetapkan oleh Simple Log Service dan tidak dapat dikustomisasi.

     • Linux: Tulis string kustom ke file /etc/ilogtail/user_defined_id.

     • Windows: Tulis string kustom ke C:\LogtailData\user_defined_id.

Ekstrak field log menggunakan ekspresi reguler dan uraikan log menjadi pasangan kunci-nilai. Setiap field dapat dikueri dan dianalisis secara independen.

127.0.0.1 - - [16/Aug/2024:14:37:52 +0800] "GET /wp-admin/admin-ajax.php?action=rest-nonce HTTP/1.1" 200 41 "http://www.example.com/wp-admin/post-new.php?post_type=page" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"

body_bytes_sent: 41
http_referer: http://www.example.com/wp-admin/post-new.php?post_type=page
http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; ×64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0
remote_addr: 127.0.0.1
remote_user: -
request_method: GET
request_protocol: HTTP/1.1
request_uri: /wp-admin/admin-ajax.php?action=rest-nonce
status: 200
time_local: 16/Aug/2024:14:37:52 +0800

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Data Parsing (Regex Mode):

• Regular Expression: Ekspresi yang digunakan untuk mencocokkan log. Hasilkan secara otomatis atau masukkan secara manual:

  • Generasi otomatis:

    • Klik Generate.

    • Di Log Sample, pilih konten log yang akan diekstraksi.

    • Klik Generate Regular Expression.

      

  • Masukan manual: Manually Enter Regular Expression berdasarkan format log.

  Setelah konfigurasi, klik Validate untuk menguji apakah ekspresi reguler dapat mengurai konten log dengan benar.

• Extracted Field: Nama field (Key) yang sesuai dengan konten log yang diekstraksi (Value).

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Use case 2: Structured logs.

Strukturisasi konten log menggunakan pemisah untuk mengurai menjadi beberapa pasangan kunci-nilai. Mendukung pemisah karakter tunggal maupun multi-karakter.

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Data Parsing (Delimiter Mode):

• Delimiter: Menentukan karakter yang digunakan untuk memisah konten log.

  Contoh: Untuk file CSV, pilih Custom dan masukkan koma (,).

• Quote: Jika nilai field berisi pemisah, Anda harus membungkus nilai field tersebut dalam tanda kutip untuk mencegah pemisahan yang salah.

• Extracted Field: Tentukan nama field (Key) untuk setiap kolom sesuai urutannya. Aturannya sebagai berikut:

  • Nama field hanya boleh berisi huruf, angka, dan garis bawah (_).

  • Harus dimulai dengan huruf atau garis bawah (_).

  • Panjang maksimum: 128 byte.

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Use case 2: Structured logs.

Strukturisasi log JSON bertipe Object dengan mengurai menjadi pasangan kunci-nilai.

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Data Parsing (JSON Mode):

• Original Field: Bidang yang berisi log mentah untuk diurai. Nilai default-nya adalah content.

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Use case 2: Structured logs.

Uraikan log JSON bersarang menjadi pasangan kunci-nilai dengan menentukan kedalaman ekspansi.

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Extended Processor > Expand JSON Field:

• Original Field: Menentukan nama field sumber yang akan diekspansi, seperti content.

• JSON Expansion Depth: Kedalaman ekspansi objek JSON, di mana 0 (default) menunjukkan ekspansi penuh, 1 menunjukkan ekspansi tingkat saat ini, dan seterusnya.

• Character to Concatenate Expanded Keys: Pemisah untuk nama field saat objek JSON diekspansi. Nilai default adalah garis bawah (_).

• Name Prefix of Expanded Keys: Awalan untuk nama field setelah ekspansi JSON.

• Expand Array: Mengekspansi array menjadi pasangan kunci-nilai dengan indeks.

  Contoh: {"k":["a","b"]} diekspansi menjadi {"k[0]":"a","k[1]":"b"}.

  Untuk mengganti nama field yang diekspansi (misalnya dari prefix_s_key_k1 menjadi new_field_name), tambahkan rename fields plugin setelahnya untuk menyelesaikan pemetaan.

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Use case 2: Structured logs.

Gunakan json_extract fungsi untuk mengekstrak objek JSON dari array JSON.

Contoh:

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, ubah Processing Mode menjadi SPL, konfigurasikan Pernyataan SPL, dan gunakan fungsi json_extract untuk mengekstraksi objek JSON dari array JSON.

Contoh: Ekstrak elemen dari array JSON di field log content dan simpan hasilnya di field baru json1 dan json2.

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken

c-ip: cs-username
cs-bytes: sc-substatus
cs-method: cs-method
cs-uri-query: cs-uri-query
cs-uri-stem: cs-uri-stem
cs-username: s-port
date: #Fields:
s-computername: s-sitename
s-ip: s-ip
s-sitename: time
sc-bytes: sc-status
sc-status: c-ip
sc-win32-status: cs (User-Agent)
time: date
time-taken: sc-win32-status

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Skenario 2: Log terstruktur.

Penyembunyian data

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

Uraikan field waktu dalam log dan tetapkan hasil parsing sebagai field __time__ log tersebut.

Contoh:

{"level":"INFO","timestamp":"2025-09-23T19:11:47+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Time Parsing:

• Original Field: Field yang berisi konten log sebelum parsing.

• Time Format: Tetapkan format waktu yang sesuai dengan timestamp dalam log.

• Time Zone: Pilih zona waktu untuk field waktu log. Secara default, ini adalah zona waktu lingkungan tempat proses LoongCollector (Logtail) berjalan.