Simple Log Service:Kumpulkan log teks host dalam satu operasi

Prosedur

1. Di halaman Logstores, klik di sebelah nama Logstore target untuk membukanya.

2. Klik Data Import > Logtail Configurations. Di tab One-time Logtail Configuration, klik Add Logtail Configuration.

3. Di kotak dialog Quick Data Import, klik Import Now pada kartu One-time File Collection - Host.

4. Di halaman Machine Group Configuration, konfigurasikan parameter berikut:

   • Use Case: Host Scenario

   • Installation Environment: ECS

   • Konfigurasi Machine Group: Tindakan selanjutnya tergantung pada apakah LoongCollector sudah diinstal dan machine group sudah ada.

     • Jika LoongCollector sudah diinstal dan ditambahkan ke machine group, pilih machine group dari daftar Source Machine Groups dan tambahkan ke daftar Applied Machine Groups. Tidak perlu membuat machine group baru.

     • Jika LoongCollector belum diinstal, klik Create Machine Group.

       Langkah-langkah ini memandu Anda melalui instalasi otomatis LoongCollector dan pembuatan machine group.

       1. Sistem secara otomatis mencantumkan Instance ECS yang berada dalam wilayah yang sama dengan Project Anda. Pilih satu atau beberapa instance dari mana Anda ingin mengumpulkan log.

       2. Klik Install and Create as Machine Group. Sistem secara otomatis menginstal LoongCollector pada Instance ECS yang dipilih.

       3. Masukkan Name untuk machine group dan klik OK.

       Catatan

       Jika instalasi gagal atau tetap dalam status pending, pastikan Instance ECS berada dalam wilayah yang sama dengan Project.

     • Untuk menambahkan server yang sudah memiliki LoongCollector terinstal ke machine group yang sudah ada, lihat topik FAQ How do I add a server to an existing machine group?

5. Periksa status heartbeat: Klik Next. Bagian Machine Group Heartbeat Status akan muncul. Pastikan status Heartbeat adalah OK, yang menunjukkan koneksi berhasil. Lalu, klik Next untuk melanjutkan ke konfigurasi Logtail.

   Jika statusnya FAIL, heartbeat awal mungkin memerlukan waktu beberapa saat untuk terbentuk. Tunggu sekitar dua menit, lalu refresh statusnya. Jika status tetap FAIL, lihat Machine group heartbeat connection fails untuk troubleshooting.

global configuration:

• Configuration name: Masukkan nama kustom untuk konfigurasi pengumpulan. Nama harus unik dalam Project dan tidak dapat diubah setelah dibuat. Aturan penamaan sebagai berikut:

  • Hanya boleh berisi huruf kecil, angka, tanda hubung (-), dan garis bawah (_).

  • Harus dimulai dan diakhiri dengan huruf kecil atau angka.

• Execution timeout: Default adalah 600 detik (10 menit), dan rentang validnya dari 600 hingga 604.800 detik (10 menit hingga 7 hari). Jika tugas melebihi batas waktu ini, sistem akan menghentikannya dan tidak mengumpulkan data yang tersisa.

  Penting

  Penting: Saat Anda memperbarui konfigurasi, periode efektifnya diatur ulang. Untuk menghindari tugas duplikat atau pelaporan data yang tidak diinginkan, pastikan cakupan machine group benar dan eksekusi tugas sebelumnya tidak melebihi execution timeout yang ditentukan.

• Force task rerun on update : Opsi ini dimatikan secara default.

  • Off:

    • Saat Anda memperbarui parameter pengumpulan selain execution timeout atau input configuration, sistem melanjutkan progres pengumpulan saat ini alih-alih memulai ulang tugas. Hal ini memastikan kelangsungan pengumpulan.

    • Jika Anda mengubah execution timeout atau input configuration, sistem menjalankan ulang tugas pengumpulan.

  • On: Saat Anda memperbarui konfigurasi pengumpulan, tugas pengumpulan dijalankan ulang dari awal. Hal ini memastikan semua data diproses dan dilaporkan menggunakan pengaturan baru. Catatan: Data yang telah dikumpulkan sebelumnya tidak dihapus. Untuk menghapus data yang telah dikumpulkan, lihat Log Service soft delete.

input configuration:

• Type: one-time file collection (available in LoongCollector 3.3 and later).

• File path: Jalur tempat log dikumpulkan.

  Catatan

  LoongCollector menentukan daftar file dan ukurannya untuk pengumpulan saat mengambil konfigurasi. LoongCollector tidak mengumpulkan file baru atau konten yang ditambahkan setelah titik ini.

  • Linux: Jalur harus dimulai dengan garis miring (/). Misalnya, /data/mylogs/**/*.log mengumpulkan semua file dengan ekstensi .log di semua subdirektori /data/mylogs.

  • Windows: Jalur harus dimulai dengan huruf drive. Misalnya, C:\Program Files\Intel\**\*.Log.

• Maximum directory monitoring depth: Kedalaman direktori maksimum yang dapat dicocokkan oleh wildcard ** dalam file path. Default adalah 0, yang berarti hanya memantau direktori saat ini.

Skenario 2: Memproses log terstruktur

192.168.*.* - - [15/Apr/2025:16:40:00 +0800] "GET /nginx-logo.png HTTP/1.1" 0.000 514 200 368 "-" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/131.0.*.* Safari/537.36"

body_bytes_sent: 368
http_referer: -
http_user_agent : Mozi11a/5.0 (Nindows NT 10.0; Win64; x64) AppleMebKit/537.36 (KHTML, like Gecko) Chrome/131.0.x.x Safari/537.36
remote_addr:192.168.*.*
remote_user: -
request_length: 514
request_method: GET
request_time: 0.000
request_uri: /nginx-logo.png
status: 200
time_local: 15/Apr/2025:16:40:00

Prosedur: Di bagian processor configuration pada halaman Logtail configuration:

1. Tambahkan prosesor: Klik Add Processing Plugin dan konfigurasikan prosesor regex, delimiter, atau JSON berdasarkan format log Anda. Contoh ini menggunakan log NGINX dan memilih native processor > NGINX-mode processor.

2. NGINX log configuration: Salin definisi lengkap log_format dari file konfigurasi server NGINX Anda (nginx.conf) dan tempelkan ke kotak teks.

   Contoh:

   log_format main  '$remote_addr - $remote_user [$time_local] "$request" ''$request_time $request_length ''$status $body_bytes_sent "$http_referer" ''"$http_user_agent"';

   Penting

   Definisi format di sini harus persis sama dengan format yang digunakan untuk menghasilkan log di server Anda. Jika tidak, penguraian akan gagal.

3. Parameter umum: Parameter berikut umum digunakan di berbagai prosesor data dan memiliki fungsi yang sama.

   • Source field: Menentukan field sumber yang akan diurai. Default adalah content, yang merujuk pada seluruh entri log yang dikumpulkan.

   • Keep source field on parse failure: Direkomendasikan. Jika prosesor gagal mengurai log (misalnya, karena ketidaksesuaian format), opsi ini mempertahankan konten log asli di field sumber yang ditentukan.

   • Keep source field on parse success: Jika dipilih, opsi ini mempertahankan konten log asli setelah penguraian berhasil.

Prosedur: Di bagian Global Configuration > Other Global Configurations > Log Topic Type, pilih cara menghasilkan topik. Anda dapat menggunakan salah satu dari tiga metode berikut:

• Machine group topic: Saat Anda menerapkan konfigurasi pengumpulan ke beberapa machine group, LoongCollector secara otomatis menggunakan nama machine group server sebagai nilai field __topic__. Ini berguna untuk skenario di mana Anda ingin mengkategorisasi log berdasarkan host.

• Custom: Gunakan format customized://<your-topic-name>, misalnya, customized://app-login. Metode ini cocok untuk topik statis dengan pengenal bisnis tetap.

• Ekstraksi berbasis jalur file: Mengekstraksi informasi kunci dari jalur lengkap file log untuk memberi tag sumber log secara dinamis. Ini berguna saat beberapa pengguna atau aplikasi berbagi nama file log yang sama tetapi berada di jalur berbeda. Misalnya, saat beberapa pengguna atau layanan menulis log ke direktori tingkat atas berbeda tetapi menggunakan subdirektori dan nama file yang sama, Anda tidak dapat membedakan sumber hanya berdasarkan nama file.

  /data/logs
  ├── userA
  │   └── serviceA
  │       └── service.log
  ├── userB
  │   └── serviceA
  │       └── service.log
  └── userC
      └── serviceA
          └── service.log

  Dalam kasus ini, Anda dapat mengonfigurasi ekstraksi berbasis jalur file dan menggunakan ekspresi reguler untuk mengekstraksi informasi kunci dari jalur lengkap. Log Service kemudian mengunggah hasil yang cocok ke Logstore sebagai topik log.

  Aturan ekstraksi berbasis jalur file: Berdasarkan grup tangkapan ekspresi reguler

  Saat Anda mengonfigurasi ekspresi reguler, sistem secara otomatis menentukan format field output berdasarkan jumlah dan nama grup tangkapan. Aturannya sebagai berikut:

  Dalam ekspresi reguler untuk jalur file, Anda harus meng-escape garis miring (/).

  Jenis grup tangkapan	Kasus penggunaan	Field yang dihasilkan	Contoh regex	Jalur yang cocok	Field yang dihasilkan
  Grup tangkapan tunggal (satu (.*?))	Saat Anda hanya memerlukan satu dimensi untuk membedakan sumber (misalnya, nama pengguna atau lingkungan).	Menghasilkan field __topic__.	\/logs\/(.*?)\/app\.log	/logs/userA/app.log	__topic__:userA
  Beberapa grup tangkapan tanpa nama (beberapa (.*?))	Saat Anda memerlukan beberapa dimensi untuk membedakan sumber tetapi tidak memerlukan label semantik.	Menghasilkan field tag dengan kunci diformat sebagai __topic_{i}__, di mana {i} adalah indeks grup tangkapan.	\/logs\/(.*?)\/(.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:__topic_1__:userA; __tag__:__topic_2__:svcA
  Beberapa grup tangkapan bernama (menggunakan (?P<name>.*?))	Saat Anda memerlukan beberapa dimensi untuk membedakan sumber dan menginginkan nama field yang jelas dan bermakna untuk memudahkan kueri dan analisis.	Menghasilkan field tag dengan kunci berupa name grup tangkapan yang ditentukan.	\/logs\/(?P<user>.*?)\/(?P<service>.*?)\/app\.log	/logs/userA/svcA/app.log	__tag__:user:userA; __tag__:service:svcA

Tambahkan server ke machine group

Untuk menambahkan server baru ke machine group yang sudah ada, seperti Instance ECS yang baru diterapkan atau server yang dikelola sendiri, ikuti langkah-langkah berikut untuk mengaitkannya dengan grup dan menerapkan konfigurasi pengumpulannya.

Prasyarat

• Machine group yang sudah ada.

• LoongCollector telah diinstal di server baru.

Prosedur

1. Lihat pengenal machine group dari machine group target.

   1. Di Project target, klik Resource > Machine Groups di panel navigasi sebelah kiri.

   2. Di halaman Machine Groups, klik nama machine group target.

   3. Di halaman konfigurasi machine group, lihat pengenal machine group.

2. Lakukan salah satu tindakan berikut berdasarkan jenis pengenal.

   Catatan

   Satu machine group tidak dapat berisi server Linux dan Windows sekaligus. Jangan mengonfigurasi pengenal yang ditentukan pengguna yang sama pada server Linux dan Windows. Anda dapat mengonfigurasi beberapa pengenal yang ditentukan pengguna pada satu server dengan memisahkannya menggunakan line break.

   • Jenis 1: Pengenal machine group adalah alamat IP.

     1. Di server, jalankan perintah berikut untuk membuka file app_info.json dan lihat nilai parameter ip.

        cat /usr/local/ilogtail/app_info.json

     2. Di halaman konfigurasi machine group target, klik Modify dan masukkan alamat IP server. Jika Anda memiliki beberapa alamat IP, pisahkan dengan line break.

     3. Setelah menyelesaikan konfigurasi, klik Save dan periksa status heartbeat. Jika statusnya OK, sistem secara otomatis menerapkan konfigurasi pengumpulan machine group ke server.

        Jika status heartbeat FAIL, lihat The machine group heartbeat status is FAIL untuk troubleshooting lebih lanjut.

   • Jenis 2: Pengenal machine group adalah pengenal yang ditentukan pengguna.

     Berdasarkan sistem operasi, tuliskan string pengenal yang ditentukan pengguna yang sesuai dengan machine group target ke file yang ditentukan.

     Jika direktori tidak ada, buat secara manual. Jalur dan nama file bersifat tetap dan tidak dapat dikustomisasi.

     • Linux: Tuliskan pengenal yang ditentukan pengguna ke file /etc/ilogtail/user_defined_id.

     • Windows: Tuliskan pengenal yang ditentukan pengguna ke file C:\LogtailData\user_defined_id.

Ekstrak field log menggunakan ekspresi reguler dan uraikan log menjadi pasangan kunci-nilai. Setiap field dapat dikueri dan dianalisis secara independen.

127.0.0.1 - - [16/Aug/2024:14:37:52 +0800] "GET /wp-admin/admin-ajax.php?action=rest-nonce HTTP/1.1" 200 41 "http://www.example.com/wp-admin/post-new.php?post_type=page" "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0"

body_bytes_sent: 41
http_referer: http://www.example.com/wp-admin/post-new.php?post_type=page
http_user_agent: Mozilla/5.0 (Windows NT 10.0; Win64; ×64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36 Edg/127.0.0.0
remote_addr: 127.0.0.1
remote_user: -
request_method: GET
request_protocol: HTTP/1.1
request_uri: /wp-admin/admin-ajax.php?action=rest-nonce
status: 200
time_local: 16/Aug/2024:14:37:52 +0800

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Data Parsing (Regex Mode):

• Regular Expression: Ekspresi yang digunakan untuk mencocokkan log. Hasilkan secara otomatis atau masukkan secara manual:

  • Generasi otomatis:

    • Klik Generate.

    • Di Log Sample, pilih konten log yang akan diekstrak.

    • Klik Generate Regular Expression.

      

  • Masukan manual: Manually Enter Regular Expression berdasarkan format log.

  Setelah konfigurasi, klik Validate untuk menguji apakah ekspresi reguler dapat mengurai konten log dengan benar.

• Extracted Field: Nama field (Key) yang sesuai dengan konten log yang diekstrak (Value).

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Use case 2: Structured logs.

Strukturisasi konten log menggunakan pemisah untuk mengurai menjadi beberapa pasangan kunci-nilai. Pemisah karakter tunggal maupun multi-karakter didukung.

05/May/2025:13:30:28,10.10.*.*,"POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1",200,18204,aliyun-sdk-java

ip:10.10.*.*
request:POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=****************&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=******************************** HTTP/1.1
size:18204
status:200
time:05/May/2025:13:30:28
user_agent:aliyun-sdk-java

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Data Parsing (Delimiter Mode):

• Delimiter: Menentukan karakter yang digunakan untuk memisahkan konten log.

  Contoh: Untuk file CSV, pilih Custom dan masukkan koma (,).

• Quote: Jika nilai field berisi pemisah, Anda harus mengapit nilai field tersebut dengan tanda kutip untuk mencegah pemisahan yang salah.

• Extracted Field: Tentukan nama field (Key) untuk setiap kolom sesuai urutan kemunculannya. Aturannya sebagai berikut:

  • Nama field hanya boleh berisi huruf, angka, dan garis bawah (_).

  • Harus dimulai dengan huruf atau garis bawah (_).

  • Panjang maksimum: 128 byte.

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Use case 2: Structured logs.

Strukturisasi log JSON tipe Objek dengan mengurai menjadi pasangan kunci-nilai.

{"url": "POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek********&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1", "ip": "10.200.98.220", "user-agent": "aliyun-sdk-java", "request": {"status": "200", "latency": "18204"}, "time": "05/Jan/2025:13:30:28"}

ip: 10.200.98.220
request: {"status": "200", "latency" : "18204" }
time: 05/Jan/2025:13:30:28
url: POST /PutData?Category=YunOsAccountOpLog&AccessKeyId=U0Ujpek******&Date=Fri%2C%2028%20Jun%202013%2006%3A53%3A30%20GMT&Topic=raw&Signature=pD12XYLmGxKQ%2Bmkd6x7hAgQ7b1c%3D HTTP/1.1
user-agent:aliyun-sdk-java

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Data Parsing (JSON Mode):

• Original Field: Field yang berisi log mentah yang akan diurai. Nilai default adalah content.

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Use case 2: Structured logs.

Urai log JSON bersarang menjadi pasangan kunci-nilai dengan menentukan kedalaman ekspansi.

{"s_key":{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}}

0_s_key_k1_k2_k3_k41:41
0_s_key_k1_k2_k3_k4_k51:51
0_s_key_k1_k2_k3_k4_k52:52

1_s_key:{"k1":{"k2":{"k3":{"k4":{"k51":"51","k52":"52"},"k41":"41"}}}}

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Extended Processor > Expand JSON Field:

• Original Field: Menentukan nama field sumber yang akan diekspansi, seperti content.

• JSON Expansion Depth: Kedalaman ekspansi objek JSON, di mana 0 (default) menunjukkan ekspansi penuh, 1 menunjukkan ekspansi tingkat saat ini, dan seterusnya.

• Character to Concatenate Expanded Keys: Pemisah untuk nama field saat objek JSON diekspansi. Nilai default adalah garis bawah (_).

• Name Prefix of Expanded Keys: Awalan untuk nama field setelah ekspansi JSON.

• Expand Array: Ekspansi array menjadi pasangan kunci-nilai dengan indeks.

  Contoh: {"k":["a","b"]} diekspansi menjadi {"k[0]":"a","k[1]":"b"}.

  Untuk mengganti nama field yang diekspansi (misalnya, dari prefix_s_key_k1 menjadi new_field_name), tambahkan rename fields plugin setelahnya untuk menyelesaikan pemetaan.

• Untuk parameter lainnya, lihat deskripsi parameter konfigurasi umum di Use case 2: Structured logs.

Gunakan fungsi json_extract untuk mengekstrak objek JSON dari array JSON.

Contoh:

[{"key1":"value1"},{"key2":"value2"}]

json1:{"key1":"value1"}
json2:{"key2":"value2"}

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, ubah Processing Mode menjadi SPL, konfigurasikan SPL Statement, dan gunakan fungsi json_extract untuk mengekstrak objek JSON dari array JSON.

Contoh: Ekstrak elemen dari array JSON di field log content dan simpan hasilnya di field baru json1 dan json2.

* | extend json1 = json_extract(content, '$[0]'), json2 = json_extract(content, '$[1]')

#Fields: date time s-sitename s-ip cs-method cs-uri-stem cs-uri-query s-port cs-username c-ip cs(User-Agent) sc-status sc-substatus sc-win32-status sc-bytes cs-bytes time-taken

c-ip: cs-username
cs-bytes: sc-substatus
cs-method: cs-method
cs-uri-query: cs-uri-query
cs-uri-stem: cs-uri-stem
cs-username: s-port
date: #Fields:
s-computername: s-sitename
s-ip: s-ip
s-sitename: time
sc-bytes: sc-status
sc-status: c-ip
sc-win32-status: cs (User-Agent)
time: date
time-taken: sc-win32-status

• Untuk detail parameter lainnya, lihat Scenario 2: Structured logs.

Penyembunyian data

[{'account':'1812213231432969','password':'04a23f38'}, {'account':'1812213685634','password':'123a'}]

[{'account':'1812213231432969','password':'********'}, {'account':'1812213685634','password':'********'}]

Urai field waktu dalam log dan atur hasil parsing sebagai field __time__ log.

Contoh:

{"level":"INFO","timestamp":"2025-09-23T19:11:47+0800","cluster":"yilu-cluster-0728","message":"User logged in successfully","userId":"user-123"}

Prosedur: Di bagian Processor Configurations pada halaman Logtail Configuration, klik Add Processor dan pilih Native Processor > Time Parsing:

• Original Field: Field yang berisi konten log sebelum parsing.

• Time Format: Atur format waktu yang sesuai dengan timestamp dalam log.

• Time Zone: Pilih zona waktu untuk field waktu log. Secara default, ini adalah zona waktu lingkungan tempat proses LoongCollector (Logtail) berjalan.