:Kumpulkan log dalam mode simple

Prosedur

1. Masuk ke Konsol Simple Log Service.

2. Di bagian Import Data, pilih Multi-line text log.

   Topik ini menggunakan log teks multi-line sebagai contoh. Jika Anda ingin mengumpulkan log teks single-line, pilih Single-line text log.

3. Pilih proyek dan penyimpanan log tujuan, lalu klik Next.

4. Buat kelompok mesin.

   • Jika Anda sudah memiliki kelompok mesin, klik Use Existing Machine Groups.

   • Jika Anda belum memiliki kelompok mesin, ikuti langkah-langkah berikut untuk membuatnya. Contoh ini menggunakan Instance ECS.

     1. Pada tab ECS Instance, pilih Instance ECS target dan klik Create.

        Untuk informasi selengkapnya, lihat Instal Logtail pada Instance ECS.

        Penting

        Jika server Anda adalah Instance ECS dari Akun Alibaba Cloud lain, server dari penyedia cloud lain, atau server di pusat data Anda sendiri, Anda harus menginstal Logtail secara manual. Untuk informasi selengkapnya, lihat Instal Logtail pada Server Linux atau Instal Logtail pada Server Windows.

        Setelah Anda menginstal Logtail secara manual, Anda harus mengonfigurasi pengenal pengguna di server tersebut. Untuk informasi selengkapnya, lihat Konfigurasikan pengenal pengguna.

     2. Setelah instalasi selesai, klik Complete Installation.

     3. Pada halaman Create Machine Group, masukkan Name dan klik Next.

        Layanan Log mendukung kelompok mesin berbasis alamat IP dan kelompok mesin berbasis pengenal kustom. Untuk informasi selengkapnya tentang parameter tersebut, lihat Buat kelompok mesin berbasis alamat IP dan Buat kelompok mesin berbasis pengenal kustom.

5. Pilih kelompok mesin target dari Source Machine Group, pindahkan ke Applied Machine Group, lalu klik Next.

   Penting

   Jika Anda menerapkan kelompok mesin segera setelah membuatnya, status heartbeat mungkin muncul sebagai FAIL karena koneksi belum terbentuk. Anda dapat mengklik Automatic Retry. Jika masalah tetap ada, lihat Troubleshoot kegagalan heartbeat kelompok mesin Logtail untuk langkah troubleshooting.

6. Buat konfigurasi Logtail dan klik Next.

   Parameter	Deskripsi
   Configuration name	Nama konfigurasi Logtail. Nama ini harus unik dalam proyek. Anda tidak dapat mengubah nama setelah konfigurasi dibuat. Anda juga dapat mengklik Import Other Configuration untuk menggunakan konfigurasi Logtail yang sudah ada.
   Log path	Tentukan direktori dan nama file log Anda di server. Jalur log untuk sistem Linux harus dimulai dengan garis miring (/), misalnya /apsara/nuwa/.../app.Log. Jika jalur log berada di sistem Windows, harus dimulai dengan huruf drive, misalnya C:\Program Files\Intel\...\*.Log. Nama direktori dan file mendukung nama lengkap maupun wildcard. Untuk informasi selengkapnya tentang pola nama file, lihat Wildcard matching. Logtail melakukan pencarian rekursif pada jalur direktori yang ditentukan untuk menemukan semua file yang cocok. Contohnya: /apsara/nuwa/**/*.log merepresentasikan file yang berakhiran .log di direktori /apsara/nuwa dan subdirektorinya. /var/logs/app_*/**/*.log merujuk pada semua file dengan ekstensi .log di semua direktori yang sesuai dengan pola app_* (termasuk subdirektori rekursifnya) di bawah direktori /var/logs. /var/log/nginx/**/access* menentukan file yang diawali dengan access di direktori /var/log/nginx dan subdirektori rekursifnya. Catatan Wildcard jalur log hanya mendukung tanda bintang (*) dan tanda tanya (?). Tanda bintang (*) mencocokkan urutan karakter apa pun. Tanda tanya (?) mencocokkan satu karakter tunggal.
   Blacklist	Aktifkan Blacklist untuk mengecualikan direktori atau file tertentu dari pengumpulan. Jalur lengkap maupun wildcard didukung. Contohnya: Jika Anda memilih Filter by Directory dan mengatur jalur ke /home/admin/dir1, seluruh konten di direktori /home/admin/dir1 diabaikan selama pengumpulan. Pilih Filter by Directory dan atur jalur ke /home/admin/dir* untuk mengabaikan konten semua subdirektori yang diawali dengan dir di bawah direktori /home/admin/ selama pengumpulan. Pilih Filter by Directory dan atur jalur ke /home/admin/*/dir. Konfigurasi ini mengabaikan seluruh konten di subdirektori tingkat kedua bernama dir mana pun di dalam direktori /home/admin/ selama pengumpulan. Sebagai contoh, konten di direktori /home/admin/a/dir diabaikan, sedangkan konten di direktori /home/admin/a/b/dir dikumpulkan. Pilih Filter by File, dan atur jalur ke /home/admin/private*.log. Pengaturan ini mengabaikan semua file di direktori /home/admin/ yang diawali dengan private dan diakhiri dengan .log selama pengumpulan. Pilih Filter by File dan atur jalur ke /home/admin/private*/*_inner.log untuk mengabaikan file yang diakhiri dengan _inner.log dan berada di direktori yang diawali dengan private di bawah direktori /home/admin/ selama pengumpulan. Sebagai contoh, file /home/admin/private/app_inner.log diabaikan, sedangkan file /home/admin/private/app.log dikumpulkan. Catatan Wildcard direktori hanya mendukung tanda bintang (*) dan tanda tanya (?). Tanda bintang (*) mencocokkan urutan karakter apa pun. Tanda tanya (?) mencocokkan satu karakter tunggal. Jika Anda menggunakan wildcard di Log Path dan perlu mengecualikan subdirektori, Anda harus menentukan jalur lengkapnya di blacklist agar pengecualian berlaku dengan benar. Sebagai contoh, jika Anda mengatur log path ke /home/admin/app*/log/*.log tetapi ingin menyaring semua subdirektori di bawah direktori /home/admin/app1*, Anda perlu mengonfigurasi blacklist dengan memilih Filter by Directory dan mengatur jalur ke /home/admin/app1*/** . Jika Anda mengatur jalur ke /home/admin/app1*, blacklist tidak akan berlaku. Pencocokan terhadap blacklist mengonsumsi sumber daya komputasi. Kami menyarankan agar jumlah entri blacklist tidak melebihi 10. Jalur direktori tidak boleh diakhiri dengan garis miring (/). Sebagai contoh, jika Anda mengatur jalur ke /home/admin/dir1/, blacklist direktori tidak akan berlaku.
   Docker file	Jika file log berada di kontainer Docker, aktifkan Docker file dan konfigurasikan jalur internal serta tag kontainer. Logtail secara otomatis memantau pembuatan dan penghancuran kontainer, menyaring kontainer berdasarkan tag, dan mengumpulkan log dari kontainer yang ditentukan. Untuk informasi selengkapnya, lihat Gunakan konsol untuk mengumpulkan log teks dari kontainer dalam mode DaemonSet.
   Mode	Mode pengumpulan. Nilai default-nya adalah simple mode - multi-line. Anda dapat memilih mode lain.
   Log sample	Berikan contoh log dari kasus penggunaan aktual Anda. Layanan Log menggunakan contoh ini untuk secara otomatis menghasilkan ekspresi reguler baris pertama. Contohnya: [2020-10-01T10:30:01,000] [INFO] java.lang.Exception: exception happened at TestPrintStackTrace.f(TestPrintStackTrace.java:3) at TestPrintStackTrace.g(TestPrintStackTrace.java:7) at TestPrintStackTrace.main(TestPrintStackTrace.java:16) Parameter ini tidak diperlukan saat Anda mengumpulkan log teks single-line dalam mode simple.
   First-line regular expression	Logtail menggunakan ekspresi reguler baris pertama untuk mengidentifikasi awal entri log. Baris yang tidak sesuai dengan ekspresi tersebut ditambahkan ke entri sebelumnya. Layanan Log dapat menghasilkan ekspresi tersebut secara otomatis atau Anda dapat memasukkannya secara manual. Hasilkan secara otomatis Setelah Anda memasukkan contoh log, klik Automatically Generate untuk menghasilkan ekspresi reguler baris pertama. Masukkan secara manual Setelah Anda memasukkan contoh log, klik Manually Enter Regular Expression untuk memasukkan ekspresi Anda sendiri. Setelah memasukkan ekspresi, klik Validate untuk memverifikasinya. Untuk informasi selengkapnya, lihat Bagaimana cara menguji ekspresi reguler?. Parameter ini tidak diperlukan saat Anda mengumpulkan log teks single-line dalam mode simple.
   Drop logs that fail to parse	Menentukan apakah akan menghapus log yang gagal diurai. Jika Anda mengaktifkan drop logs that fail to parse, log yang gagal diurai tidak diunggah ke Layanan Log. Jika Anda mematikan sakelar Drop logs that fail to parse, log mentah diunggah ke Layanan Log sebagai nilai bidang raw_log ketika penguraian log gagal.
   Maximum monitoring directory depth	Kedalaman maksimum subdirektori yang dipantau dalam direktori log yang ditentukan. Nilainya berkisar antara 0 hingga 1.000. Nilai 0 berarti hanya direktori tingkat atas yang dipantau.

   Konfigurasikan pengaturan lanjutan sesuai kebutuhan Anda. Jika tidak ada persyaratan khusus, kami menyarankan agar Anda mempertahankan pengaturan default.

   Parameter	Deskripsi
   Enable plugin processing	Jika log Anda terlalu kompleks atau tidak terstruktur untuk mode penguraian standar seperti NGINX, ekspresi reguler lengkap, atau JSON, Anda dapat mengaktifkan Enable Plug-in Processing dan menambahkan plugin Logtail untuk memproses log tersebut. Layanan Log menghasilkan konfigurasi plugin default berdasarkan mode pengumpulan yang Anda pilih. Anda dapat menambahkan lebih banyak plugin dengan menambahkan beberapa prosesor. Untuk informasi selengkapnya, lihat Ikhtisar plugin Logtail untuk pemrosesan data. Penting Jika Anda mengaktifkan Enable Plug-in Processing, fitur-fitur seperti Upload raw logs, Timezone, Drop logs that fail to parse, dan Filter configuration menjadi tidak tersedia.
   Upload raw logs	Jika Anda mengaktifkan sakelar Upload Raw Log, log mentah akan diunggah ke Layanan Log sebagai nilai bidang raw, bersama dengan log yang telah diurai.
   Topic generation mode	Menentukan cara menghasilkan topik untuk log Anda. Untuk informasi selengkapnya, lihat Topik log. None - Do Not Generate Topic: Ini adalah opsi default. Topik diatur ke string kosong. Anda tidak perlu menentukan topik saat melakukan kueri log. Machine Group Topic Attributes: Menggunakan atribut topik kelompok mesin. Ini berguna untuk membedakan log yang dihasilkan oleh server berbeda. File Path Regular Expression: Menggunakan ekspresi reguler untuk mengekstraksi topik dari jalur file log. Anda harus menentukan ekspresi tersebut di bidang Custom regex. Ini berguna untuk membedakan log dari pengguna atau instans berbeda.
   Log file encoding	Format encoding file log. Nilai yang valid adalah utf8 dan gbk.
   Timezone	Zona waktu untuk timestamp log selama pengumpulan. Machine timezone: Nilai default. Menggunakan zona waktu host atau kontainer tempat Logtail berjalan. Custom: Memungkinkan Anda memilih zona waktu secara manual.
   Timeout	Jika file log tidak diperbarui dalam periode yang ditentukan, Logtail menganggap pemantauan telah timeout. Never Timeout: Memantau semua file log terus-menerus tanpa timeout. 30-Minute Timeout: Jika file log tidak diperbarui selama 30 menit, Logtail berhenti memantau file tersebut. Saat Anda memilih Expire in 30 Minutes, Anda juga harus mengatur Maximum timeout directory depth ke nilai antara 1 hingga 3.
   Filter configuration	Hanya log yang memenuhi kondisi filter yang dikumpulkan. Kondisi filter mencakup bidang key, yang menentukan nama bidang target, dan bidang Regex, yang menentukan ekspresi reguler untuk filtering. Kondisi-kondisi ini diterapkan dengan logika AND. Penting Dalam mode simple, hanya bidang content yang dihasilkan. Jika Anda ingin menetapkan kondisi filter, Anda hanya dapat mengatur Key ke content. Ekspresi reguler dalam pengaturan ini hanya mendukung pencocokan teks penuh, bukan pencocokan kata kunci parsial. Berikut adalah beberapa contoh: Mengumpulkan log yang sesuai. Atur Key ke level dan Regex ke WARNING|ERROR. Ini hanya mengumpulkan log di mana bidang level bernilai WARNING atau ERROR. Atur Key ke content dan Regex ke .05\/Jan\/2023., yang hanya mengumpulkan log di mana bidang content berisi 05/Jan/2023. Mengecualikan log. Atur Key ke level dan Regex ke ^(?!.*(INFO|DEBUG)).* untuk mengecualikan log di mana bidang level berisi INFO atau DEBUG. Atur Key ke level dan Regex ke ^(?!(INFO|DEBUG)$).*. Artinya, log dengan nilai bidang level INFO atau DEBUG tidak dikumpulkan. Atur Key ke url dan Regex ke .*^(?!.*(healthcheck)).* untuk mengecualikan log di mana bidang url berisi healthcheck. Untuk informasi selengkapnya tentang cara mengonfigurasi ekspresi reguler, lihat Memulai dengan ekspresi reguler.
   Initial collection size	First Collection Size menentukan titik awal pengumpulan data dari file baru. Ukuran default-nya adalah 1.024 KB. Jika ukuran file lebih kecil dari 1.024 KB, pengumpulan dimulai dari awal file. Jika ukuran file lebih besar dari 1.024 KB, pengumpulan dimulai 1.024 KB dari akhir file. Anda dapat mengubah First Collection Size. Nilainya berkisar antara 0 hingga 10.485.760. Satuan: KB.
   Advanced configuration	Menentukan pengaturan Logtail lanjutan. Untuk informasi selengkapnya, lihat Parameter lanjutan. Sebagai contoh, untuk menggunakan konfigurasi Logtail ini guna mengumpulkan log dari file yang sudah dicocokkan oleh konfigurasi lain dan menentukan interval agregasi, Anda dapat menambahkan konfigurasi berikut: { "force_multiconfig": true, "batch_send_interval": 3 }

   Klik Next untuk membuat konfigurasi Logtail. Layanan Log kemudian mulai mengumpulkan log.

   Catatan

   • Konfigurasi Logtail mungkin memerlukan waktu hingga 3 menit untuk berlaku.

   • Jika Anda mengalami error pengumpulan, lihat Bagaimana cara melihat error pengumpulan Logtail? dan Error pengumpulan umum.

7. Pratinjau data, buat indeks, lalu klik Next.

   Secara default, Layanan Log mengaktifkan indeks teks penuh. Anda juga dapat membuat indeks bidang secara manual berdasarkan log yang dikumpulkan, atau klik Automatic Index Generation agar Layanan Log membuatnya secara otomatis. Untuk informasi selengkapnya, lihat Buat indeks.

   Penting

   Untuk melakukan kueri dan analisis log, Anda harus mengaktifkan indeks teks penuh atau indeks bidang. Jika Anda mengaktifkan keduanya, kueri akan menggunakan indeks bidang.

8. Klik Query Log untuk membuka halaman Query & Analysis untuk penyimpanan log tersebut.

   Anda mungkin perlu menunggu sekitar satu menit hingga indeks berlaku. Anda kemudian dapat melihat log yang dikumpulkan di tab Raw Logs. Untuk informasi selengkapnya, lihat Panduan cepat untuk kueri dan analisis log.

Troubleshooting

Jika tidak ada data yang muncul di halaman pratinjau atau kueri setelah Anda mengonfigurasi Logtail untuk mengumpulkan log, lihat Troubleshoot kegagalan pengumpulan Logtail.