Simple Log Service：Apa itu Logtail?

Proses Pengumpulan

Memantau log

Setelah Anda menginstal Logtail pada server dan membuat konfigurasi Logtail di konsol Simple Log Service, konfigurasi tersebut disinkronkan ke server secara real-time. Logtail memantau log dalam file log server sesuai dengan konfigurasi. Logtail memindai direktori dan file log berdasarkan jalur file log dan kedalaman maksimum direktori yang ditentukan untuk pemantauan dalam konfigurasi.

Jika file log server dalam grup mesin tidak diperbarui setelah konfigurasi Logtail diterapkan ke grup mesin, file log tersebut dianggap sebagai file log historis. Logtail tidak mengumpulkan log dari file log historis. Jika file log diperbarui, Logtail membaca dan mengumpulkan log dari file tersebut, lalu mengirimkan log ke Simple Log Service. Untuk informasi lebih lanjut tentang cara mengumpulkan log dari file log historis, lihat Impor log historis dari file log.

Logtail mendaftarkan pendengar acara untuk memantau direktori tempat log dikumpulkan. Pendengar acara memeriksa file log dalam direktori secara berkala. Hal ini memastikan bahwa log dikumpulkan secepat mungkin dengan cara yang stabil. Untuk server Linux, Inotify digunakan untuk memantau direktori dan memeriksa file log.

Membaca log

Setelah mendeteksi file log yang diperbarui, Logtail membaca data dalam file log tersebut.

• Pertama kali Logtail membaca data dalam file log, Logtail dapat membaca hingga 1.024 KB data dalam file log secara default.

  • Jika ukuran file kurang dari 1.024 KB, Logtail membaca data dari awal file.

  • Jika ukuran file lebih besar dari 1.024 KB, Logtail membaca 1.024 KB terakhir data dalam file.

  Catatan

  Simple Log Service memungkinkan Anda menentukan ukuran data yang dapat dibaca Logtail dalam file log pertama kali Logtail membaca file tersebut.

  • Mode konsol: Ubah parameter First Collection Size di bagian Opsi Lanjutan pada halaman Konfigurasi Logtail. Untuk informasi lebih lanjut, lihat Pengaturan Lanjutan.

  • Mode API: Ubah parameter tail_size_kb dalam konfigurasi Logtail. Untuk informasi lebih lanjut, lihat lanjutan.

• Jika data dalam file log sebelumnya sudah dibaca, Logtail membaca data dalam file dari checkpoint sebelumnya.

• Logtail dapat membaca hingga 512 KB data dalam satu waktu. Pastikan ukuran setiap log dalam file log tidak melebihi 512 KB. Jika tidak, Logtail tidak dapat membaca data sesuai harapan.

Memproses log

Ketika Logtail membaca log dalam file log, ia membagi setiap log dalam file menjadi beberapa baris, mengurai log tersebut, lalu mengonfigurasi bidang waktu untuk log tersebut.

• Membagi log menjadi beberapa baris

  Jika Anda menentukan ekspresi reguler untuk mencocokkan awal baris pertama log, Logtail membagi log menjadi beberapa baris berdasarkan ekspresi reguler tersebut. Jika Anda tidak menentukan ekspresi reguler, satu baris log diproses sebagai log.

• Mengurai log

  Logtail mengurai setiap log berdasarkan mode pengumpulan yang Anda tentukan dalam konfigurasi Logtail.

  Catatan

  Jika Anda menentukan ekspresi reguler yang kompleks, Logtail mungkin mengonsumsi jumlah sumber daya CPU yang berlebihan. Kami merekomendasikan agar Anda menentukan ekspresi reguler yang memungkinkan Logtail mengurai log secara efisien.

  Jika Logtail gagal mengurai log, Logtail menangani kegagalan tersebut berdasarkan pengaturan parameter Drop Failed to Parse Logs dalam konfigurasi Logtail.

  • Jika Anda mengaktifkan Drop Failed to Parse Logs, Logtail membuang log dan melaporkan kesalahan.

  • Jika Anda menonaktifkan Drop Failed to Parse Logs, Logtail mengunggah log tersebut. Kunci log diatur ke raw_log dan nilainya diatur ke konten log.

• Mengonfigurasi bidang waktu untuk log

  • Jika Anda tidak mengonfigurasi bidang waktu untuk log, waktu log adalah waktu saat log diurai.

  • Jika Anda mengonfigurasi bidang waktu untuk log, cara log diproses bervariasi dalam skenario berikut:

    • Jika selisih antara waktu pembuatan log dan waktu saat ini dalam 12 jam, waktu log diekstraksi dari bidang log yang diurai.

    • Jika selisih antara waktu pembuatan log dan waktu saat ini lebih dari 12 jam, log dibuang dan kesalahan dilaporkan.

Menyaring log

Setelah log diproses, Logtail menyaring log berdasarkan kondisi filter yang ditentukan.

• Jika Anda tidak menentukan kondisi filter dalam bidang Filter Configuration, log tidak disaring.

• Jika Anda menentukan kondisi filter dalam bidang Filter Configuration, bidang dalam setiap log dilewati.

  Logtail hanya mengumpulkan log yang memenuhi kondisi filter.

Menggabungkan log

Untuk mengurangi jumlah permintaan jaringan, Logtail menyimpan log yang telah diproses dan disaring selama periode waktu tertentu. Kemudian, Logtail menggabungkan log dan mengirimkannya ke Simple Log Service. Jika salah satu dari kondisi berikut terpenuhi saat data disimpan, Logtail mengirimkan log yang digabungkan ke Simple Log Service.

• Durasi penggabungan melebihi 3 detik.

• Jumlah log yang digabungkan melebihi 4.000.

• Total ukuran log yang digabungkan melebihi 512 KB.

Mengirim log

Logtail mengirimkan log yang digabungkan ke Simple Log Service. Jika log gagal dikirim, Logtail mencoba lagi atau berhenti mengirim berdasarkan kode status HTTP.

Manfaat

• Mendukung pengumpulan log non-intrusif berdasarkan file log. Anda tidak perlu memodifikasi kode aplikasi Anda, dan pengumpulan log tidak memengaruhi operasi aplikasi Anda.

• Mengumpulkan log teks, log biner, log HTTP, dan log kontainer.

• Mengumpulkan log dari berbagai kluster kontainer, seperti kluster Docker dan Kubernetes.

• Menangani pengecualian yang terjadi dalam proses pengumpulan log. Jika terjadi masalah seperti pengecualian jaringan atau server, Logtail mencoba lagi pengumpulan log dan menyimpan data secara lokal untuk memastikan keamanan data.

• Menyediakan manajemen terpusat berdasarkan Simple Log Service. Setelah Anda menginstal Logtail pada server tempat Anda ingin mengumpulkan log dan membuat grup mesin serta konfigurasi Logtail, Logtail mengumpulkan log dari server tersebut.

• Menyediakan mekanisme perlindungan diri yang komprehensif. Untuk memastikan bahwa Logtail tidak secara signifikan memengaruhi kinerja layanan lain yang berjalan di server yang sama dengan Logtail, Simple Log Service membatasi sumber daya CPU, memori, dan jaringan yang dapat digunakan oleh Logtail dan menyediakan mekanisme perlindungan diri.

Proses konfigurasi

1. Instal Logtail.

   Jika Simple Log Service proyek dan instance ECS milik akun Alibaba Cloud yang sama dan berada di wilayah yang sama, instal Logtail pada instance ECS. Untuk informasi lebih lanjut, lihat Instal Logtail pada instance ECS. Untuk informasi lebih lanjut tentang cara menginstal Logtail pada server lain, lihat Instal Logtail pada server Linux dan Instal Logtail pada server Windows.

2. Konfigurasikan pengenal pengguna.

   Jika Anda ingin mengumpulkan log dari instance ECS yang milik akun Alibaba Cloud yang berbeda, server di pusat data, atau server dari penyedia layanan cloud pihak ketiga, Anda harus mengonfigurasi pengenal pengguna untuk server Anda.

3. Buat grup mesin.

   Buat grup mesin berbasis IP address-based atau grup mesin berbasis custom identifier-based untuk Simple Log Service project.

4. Buat konfigurasi Logtail.

   Lakukan operasi sebelumnya di konsol Simple Log Service. Untuk informasi lebih lanjut, lihat kumpulkan log teks dan kumpulkan log kontainer.

Setelah Anda melakukan operasi sebelumnya, Logtail mengumpulkan log dari server Anda dan mengirimkan log ke logstore yang ditentukan. Anda dapat menanyakan log menggunakan konsol, API, SDK, atau CLI dari Simple Log Service.

Istilah

• Grup mesin: Grup mesin berisi satu atau lebih server tempat log jenis tertentu dikumpulkan. Setelah Anda menerapkan konfigurasi Logtail ke grup mesin, Simple Log Service mengumpulkan log dari semua server dalam grup mesin berdasarkan konfigurasi Logtail.

  Simple Log Service menggunakan grup mesin untukmengelola semua server tempat Anda ingin mengumpulkan log menggunakan Logtail. Anda dapat mendefinisikan grup mesin berdasarkan alamat IP atau pengenal kustom, dan mengelola grup mesin di konsol Simple Log Service. Misalnya, buat atau hapus grup mesin dan tambahkan server ke atau hapus server dari grup mesin. Untuk informasi lebih lanjut, lihat Ikhtisar.

• Logtail: Agen pengumpulan log yang disediakan oleh Simple Log Service. Logtail berjalan pada server tempat Anda ingin mengumpulkan log.

  • Linux: Di Linux, Logtail diinstal di direktori /usr/local/ilogtail dan memulai dua proses independen yang namanya dimulai dengan ilogtail. Salah satunya adalah proses pengumpulan dan yang lainnya adalah daemon. Log operasional program disimpan dalam file /usr/local/ilogtail/ilogtail.LOG. Untuk informasi lebih lanjut, lihat Instal Logtail pada server Linux.

  • Windows:

    • Logtail (32-bit)

      • Pada sistem Windows 32-bit, Logtail diinstal di direktori C:\Program Files\Alibaba\Logtail.

      • Pada sistem Windows 64-bit, Logtail diinstal di direktori C:\Program Files (x86)\Alibaba\Logtail.

        Catatan

        Aplikasi 32-bit dan 64-bit dapat dijalankan pada sistem operasi Windows 64-bit. Sistem operasi menyimpan aplikasi 32-bit di direktori x86 terpisah untuk memastikan kompatibilitas.

    • Logtail (64-bit)

      Instal Logtail (64-bit) hanya pada sistem Windows 64-bit. Direktori instalasi adalah C:\Program Files\Alibaba\Logtail.

    Untuk memeriksa status Logtail, lakukan sebagai berikut: Pilih Control Panel > Administrative Tools > Services. Jika Anda menginstal Logtail V1.0.0.0 atau lebih baru, lihat layanan LogtailDaemon. Jika Anda menginstal Logtail V0.x.x.x, lihat layanan LogtailWorker. Log operasional program disimpan dalam file ilogtail.LOG dari direktori instalasi. Untuk informasi lebih lanjut, lihat Instal Logtail pada server Windows.

• Konfigurasi Logtail: Serangkaian kebijakan yang digunakan Logtail untuk mengumpulkan log. Anda dapat menentukan sumber data dan mode pengumpulan untuk membuat konfigurasi Logtail kustom untuk pengumpulan log. Konfigurasi Logtail digunakan untuk mengumpulkan jenis log tertentu dari server, mengurai log yang dikumpulkan, dan mengirimkan log ke logstore yang ditentukan dari Simple Log Service.

Fitur dasar

Keandalan pengumpulan data

Selama pengumpulan data, Logtail menyimpan informasi checkpoint yang dikumpulkan ke server lokal secara berkala. Jika terjadi pengecualian seperti shutdown tak terduga server atau proses keluar secara tak terduga, Logtail mengumpulkan data dari checkpoint terakhir yang direkam setelah di-restart. Ini mencegah kehilangan data. Logtail beroperasi berdasarkan parameter startup yang ditentukan dalam file konfigurasi startup. Jika penggunaan sumber daya Logtail melebihi batas selama lebih dari 5 menit, Logtail dipaksa restart. Data duplikat mungkin dikumpulkan setelah restart.

Referensi

• Diagnostik Logtail

• FAQ tentang Logtail

• FAQ tentang pengumpulan data

• Batasan Logtail