Cara mengimpor log historis dari file log menggunakan Logtail - Simple Log Service

Logtail hanya mengumpulkan log tambahan. Jika sebuah file log tidak diperbarui setelah konfigurasi Logtail dikirimkan dan diterapkan ke server Anda, Logtail tidak akan mengumpulkan log dari file tersebut. Untuk mengumpulkan log historis, gunakan fitur impor log historis dari Logtail.

Prasyarat

Logtail V0.16.15 atau yang lebih baru telah diinstal pada Server Linux Anda, atau Logtail V1.0.0.1 atau yang lebih baru telah diinstal pada Server Windows Anda. Untuk informasi lebih lanjut, lihat Instal Logtail pada Server Linux atau Instal Logtail pada Server Windows.
Konfigurasi Logtail telah dibuat dan diterapkan ke grup mesin Anda. Untuk informasi lebih lanjut, lihat Ikhtisar Pengumpulan Log Teks.
Catatan
Jika konfigurasi Logtail digunakan hanya untuk mengimpor log historis dari file log, Anda dapat menentukan jalur pengumpulan yang tidak ada.

Informasi latar belakang

Logtail mengumpulkan log berdasarkan peristiwa modifikasi file yang dipantau. Logtail dapat memuat peristiwa dari file lokal untuk mengumpulkan log. Logtail memuat peristiwa lokal untuk mengumpulkan log historis dari file log.

Catatan

Latensi maksimum yang diizinkan untuk mengimpor peristiwa lokal adalah 1 menit.
Jika peristiwa lokal dimuat, Logtail mengirimkan pesan LOAD_LOCAL_EVENT_ALARM ke server Anda.
Jika Anda ingin mengimpor sejumlah besar file, kami sarankan Anda memodifikasi parameter startup Logtail. Anda dapat menetapkan ambang batas penggunaan CPU menjadi 2.0 atau nilai yang lebih besar dan ambang batas penggunaan memori menjadi 512 MB atau nilai yang lebih besar. Untuk informasi lebih lanjut, lihat Konfigurasikan Parameter Startup Logtail.
Jika file log Anda berisi karakter Cina, Anda harus mengonfigurasi set karakter untuk file tersebut.

Anda harus mengimpor log historis dari file log di direktori instalasi Logtail. Direktori instalasi Logtail bervariasi berdasarkan sistem operasi. Tabel berikut menjelaskan direktori instalasi Logtail di berbagai sistem operasi.

Sistem operasi	Logtail	Direktori instalasi Logtail
Linux	Logtail (64-bit)	/usr/local/ilogtail
Windows 64-bit	Logtail (64-bit)	C:\Program Files\Alibaba\Logtail
Windows 64-bit	Logtail (32-bit)	C:\Program Files (x86)\Alibaba\Logtail Catatan Anda dapat menjalankan aplikasi 32-bit dan 64-bit di Windows 64-bit. Untuk memastikan kompatibilitas, sistem operasi menyimpan aplikasi 32-bit di direktori x86 terpisah.
Windows 32-bit	Logtail (32-bit)	C:\Program Files\Alibaba\Logtail

Prosedur

Peroleh pengenal unik konfigurasi Logtail.
Anda dapat memperoleh pengenal unik konfigurasi Logtail dari file user_log_config.json di direktori instalasi Logtail. Sebagai contoh, Anda dapat menjalankan perintah berikut untuk memperoleh pengenal unik konfigurasi Logtail pada Server Linux:
```
grep "##" /usr/local/ilogtail/user_log_config.json | awk '{print $1}'
```

Tambahkan peristiwa lokal.

Buat file local_event.json di direktori instalasi Logtail.

Tambahkan peristiwa lokal dalam format JSON ke file local_event.json.

Penting

Untuk mencegah Logtail memuat peristiwa JSON yang tidak valid, kami sarankan Anda menyimpan konfigurasi peristiwa lokal di file sementara untuk diedit dan kemudian salin konfigurasi ke file local_event.json setelah diedit.

[ 
  {
    "config" : "${your_config_unique_id}",
    "dir" : "${your_log_dir}",
    "name" : "${your_log_file_name}"
   },
  {
   ...
   }
   ...
]

Parameter	Deskripsi
config	Masukkan pengenal unik konfigurasi Logtail yang diperoleh di Langkah 1. Contoh: `##1.0##log-config-test$ecs-test`.
dir	Tentukan direktori file log dari mana Anda ingin mengimpor log historis. Contoh: /data/logs. Penting Jangan akhiri nilainya dengan garis miring `(/)`. Jangan tentukan direktori instalasi Logtail, seperti `/usr/local/ilogtail`.
name	Tentukan nama file log dari mana Anda ingin mengimpor log historis. Karakter wildcard didukung. Contoh: access.log.2018-08-08 dan access.log*.

Kode sampel berikut memberikan contoh cara mengonfigurasi peristiwa lokal di Linux:

$ cat /usr/local/ilogtail/local_event.json
[
  {
    "config": "##1.0##log-config-test$ecs-test",
    "dir": "/data/log",
    "name": "access.log*"
  },
  {
    "config": "##1.0##log-config-test$tmp-test",
    "dir": "/tmp",
    "name": "access.log.2017-08-09"
  }
]

FAQ

Bagaimana cara memeriksa apakah Logtail memuat konfigurasi Logtail?
Dalam kebanyakan kasus, setelah Anda menyimpan file local_event.json, Logtail memuat konten file ke memori dalam waktu 1 menit dan kemudian membersihkan file tersebut.
Anda dapat menggunakan metode berikut untuk memeriksa apakah konfigurasi Logtail dimuat:
1. Jika tidak ada konten di file local_event.json, Logtail telah membaca informasi peristiwa.
2. Periksa apakah file ilogtail.LOG di direktori instalasi Logtail berisi parameter process local event. Jika tidak ada konten di file local_event.json dan parameter process local event tidak diperoleh, konten di file local_event.json mungkin disaring karena kontennya tidak valid.
Mengapa saya tidak dapat mengumpulkan data setelah konfigurasi Logtail dimuat?
- Konfigurasi Logtail tidak valid.
- Konfigurasi di file local_event.json tidak valid.
- File log dari mana Anda ingin mengumpulkan log tidak disimpan di direktori yang ditentukan dalam konfigurasi Logtail.
- Log dari file log dari mana Anda ingin mengumpulkan log telah dikumpulkan.

Apa yang harus dilakukan selanjutnya

Setelah log historis diimpor, Anda dapat menanyakan dan menganalisis log tersebut. Untuk informasi lebih lanjut, lihat Tanyakan dan Analisis Log dalam Mode Indeks.