Impor log historis dari file log menggunakan Logtail - Simple Log Service

Logtail hanya mengumpulkan log secara inkremental. Jika suatu file log tidak diperbarui setelah konfigurasi Logtail dikirimkan dan diterapkan ke server Anda, Logtail tidak akan mengumpulkan log dari file tersebut. Untuk mengumpulkan log historis, Anda dapat menggunakan fitur impor log historis Logtail.

Penting

Metode koleksi file historis berdasarkan local_event.json sudah tidak direkomendasikan lagi.

Log Service menyediakan fitur baru untuk mengumpulkan log teks dari host dalam mode satu kali jalan (one-off). Fitur ini memungkinkan Anda menerapkan konfigurasi secara batch dari Konsol, mendukung unggah yang dapat dilanjutkan (resumable upload), serta menyediakan pemantauan progres komprehensif dan kontrol sumber daya. Kami menyarankan Anda menggunakan fitur baru ini untuk mengimpor data historis.

Prasyarat

Logtail V0.16.15 atau versi lebih baru telah diinstal pada Server Linux Anda, atau Logtail V1.0.0.1 atau versi lebih baru telah diinstal pada Server Windows Anda. Untuk informasi selengkapnya, lihat Instal Logtail pada Server Linux atau Instal Logtail pada Server Windows.
Konfigurasi Logtail telah dibuat dan diterapkan ke kelompok mesin Anda. Untuk informasi selengkapnya, lihat Ikhtisar koleksi log teks.
Catatan
Jika konfigurasi Logtail hanya digunakan untuk mengimpor log historis dari file log, Anda dapat menentukan path koleksi yang tidak ada.

Informasi latar belakang

Logtail mengumpulkan log berdasarkan event modifikasi file yang dipantau. Logtail dapat memuat event dari file lokal untuk mengumpulkan log historis dari file log.

Catatan

Latensi maksimum yang diizinkan untuk mengimpor event lokal adalah 1 menit.
Karena memuat event lokal merupakan operasi khusus, Logtail mengirimkan pesan LOAD_LOCAL_EVENT_ALARM ke server.
Jika Anda ingin mengimpor sejumlah besar file, kami menyarankan Anda memodifikasi parameter startup Logtail. Atur ambang batas penggunaan CPU menjadi 2,0 atau lebih tinggi, serta ambang batas penggunaan memori menjadi 512 MB atau lebih tinggi. Untuk informasi selengkapnya, lihat Konfigurasi parameter startup Logtail.
Jika file log Anda berisi karakter Tionghoa, Anda harus mengonfigurasi set karakter untuk file tersebut.

Anda harus mengimpor log historis dari file log yang berada di direktori instalasi Logtail. Direktori instalasi Logtail berbeda tergantung sistem operasinya. Tabel berikut menjelaskan direktori instalasi Logtail pada berbagai sistem operasi.

Sistem operasi	Logtail	Direktori instalasi Logtail
Linux	Logtail (64-bit)	/usr/local/ilogtail
Windows 64-bit	Logtail (64-bit)	C:\Program Files\Alibaba\Logtail
Windows 64-bit	Logtail (32-bit)	C:\Program Files (x86)\Alibaba\Logtail Catatan Anda dapat menjalankan aplikasi 32-bit dan 64-bit di Windows 64-bit. Untuk memastikan kompatibilitas, sistem operasi menyimpan aplikasi 32-bit di direktori x86 terpisah.
Windows 32-bit	Logtail (32-bit)	C:\Program Files\Alibaba\Logtail

Prosedur

Peroleh identifier unik dari konfigurasi Logtail.
Anda dapat memperoleh identifier unik konfigurasi Logtail dari file user_log_config.json di direktori instalasi Logtail. Sebagai contoh, jalankan perintah berikut untuk memperoleh identifier unik konfigurasi Logtail pada Server Linux:
```
grep "##" /usr/local/ilogtail/user_log_config.json | awk '{print $1}'
```

Tambahkan event lokal.

Buat file local_event.json di direktori instalasi Logtail.

Tambahkan event lokal dalam format JSON ke file local_event.json.

Penting

Untuk mencegah Logtail memuat event JSON yang tidak valid, kami menyarankan Anda menyimpan konfigurasi event lokal di file sementara untuk diedit, lalu menyalin konfigurasi tersebut ke file local_event.json setelah selesai diedit.

[ 
  {
    "config" : "${your_config_unique_id}",
    "dir" : "${your_log_dir}",
    "name" : "${your_log_file_name}"
   },
  {
   ...
   }
   ...
]

Parameter	Deskripsi
config	Identifier unik untuk konfigurasi Logtail dari Langkah 1. Contoh: `##1.0##log-config-test$ecs-test`.
dir	Tentukan direktori file log tempat Anda ingin mengimpor log historis. Contoh: /data/logs. Penting Path direktori tidak boleh diakhiri dengan garis miring (`/`). Direktori tidak boleh merupakan direktori instalasi Logtail, seperti `/usr/local/ilogtail`.
name	Tentukan nama file log tempat Anda ingin mengimpor log historis. Karakter wildcard didukung. Contoh: access.log.2018-08-08 dan access.log*.

Kode contoh berikut menunjukkan cara mengonfigurasi event lokal di Linux:

$ cat /usr/local/ilogtail/local_event.json
[
  {
    "config": "##1.0##log-config-test$ecs-test",
    "dir": "/data/log",
    "name": "access.log*"
  },
  {
    "config": "##1.0##log-config-test$tmp-test",
    "dir": "/tmp",
    "name": "access.log.2017-08-09"
  }
]

FAQ

Bagaimana cara memeriksa apakah Logtail telah memuat konfigurasi Logtail?
Setelah Anda menyimpan file local_event.json, Logtail umumnya akan memuat isinya ke memori dalam waktu 1 menit, lalu mengosongkan file tersebut.
Anda dapat menggunakan metode berikut untuk memeriksa apakah konfigurasi Logtail telah dimuat:
1. Jika file local_event.json kosong, berarti Logtail telah membaca informasi event tersebut.
2. Periksa file ilogtail.LOG di direktori instalasi Logtail untuk parameter process local event. Jika file local_event.json telah dikosongkan tetapi parameter process local event tidak ditemukan, kemungkinan isi file tersebut tidak valid dan telah difilter.
Mengapa saya tidak dapat mengumpulkan data setelah konfigurasi Logtail dimuat?
- Konfigurasi Logtail tidak valid.
- Konfigurasi dalam file local_event.json tidak valid.
- File log yang ingin Anda kumpulkan tidak disimpan di direktori yang ditentukan dalam konfigurasi Logtail.
- Log dari file log yang ingin Anda kumpulkan telah dikumpulkan sebelumnya.

Langkah selanjutnya

Setelah log historis diimpor, Anda dapat melakukan kueri dan analisis terhadap log tersebut. Untuk informasi selengkapnya, lihat Kueri dan analisis log dalam mode indeks.