Simple Log Service：Manajemen waktu proses

Perintah umum LoongCollector

Mulai LoongCollector

Jika Anda memiliki persyaratan kinerja tertentu untuk pengumpulan data, ubah file konfigurasi parameter startup (ilogtail_config.json) sebelum menjalankan LoongCollector.

sudo /etc/init.d/loongcollectord start

Hentikan LoongCollector

sudo /etc/init.d/loongcollectord stop

Periksa status LoongCollector

sudo /etc/init.d/loongcollectord status # Nilai kembali "loongcollector is running" menunjukkan startup berhasil.

Periksa versi LoongCollector

cat /usr/local/ilogtail/app_info.json # Informasi versi disimpan dalam bidang loongcollector_version.

Mulai ulang LoongCollector

sudo /etc/init.d/loongcollectord restart

Uninstall LoongCollector

1. Pada kode contoh, ganti ${region_id} dengan cn-hangzhou. Untuk mempercepat unduhan, ganti ${region_id} dengan wilayah instance ECS Anda. Untuk informasi selengkapnya, lihat Wilayah.

   wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh -O loongcollector.sh;

2. Jalankan perintah uninstall.

   chmod +x loongcollector.sh; sudo ./loongcollector.sh uninstall;

Peningkatan LoongCollector

Anda dapat meningkatkan LoongCollector ke versi yang lebih baru atau melakukan upgrade dari Logtail ke LoongCollector. Perintah upgrade sama untuk kedua skenario tersebut.

Upgrade LoongCollector atau upgrade dari Logtail ke LoongCollector

1. Jalankan perintah unduh di server Anda untuk mendapatkan paket instalasi terbaru. Pada kode contoh, ganti ${region_id} dengan cn-hangzhou. Untuk mempercepat unduhan, ganti ${region_id} dengan wilayah instance ECS Anda. Untuk informasi selengkapnya, lihat Wilayah.

   wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh -O loongcollector.sh;

2. Jalankan perintah upgrade. Gunakan perintah upgrade. Jika Anda menggunakan perintah install, instalasi akan ditimpa dan konfigurasi asli Anda hilang.

   chmod +x loongcollector.sh; sudo ./loongcollector.sh upgrade;

3. Jika informasi berikut ditampilkan, peningkatan berhasil.

   Upgrade loongcollector files successfully.
   Starting loongcollector ...
   Upgrade loongcollector successfully.

Kembalikan dari LoongCollector ke Logtail

1. Jalankan perintah unduh di server Anda untuk mendapatkan paket instalasi. Pada kode contoh, ganti ${region_id} dengan cn-hangzhou. Untuk mempercepat unduhan, ganti ${region_id} dengan wilayah instance ECS Anda. Untuk informasi selengkapnya, lihat Wilayah.

   wget https://logtail-release-${region_id}.oss-${region_id}.aliyuncs.com/linux64/logtail.sh -O logtail.sh; 

2. Jalankan perintah rollback. Untuk menentukan versi tertentu, misalnya 1.8.7, lihat komentar dan ganti nomor versi sesuai kebutuhan.

   chmod +x logtail.sh; sudo ./logtail.sh upgrade;
   #chmod +x logtail.sh; sudo ./logtail.sh upgrade -v -v 1.8.7;

File konfigurasi parameter startup (ilogtail_config.json)

• Deskripsi: File ini mengonfigurasi parameter startup untuk LoongCollector. Pengaturan parameter yang salah dapat memengaruhi kinerja pengumpulan atau menyebabkan error pengumpulan.

• Jalur: /usr/local/ilogtail/ilogtail_config.json.

• Skenario: Simple Log Service membatasi kinerja pengumpulan LoongCollector untuk menghindari konsumsi sumber daya server yang berlebihan. Jika kinerja pengumpulan tidak memenuhi kebutuhan Anda, Anda dapat menyesuaikan parameter startup.

• Contoh file:

  {
      "primary_region" : "cn-beijing", // Wilayah default. Anda dapat mengabaikan parameter ini.
      "config_servers" : // Alamat yang digunakan untuk mendapatkan konfigurasi pengumpulan.
      [
          "http://logtail.cn-beijing.log.aliyuncs.com"
      ],
      "data_servers" : // Alamat untuk transmisi data dengan Simple Log Service.
      [
          {
              "region" : "cn-beijing",
              "endpoint_list": [
                  "cn-beijing.log.aliyuncs.com"
              ]
          }
      ],
      "cpu_usage_limit" : 0.4,
      "mem_usage_limit" : 384,
      "max_bytes_per_sec" : 20971520,
      "bytes_per_sec" : 1048576,
      "buffer_file_num" : 25,
      "buffer_file_size" : 20971520,
      "buffer_map_num" : 5
  }

• Parameter: Tabel berikut hanya mencantumkan parameter startup umum yang mungkin perlu Anda konfigurasi. Tambahkan atau ubah sesuai kebutuhan. Pertahankan nilai default untuk parameter yang tidak tercantum dalam tabel.

  Parameter startup ilogtail_config.json

  Parameter	Tipe	Deskripsi	Contoh
  cpu_usage_limit	double	Ambang batas penggunaan CPU, dihitung per core. Rinciannya sebagai berikut: Nilai valid: 0.1 hingga jumlah core CPU pada mesin. Nilai default: 0,4. Peringatan cpu_usage_limit adalah batas lunak. Penggunaan CPU aktual dapat melebihi nilai ini. Jika batas dilampaui selama lima menit, pemutus sirkuit dipicu dan LoongCollector secara otomatis restart. Misalnya, nilai 0.4 berarti Simple Log Service berusaha membatasi penggunaan CPU collector hingga 40% dari satu core CPU. Jika penggunaan melebihi batas ini, LoongCollector akan restart. Umumnya, satu core dapat memproses sekitar 100 MB/s dalam mode minimalist atau 20 MB/s dalam mode ekspresi reguler penuh.	"cpu_usage_limit" : 0.4
  mem_usage_limit	int	Ambang batas penggunaan memori. Rinciannya sebagai berikut: Nilai valid: 128 MB hingga 8192 MB. Nilai default: 384 MB untuk host dan 2048 MB untuk komponen ACK. Peringatan mem_usage_limit adalah batas lunak. Penggunaan memori aktual dapat melebihi nilai ini. Jika batas dilampaui selama lima menit, pemutus sirkuit dipicu dan LoongCollector secara otomatis restart. Laju pengumpulan, jumlah direktori dan file yang dipantau, serta blokir pengiriman berkaitan dengan parameter mem_usage_limit. Untuk informasi selengkapnya, lihat Batasan.	"mem_usage_limit" : 384
  max_bytes_per_sec	int	Traffic maksimum untuk mengirim data mentah per detik. Rinciannya sebagai berikut: Nilai valid: 1024 Byte/s hingga 52428800 Byte/s. Nilai default: 20971520 Byte/detik. Penting Nilai lebih besar dari 20971520 Byte/detik (20 MB/detik) berarti tanpa batas kecepatan. Misalnya, nilai 2097152 mengatur laju pengiriman data menjadi 2 MB/s.	"max_bytes_per_sec" : 2097152
  process_thread_count	int	Jumlah thread untuk pemrosesan data. Rinciannya sebagai berikut: Nilai valid: 1 hingga 64. Nilai default: 1. Satu thread biasanya dapat menangani 24 MB/s penulisan data dalam mode minimalist atau 12 MB/s dalam mode ekspresi reguler penuh. Anda tidak perlu menyesuaikan parameter ini dalam kondisi normal.	"process_thread_count" : 1
  send_request_concurrency	int	Jumlah permintaan konkuren asinkron. Rinciannya sebagai berikut: Nilai valid: 1 hingga 50. Nilai default: 20. Jika Anda memiliki TPS tulis yang tinggi, Anda dapat mengatur nilai konkurensi yang lebih tinggi. Anda dapat memperkirakan bahwa satu permintaan konkuren mendukung throughput jaringan 0.5 MB/s hingga 1 MB/s, tergantung pada latensi jaringan. Catatan Mengatur konkurensi terlalu tinggi dapat menghabiskan terlalu banyak port jaringan. Anda mungkin perlu menyesuaikan parameter terkait TCP.	"send_request_concurrency" : 4
  buffer_file_num	int	Jumlah maksimum file cache. Rinciannya sebagai berikut: Nilai valid: 1 hingga 100. Nilai default: 25. Jika terjadi masalah jaringan atau kuota tulis terlampaui, collector menyimpan log yang telah diurai ke file lokal di direktori instalasi. Collector mencoba mengirim ulang setelah masalah terselesaikan.	"buffer_file_num" : 25
  buffer_file_size	int	Ukuran maksimum satu file cache dalam byte. Rinciannya sebagai berikut: Nilai valid: 1048576 Byte hingga 104857600 Byte. Nilai default: 20971520 Byte. Ruang disk maksimum untuk file cache adalah buffer_file_size × buffer_file_num.	"buffer_file_size" : 20971520
  buffer_file_path	String	Direktori tempat file cache disimpan. Nilai default kosong, yang berarti file cache disimpan di direktori instalasi /usr/local/ilogtail. Jika Anda mengatur parameter ini, Anda harus memindahkan secara manual file bernama logtail_buffer_file_* dari direktori asal ke direktori baru. Hal ini memastikan collector dapat membaca file cache dan menghapusnya setelah dikirim.	"buffer_file_path" : ""
  bind_interface	String	Nama network interface card yang diikat. Nilai default kosong, yang berarti LoongCollector secara otomatis mengikat ke network interface card yang tersedia. Jika Anda mengaturnya ke network interface card tertentu, seperti eth1, LoongCollector dipaksa menggunakan kartu tersebut untuk mengunggah log.	"bind_interface" : ""
  check_point_filename	String	Jalur tempat file checkpoint disimpan. Nilai default: /tmp/logtail_check_point.	"check_point_filename" : /tmp/logtail_check_point
  check_point_dump_interval	int	Interval pembaruan file Checkpoint, dalam detik. Nilai default: 900. Secara default, file Checkpoint diperbarui setiap 15 menit.	"check_point_dump_interval" : 900
  user_config_file_path	String	Jalur tempat file konfigurasi disimpan. Default-nya adalah direktori binary proses. Nama file default adalah user_log_config.json.	"user_config_file_path" : user_log_config.json
  discard_old_data	Boolean	Menentukan apakah log lama dibuang. Nilai default: true. Jika diatur ke true, log yang lebih tua dari 12 jam akan dibuang.	"discard_old_data" : true
  ilogtail_discard_interval	int	Ambang batas usia untuk membuang log lama, dalam detik. Nilai default: 43200 (12 jam).	"ilogtail_discard_interval": 43200
  working_ip	String	Nilai default kosong, yang berarti alamat IP diambil secara otomatis dari server. Jika Anda mengatur nilai, nilai tersebut dilaporkan sebagai alamat IP server.	"working_ip" : ""
  working_hostname	String	Hostname yang dilaporkan untuk server ini. Nilai default kosong, yang berarti hostname diambil secara otomatis dari server.	"working_hostname" : ""
  max_read_buffer_size	long	Ukuran maksimum untuk satu entri log, dalam byte. Nilai default: 524288 (512 KB). Nilai maksimum: 8388608 (8 MB). Jika satu entri log melebihi 524288 byte, Anda dapat menaikkan nilai ini.	"max_read_buffer_size" : 524288
  oas_connect_timeout	long	Timeout koneksi untuk permintaan mendapatkan konfigurasi pengumpulan atau AccessKey, dalam detik. Nilai default: 5. Anda dapat menaikkan nilai ini jika koneksi jaringan buruk sehingga waktu koneksi menjadi lama.	"oas_connect_timeout" : 5
  oas_request_timeout	long	Timeout total permintaan untuk permintaan mendapatkan konfigurasi pengumpulan atau AccessKey, dalam detik. Nilai default: 10. Anda dapat menaikkan nilai ini jika koneksi jaringan buruk.	"" : 10
  data_server_port	long	Jika Anda mengatur data_server_port ke 443, data dikirim ke Simple Log Service melalui HTTPS.	"data_server_port": 443
  enable_log_time_auto_adjust	Boolean	Jika Anda mengatur enable_log_time_auto_adjust ke true, waktu log secara otomatis menyesuaikan dengan waktu lokal server. Untuk keamanan data, Simple Log Service memvalidasi timestamp dalam setiap permintaan, termasuk permintaan dari LoongCollector. Permintaan dengan timestamp yang berbeda lebih dari 15 menit dari waktu server akan ditolak. Collector menggunakan waktu lokal server untuk permintaan. Jika waktu lokal server diubah, misalnya ke waktu masa depan untuk pengujian, permintaan akan ditolak dan penulisan data gagal. Gunakan parameter ini agar waktu log dapat menyesuaikan diri dengan waktu lokal server. Penting Saat fitur ini diaktifkan, offset antara waktu Simple Log Service dan waktu lokal server ditambahkan ke waktu log. Karena offset hanya diperbarui saat permintaan ditolak, waktu log yang Anda kueri di Simple Log Service mungkin tidak sesuai dengan waktu penulisan aktual. Beberapa logika LoongCollector bergantung pada waktu sistem yang meningkat secara monoton. Restart collector setelah Anda menyesuaikan waktu mesin.	"enable_log_time_auto_adjust": true
  accept_multi_config	Boolean	Menentukan apakah beberapa konfigurasi pengumpulan diperbolehkan mengumpulkan file yang sama. Nilai default: false. Secara default, satu file hanya dapat dikumpulkan oleh satu konfigurasi pengumpulan. Anda dapat menggunakan parameter ini untuk menghapus pembatasan ini. Pemrosesan untuk setiap konfigurasi pengumpulan bersifat independen. Mengizinkan beberapa konfigurasi mengumpulkan file yang sama akan mengonsumsi lebih banyak CPU dan memori.	"accept_multi_config": true
  enable_checkpoint_sync_write	Boolean	Menentukan apakah fitur sync write diaktifkan. Nilai default: false. Fitur sync write terutama digunakan bersama fitur penulisan ExactlyOnce. Saat ExactlyOnce diaktifkan, collector mencatat informasi Checkpoint detail halus tingkat file ke disk lokal. Untuk alasan kinerja, panggilan `sync` tidak digunakan secara default saat menulis Checkpoint. Jika mesin restart sebelum data buffer ditulis ke disk, Checkpoint mungkin hilang. Dalam kasus ini, atur enable_checkpoint_sync_write ke true untuk mengaktifkan penulisan sync. Untuk informasi selengkapnya, lihat Konfigurasi Logtail (Versi Lama).	"enable_checkpoint_sync_write": false
  enable_env_ref_in_config	Boolean	Menentukan apakah penggantian variabel lingkungan dalam konfigurasi pengumpulan diaktifkan. Nilai default: false. Saat fitur ini diaktifkan, Anda dapat menggunakan ${xxx} dalam konfigurasi pengumpulan di konsol sebagai placeholder untuk variabel lingkungan xxx. Misalnya, jika Anda mengatur jalur pengumpulan ke /${xxx}/logs dan variabel lingkungan adalah xxx=user, jalur pengumpulan efektifnya adalah /user/logs. Jika konfigurasi Anda perlu menggunakan karakter literal ${ atau }, Anda dapat meng-escape-nya menjadi $${ dan $}, masing-masing.	"enable_env_ref_in_config": false
  logreader_max_rotate_queue_size	Int	Panjang maksimum antrian rotasi. Nilai default: 20. Saat pengumpulan log diblokir atau tertunda, file yang tertunda memegang handle file-nya dan menunggu di antrian ini. Jika pengumpulan tertunda dan Anda perlu mengontrol penggunaan disk maksimum, pertimbangkan untuk mengurangi nilai ini. Peringatan Jika jumlah file yang tertunda melebihi nilai ini, pengumpulan file baru dilewati.	"logreader_max_rotate_queue_size" : 10
  data_endpoint_policy	string	Kebijakan switching untuk endpoint Simple Log Service. Nilai yang mungkin adalah: Catatan Anda dapat memeriksa parameter data_server dalam file ilogtail_config.json untuk melihat apakah nama domain default dikonfigurasi. designated_first (Default) Jika nama domain default ditentukan untuk suatu wilayah dan tersedia, sistem menggunakan nama domain default tersebut. Jika nama domain default yang ditentukan tidak tersedia, sistem secara otomatis memilih nama domain yang tersedia. Jika tidak ada nama domain default yang ditentukan, sistem secara otomatis memilih nama domain yang tersedia. designated_locked Jika nama domain default ditentukan untuk suatu wilayah, sistem hanya menggunakan nama domain tersebut, terlepas dari ketersediaannya. Jika tidak ada nama domain default yang ditentukan, sistem secara otomatis memilih nama domain yang tersedia.	"data_endpoint_policy" : "designated_first"
  inotify_black_list	Array<String>	Blacklist untuk pendengar inotify. Ini adalah daftar pencocokan eksak. Direktori dalam daftar ini tidak dipantau oleh inotify.	"inotify_black_list": ["/tmp"]
  host_path_blacklist	String	Blacklist global untuk jalur host, dicocokkan berdasarkan substring. Di Linux, pisahkan beberapa substring dengan titik dua (:). Misalnya, "host_path_blacklist" : "/volumes/kubernetes.io~csi/nas-" mencegah pengumpulan data dari mount NAS.	"host_path_blacklist" : "/volumes/kubernetes.io~csi/nas-"
  LOGTAIL_LOG_LEVEL	String	Tingkat log. Ini harus dikonfigurasi sebagai Variabel lingkungan. Nilai default kosong, yang sesuai dengan info. Nilai yang mungkin adalah trace, debug, info, warning, error, dan fatal.	LOGTAIL_LOG_LEVEL=info
  FORCE_RELEASE_STOP_CONTAINER_FILE	Boolean	Konfigurasi: Ini hanya dapat dikonfigurasi sebagai Variabel lingkungan. Deskripsi: Saat parameter ini diatur ke true, collector segera melepaskan handle file kontainer saat kontainer aplikasi berhenti. Operasi ini mencegah kontainer tidak dapat keluar karena handle file tidak dilepaskan. Catatan: Dengan pengaturan ini, kelengkapan pengumpulan data dari kontainer tidak dapat dijamin. Tambahkan penundaan beberapa detik sebelum aplikasi Anda keluar untuk memastikan semua log dikumpulkan.	"FORCE_RELEASE_STOP_CONTAINER_FILE" : "true"

• Skenario: Contoh berikut menunjukkan skenario umum dan operasi.

Perencanaan konfigurasi kinerja pengumpulan

Untuk mencegah collector mengonsumsi sumber daya server berlebihan dan memengaruhi layanan lain, Simple Log Service membatasi kinerja pengumpulannya. Untuk meningkatkan kinerja pengumpulan, Anda dapat memodifikasi parameter startup.

Latensi jaringan tinggi atau transmisi log tidak stabil

Entri log tunggal besar terpotong

Log yang lebih tua dari 15 menit hilang selama transmisi

Beralih ke proyek di wilayah lain

Mengoptimalkan penundaan transmisi log yang panjang

File konfigurasi umum lainnya

Berikut adalah file konfigurasi dan informasi lain yang digunakan LoongCollector selama waktu proses:

File konfigurasi pengumpulan LoongCollector (user_log_config.json)

• Deskripsi: File ini mencatat informasi konfigurasi pengumpulan yang diperoleh LoongCollector dari Simple Log Service. File ini diperbarui setiap kali konfigurasi pengumpulan diperbarui. Jangan ubah file ini, kecuali untuk mengonfigurasi secara manual informasi sensitif seperti detail AccessKey atau kata sandi database.

• Jalur: /usr/local/ilogtail/user_log_config.json.

• Skenario: Anda dapat memeriksa file ini untuk memastikan apakah konfigurasi pengumpulan telah dikirim ke server. Jika file ini ada dan isinya sesuai dengan konfigurasi pengumpulan di Simple Log Service, berarti konfigurasi telah berhasil dikirim.

File catatan AppInfo (app_info.json)

• Deskripsi: File app_info.json mencatat informasi seperti waktu startup LoongCollector, alamat IP yang diambil, dan hostname. File ini hanya untuk pencatatan. Modifikasi apa pun terhadapnya tidak berlaku.

• Jalur: /usr/local/ilogtail/app_info.json.

• Skenario: Anda dapat melihat informasi IP server yang diidentifikasi oleh Simple Log Service selama pengumpulan untuk memverifikasi kecocokannya dengan informasi IP dalam kelompok mesin berbasis IP di konsol Simple Log Service. Ini biasanya digunakan untuk mengatasi kegagalan heartbeat pada kelompok mesin berbasis IP.

  Jika Anda telah mengatur binding hostname-ke-IP di file /etc/hosts server, alamat IP yang diikat akan diambil secara otomatis. Jika tidak ada binding hostname, alamat IP dari network interface card pertama akan diambil secara otomatis. Jika parameter working_ip dalam ilogtail_config.json diatur, nilainya digunakan sebagai alamat IP server.

Log waktu proses LoongCollector (loongcollector.LOG)

• Deskripsi: File loongcollector.LOG mencatat log waktu proses LoongCollector. Tingkat log, dari terendah ke tertinggi, adalah INFO, WARN, dan ERROR.

• Jalur: /usr/local/ilogtail/loongcollector.LOG.

• Skenario: Jika terjadi error pengumpulan, pertama-tama gunakan Diagnosa dan monitor LoongCollector untuk memeriksa error. Kemudian, pecahkan masalah dengan merujuk ke jenis error pengumpulan log dan log runtime LoongCollector.

File ID pengguna

• Deskripsi: File ini berisi ID akun Alibaba Cloud dari proyek tempat log yang dikumpulkan berasal. Nama file-nya adalah ID akun, tanpa ekstensi. Ini menunjukkan bahwa akun ini memiliki izin untuk mengakses dan mengumpulkan log dari server ini.

• Jalur: /etc/ilogtail/users/{ID akun Alibaba Cloud}.

• Skenario: Anda hanya perlu mengonfigurasi ID pengguna saat mengumpulkan log dari instans ECS non-Alibaba Cloud, server yang dikelola sendiri, atau server dari penyedia cloud lain. Jika beberapa akun perlu mengumpulkan log dari server yang sama, Anda dapat membuat beberapa file ID pengguna di server tersebut.

File pengenal kustom

• Deskripsi: File ini digunakan untuk mengonfigurasi pengenal kustom. Pengenal ini digunakan sebagai konten untuk kelompok mesin pengenal kustom, yang membantu Simple Log Service menemukan LoongCollector di server dan membangun heartbeat.

• Jalur: /etc/ilogtail/user_defined_id.

• Skenario: Konfigurasi ini diperlukan saat menggunakan kelompok mesin pengenal kustom. Untuk informasi selengkapnya, lihat Kaitkan kelompok mesin dengan konfigurasi pengumpulan LoongCollector.

File CheckPoint

• Deskripsi: Mekanisme checkpoint mencatat posisi pengumpulan saat ini untuk memastikan integritas log.

• Jalur: Jalur default adalah /tmp/logtail_checkpoint.

• Skenario: Anda dapat mengelola file checkpoint dengan memodifikasi file parameter startup. Untuk informasi selengkapnya, lihat Batasan.

Pertanyaan Umum

Cara upgrade saat server tidak dapat terhubung ke internet

1. Di server tempat Anda perlu melakukan upgrade LoongCollector, jalankan uname -m untuk menentukan arsitektur sistem. Lalu, di server yang dapat mengakses jaringan publik, jalankan perintah yang sesuai. Ganti ${region_id} dengan wilayah proyek Anda.

   • Arsitektur ARM:

     wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh;wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/aarch64/main/loongcollector-linux64.tar.gz;

   • Arsitektur x86-64:

     wget https://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/loongcollector.sh;wget http://aliyun-observability-release-${region_id}.oss-${region_id}.aliyuncs.com/loongcollector/linux64/latest/x86_64/main/loongcollector-linux64.tar.gz;

2. Salin skrip instalasi dan paket ke server tempat Anda perlu melakukan upgrade LoongCollector, lalu jalankan perintah berikut:

   chmod +x loongcollector.sh;./loongcollector.sh upgrade-local;