Pemecahan masalah heartbeat kelompok mesin SLS - Simple Log Service

Heartbeat kelompok mesin memantau komunikasi antara server dan Simple Log Service (SLS). Jika heartbeat tidak normal, server tidak dapat mengirim data ke SLS.

Penyebab masalah heartbeat

LoongCollector menggunakan item konfigurasi berikut untuk mengidentifikasi proyek tujuan dan melaporkan heartbeat. Untuk mengatasi masalah heartbeat, verifikasi item-item ini dan periksa konektivitas jaringan.

Akun Alibaba Cloud yang memiliki proyek SLS: Akun ini harus memiliki izin untuk mengakses dan mengumpulkan log dari server.
Wilayah dan jenis koneksi proyek: Titik akhir SLS dihasilkan secara dinamis berdasarkan wilayah dan jenis koneksi. Pastikan server dapat terhubung ke titik akhir ini. Jenis koneksi jaringan dan titik akhir.
Pengenal kustom atau alamat IP: LoongCollector menetapkan heartbeat dengan mengaitkan server ke kelompok mesin melalui alamat IP atau pengenal kustom.

Proses penetapan heartbeat

LoongCollector membaca konfigurasinya untuk mengambil ID akun Alibaba Cloud, titik akhir (dihasilkan dari wilayah dan jenis koneksi), serta alamat IP atau pengenal kustom server.
LoongCollector melaporkan heartbeat ke proyek di wilayah yang ditentukan.
Proyek yang memenuhi kriteria membandingkan alamat IP atau pengenal kustom dalam kelompok mesinnya dengan informasi yang dilaporkan.
Jika informasi tersebut sesuai, heartbeat ditetapkan dan status pada kelompok mesin yang sesuai berubah menjadi OK.

Skenario umum masalah heartbeat

Heartbeat server baru GAGAL

Koneksi awal mungkin memerlukan waktu untuk ditetapkan. Tunggu sekitar dua menit dan refresh statusnya. Jika heartbeat tetap FAIL:

Verifikasi bahwa Anda memilih skenario instalasi LoongCollector yang benar. Jika salah, uninstal dan instal ulang LoongCollector.

Metode instalasi	Skenario yang berlaku
Akun dan wilayah sama	Berlaku ketika server adalah Instance ECS dalam akun yang sama dan wilayah yang sama dengan proyek.
Akun sama tetapi wilayah berbeda	Berlaku ketika server adalah Instance ECS dalam akun yang sama tetapi wilayah yang berbeda dari proyek.
Akun berbeda tetapi wilayah sama	Berlaku ketika server adalah Instance ECS dalam wilayah yang sama dengan proyek tetapi di bawah akun yang berbeda.
Server cloud lain atau on-premises	Berlaku ketika server bukan Instance ECS (on-premises atau penyedia cloud lain). Juga berlaku ketika Instance ECS dan proyek berada di akun berbeda dan wilayah berbeda. Perlakukan server sebagai on-premises dalam kasus ini.

Di server, jalankan sudo /etc/init.d/loongcollectord status untuk memeriksa status LoongCollector. Jika output-nya loongcollector is running, artinya sudah berjalan. Jika tidak, mulai layanan tersebut:

Jika Anda menggunakan Logtail, jalankan sudo /etc/init.d/ilogtaild status untuk memeriksa statusnya dan sudo /etc/init.d/ilogtaild start untuk menjalankannya.
```
sudo /etc/init.d/loongcollectord start
```
Dalam skenario cross-account, Anda harus mengonfigurasi file ID pengguna untuk memberikan izin kepada akun proyek agar dapat mengakses server dan mengumpulkan log.
Periksa file ID pengguna
1. Periksa apakah file /etc/ilogtail/users/{Alibaba Cloud account ID} ada. Buat jika belum ada.
  1. Masuk ke Konsol Simple Log Service. Arahkan kursor ke gambar profil di pojok kanan atas dan salin ID akun utama.
  2. Di server tempat LoongCollector diinstal, buat file ID pengguna. Gunakan ID akun utama sebagai nama file.
    touch /etc/ilogtail/users/{Alibaba Cloud account ID} # Gunakan ID akun utama sebagai nama file. Tidak perlu ekstensi file.
2. Verifikasi bahwa nama file memenuhi persyaratan berikut:
  - {Alibaba Cloud account ID} harus merupakan ID akun utama.
  - {Alibaba Cloud account ID} harus merupakan ID akun Alibaba Cloud yang memiliki proyek SLS, bukan akun yang memiliki server.
Verifikasi wilayah dan jenis koneksi, dan pastikan server dapat mencapai titik akhir tersebut. Periksa apakah region dalam /usr/local/ilogtail/ilogtail_config.json sesuai dengan ID Wilayah proyek SLS. Jika tidak, ubah konfigurasinya:
Uji konektivitas titik akhir dan modifikasi konfigurasi server
1. Masuk ke Konsol Simple Log Service. Di daftar proyek, klik proyek tujuan.
2. Klik ikon di sebelah kanan nama proyek untuk membuka halaman ikhtisar proyek.
3. Di bagian Endpoint, lihat titik akhir untuk proyek saat ini. Ganti ${project_name} dengan nama proyek Anda dan ${endpoint} dengan titik akhir publik, lalu jalankan perintah berikut di server:
```
curl https://${project_name}.${endpoint}
```
4. Tanggapan seperti {"Error":{"Code":"OLSInvalidMethod","Message":"The script name is invalid : /","RequestId":"5D****09"}} menunjukkan koneksi jaringan berfungsi. Jika tidak, periksa apakah tujuan diblokir dan verifikasi pengaturan DNS, security group, dan port (port 80 untuk HTTP, port 443 untuk HTTPS).
  
  Kesalahan ini diharapkan dan mengonfirmasi konektivitas jaringan. Hal ini terjadi karena perintah uji tidak menyertakan parameter yang diperlukan untuk permintaan API yang valid.
5. Modifikasi parameter berikut dalam file /usr/local/ilogtail/ilogtail_config.json:
  - config_servers: Jalur untuk mengambil konfigurasi koleksi. Atur ke "http://logtail.${endpoint}", di mana ${endpoint} adalah titik akhir publik.
  - data_servers:
    
    region: Wilayah untuk transmisi data. Atur ke "${region_id}", di mana ${region_id} adalah ID Wilayah proyek SLS.
    
    endpoint_list: Jalur untuk transmisi data. Atur ke "${endpoint}", di mana ${endpoint} adalah titik akhir publik.
6. Simpan perubahan dan restart LoongCollector.
  
  Jika Anda menggunakan Logtail, perintah restart-nya adalah: sudo /etc/init.d/ilogtaild restart
```
sudo /etc/init.d/loongcollectord restart
```
Periksa pengenal kustom atau alamat IP:
1. Masuk ke Konsol Simple Log Service. Di daftar proyek, klik proyek tujuan.
2. Di panel navigasi kiri, pilih Resources > Machine Groups. Di halaman Machine Groups, klik kelompok mesin target.
3. Di halaman Machine Group Configurations, periksa Machine Group Identifier dan lakukan tindakan yang sesuai:
  Pengenal kustom
  1. Periksa apakah /etc/ilogtail/user_defined_id ada di server. Buat jika belum ada.
  2. Tulis string kustom ke file ini sebagai pengenal kustom. Contoh ini menggunakan user-defined-test-1.
    # Tulis string kustom ke file yang ditentukan. echo "user-defined-test-1" > /etc/ilogtail/user_defined_id
  3. Di konsol, atur nilai Custom Identifier ke string kustom tersebut. Dalam contoh ini, nilainya adalah user-defined-test-1.
  Alamat IP
  
  Tambahkan nilai ip dari /usr/local/ilogtail/app_info.json di server ke bidang IP Address di konsol.
  
  Logika pengambilan alamat IP: Jika pemetaan hostname ke alamat IP dikonfigurasi di file /etc/hosts di server, alamat IP yang dipetakan akan digunakan. Jika tidak ada pemetaan yang dikonfigurasi, alamat IP dari kartu antarmuka jaringan (NIC) pertama akan digunakan. Jika parameter working_ip diatur di file /usr/local/ilogtail/ilogtail_config.json, nilainya akan digunakan sebagai alamat IP server. Pastikan alamat IP dapat diambil dengan setidaknya salah satu metode ini. Jika tidak, bidang ip akan kosong, dan heartbeat tidak dapat ditetapkan.

Heartbeat berubah dari OK menjadi FAIL

Heartbeat yang sebelumnya berhasil mengonfirmasi bahwa konfigurasi awal Anda benar. Jika kelompok mesin menggunakan pengenal kustom, pengaturannya statis dan masalah kemungkinan besar terkait jaringan — periksa konektivitas ke titik akhir SLS. Jika kelompok mesin menggunakan alamat IP, status FAIL biasanya menunjukkan perubahan atau konflik IP.

Restart LoongCollector di server untuk mengambil alamat IP terbaru.

Jika Anda menggunakan Logtail, perintah restart-nya adalah: sudo /etc/init.d/ilogtaild restart
```
sudo /etc/init.d/loongcollectord restart
```
Lihat bidang ip dalam /usr/local/ilogtail/app_info.json di server.

Logika pengambilan alamat IP: Jika pemetaan hostname ke alamat IP dikonfigurasi di file /etc/hosts di server, alamat IP yang dipetakan akan digunakan. Jika tidak ada pemetaan yang dikonfigurasi, alamat IP dari kartu antarmuka jaringan (NIC) pertama akan digunakan. Jika parameter working_ip diatur di file /usr/local/ilogtail/ilogtail_config.json, nilainya akan digunakan sebagai alamat IP server.
Masuk ke Konsol Simple Log Service. Di daftar proyek, klik proyek tujuan.
Di panel navigasi kiri, pilih Resources > Machine Groups. Di halaman Machine Groups, klik kelompok mesin target.
Di halaman Machine Group Configurations, periksa apakah bidang IP Address berisi nilai bidang ip dari file /usr/local/ilogtail/app_info.json. Jika tidak, tambahkan nilai bidang ip ke bidang IP Address.
Jika alamat IP cocok tetapi heartbeat tetap FAIL, IP tersebut mungkin tidak stabil atau mengalami konflik. Pertimbangkan untuk beralih ke pengenal kustom.

Heartbeat gagal setelah mengganti jenis pengenal

Jika konflik atau perubahan alamat IP membuat kelompok mesin berbasis IP tidak sesuai, beralihlah ke pengenal kustom. Perubahan ini tidak memengaruhi konektivitas jaringan, informasi akun, atau pengaturan wilayah. Pastikan pengenal kustom dikonfigurasi dengan benar:

Konfirmasi bahwa /etc/ilogtail/user_defined_id ada. Buat jika belum ada.

Tulis string kustom ke file ini sebagai pengenal kustom. Contoh ini menggunakan user-defined-test-1.

# Tulis string kustom ke file yang ditentukan.
echo "user-defined-test-1" > /etc/ilogtail/user_defined_id

Masuk ke Konsol Simple Log Service. Di daftar proyek, klik proyek tujuan.
Di panel navigasi kiri, pilih Resources > Machine Groups. Di halaman Machine Groups, klik kelompok mesin target.
Di halaman Machine Group Configurations, konfirmasi parameter berikut. Jika salah, klik Modify di pojok kanan atas untuk memperbaruinya.
- Machine Group Identifier: Custom Identifier.
- Custom identifier: String kustom tersebut. Dalam contoh ini, nilainya adalah user-defined-test-1.

FAQ

Mengapa heartbeat FAIL meskipun konfigurasi sudah benar?

Jika konfigurasi sudah benar dan jaringan berfungsi, heartbeat tetap bisa FAIL karena alasan berikut:

Interval heartbeat dikendalikan alirannya karena tidak ada konfigurasi koleksi yang diterapkan di wilayah tersebut dalam waktu lama.
- Untuk mengurangi beban layanan, agen mengurangi frekuensi permintaan konfigurasi ketika wilayah tidak mengembalikan konfigurasi apa pun. Intervalnya dapat meningkat hingga 12 menit. Jika ini melebihi ambang batas timeout heartbeat, status berubah menjadi FAIL.
- Solusi: Abaikan status FAIL dan terapkan konfigurasi koleksi ke kelompok mesin. Heartbeat pulih pada permintaan berikutnya. Untuk memulihkannya segera, restart agen.
Konfigurasi yang sedang berjalan tidak sesuai dengan file ilogtail_config.json saat ini.
- Contoh: Agen dimulai dengan konfigurasi non-default, lalu ilogtail_config.json dimodifikasi tanpa merestart agen.
- Cara memeriksa:
  - Solusi paling sederhana adalah merestart agen. Agen akan secara otomatis memuat konfigurasi terbaru.
  - Periksa log: Jika Anda ingin menghindari gangguan koleksi, periksa /usr/local/ilogtail/ilogtail.LOG. Dari awal file, cari load logtail config file. Entri yang sesuai menunjukkan konfigurasi aktif. Verifikasi apakah sesuai dengan file lokal Anda.

Bagaimana cara mengatasi `fetch ecs token fail Timeout was reached` yang dilaporkan oleh LoongCollector?

Kesalahan ini terjadi ketika LoongCollector tidak dapat mengakses layanan metadata ECS di 100.100.100.200.

Di Instance ECS, jalankan perintah berikut untuk menguji konektivitas ke layanan metadata:

curl http://100.100.100.200/latest/meta-data/instance-id

Jika perintah tidak dapat terhubung, periksa apakah konfigurasi security group ECS mengizinkan akses ke layanan metadata ECS.

Bagaimana cara memecahkan masalah timeout ketika Instance ECS mengakses titik akhir internal SLS di wilayah yang sama?

Pertama, pastikan Instance ECS dan proyek Simple Log Service berada di wilayah yang sama. Lalu uji resolusi DNS dan konektivitas ke titik akhir internal OSS dan SLS:

curl -v http://${oss_internal_endpoint}
curl -v http://${sls_project_name}.${sls_internal_endpoint}

Ganti ${oss_internal_endpoint}, ${sls_project_name}, dan ${sls_internal_endpoint} dengan nilai titik akhir internal untuk wilayah dan proyek Anda.

Periksa apakah firewall iptables atau perangkat lunak keamanan seperti Tailscale memblokir rentang jaringan internal Alibaba Cloud, termasuk 100.64.0.0/10 dan 100.115.0.0/16. Jika suatu aturan memblokir salah satu rentang tersebut, tambahkan ke daftar putih. Juga verifikasi bahwa konfigurasi DNS mengarah ke server DNS internal Alibaba Cloud 100.100.2.136 dan 100.100.2.138.

Bagaimana cara mengatasi alamat IP yang salah yang dilaporkan oleh LoongCollector ketika NodeLocalDNS digunakan di kluster ACK?

NodeLocalDNS dapat menyebabkan LoongCollector memilih alamat IP dari antarmuka jaringan virtual. Di /usr/local/ilogtail/ilogtail_config.json, tambahkan atau perbarui parameter working_ip dengan alamat IP fisik yang benar dari node tersebut. Restart LoongCollector untuk menerapkan konfigurasi:

sudo /etc/init.d/loongcollectord restart

Jika Anda menggunakan kolektor data Logtail, restart kolektor tersebut:

sudo /etc/init.d/ilogtaild restart

Bagaimana cara mengatasi `ClientNotRunning` selama instalasi Logtail otomatis ketika `aliyun.service` tidak berjalan?

Instalasi Logtail otomatis memerlukan layanan Asisten Cloud. Di Instance ECS, jalankan perintah berikut untuk mengaktifkan dan menjalankan layanan tersebut:

systemctl enable aliyun.service --now

Setelah layanan berjalan, ulangi instalasi otomatis komponen koleksi di Simple Log Service.

Bagaimana cara mengatasi `daemon not found, but found orphaned workers` ketika LoongCollector gagal dimulai?

Kesalahan ini dapat menunjukkan proses komponen tidak normal atau sumber daya server tidak mencukupi. Periksa data pemantauan memori dan CPU server untuk menentukan apakah pemanfaatan sumber daya terlalu tinggi. Lalu gunakan Component Management untuk melakukan upgrade komponen LoongCollector ke versi terbaru yang tersedia.

Jika masalah tetap berlanjut setelah upgrade, uninstal komponen LoongCollector dan instal ulang. Di kelompok mesin, verifikasi bahwa heartbeat kelompok mesin normal dan pastikan konfigurasi koleksinya benar.