Gunakan penskalaan otomatis Prometheus Agent untuk mencegah latensi data atau kehilangan data - Managed Service for Prometheus

Jumlah replika Agent yang tidak mencukupi dapat menyebabkan restart berulang akibat kesalahan kehabisan memori (OOM), sehingga berpotensi menimbulkan latensi data atau kehilangan data. Fitur Horizontal Pod Autoscaler (HPA) untuk replika Agent di Managed Service for Prometheus membantu mencegah masalah ini.

Pemicu dan kebijakan untuk penskalaan otomatis Prometheus Agent (HPA)

Setelah Prometheus Agent dimulai, Agent tersebut mengambil target untuk menentukan jumlah deret waktu, lalu menghitung jumlah replika yang diperlukan berdasarkan kapasitas pengambilan setiap replika. Jika Agent menentukan bahwa diperlukan lebih dari satu replika untuk pengumpulan data, Horizontal Pod Autoscaler (HPA) secara otomatis melakukan skala keluar. Kebijakan spesifik untuk proses ini adalah sebagai berikut:

Saat Agent berjalan dalam mode replika tunggal: Replika master melakukan penemuan layanan target sekaligus pengambilan target. Ketika penggunaan memori master mencapai 75%, Agent secara otomatis beralih ke mode multi-replika. Namun, jika satu pekerjaan pengambilan terlalu besar, hal tersebut dapat menyebabkan kesalahan OOM pada replika master sebelum peralihan terjadi.
Saat Agent berjalan dalam mode multi-replika: Replika master hanya melakukan penemuan layanan target, sedangkan replika pekerja melakukan pengambilan target. Jika penggunaan memori replika pekerja melebihi 60%, pekerjaan pengambilan akan dialokasikan ulang. Sistem kemudian menghitung jumlah replika pekerja yang diperlukan dan secara otomatis melakukan skala keluar, sehingga rata-rata penggunaan memori di seluruh replika pekerja tidak melebihi 60%.
Catatan
Algoritma penjadwalan kolaboratif multi-faktor menetapkan batasan berikut untuk setiap Agent per putaran: hasil perkalian antara jumlah total target dan jumlah total metrik tidak boleh melebihi 4 miliar; batas penggunaan memori adalah 70%; dan jumlah maksimum metrik yang dapat diambil oleh setiap Agent adalah 4.000.000.

Cara mengaktifkan

Memperbarui chart Helm Prometheus ke versi 1.0.0 atau yang lebih baru secara otomatis mengaktifkan HPA Prometheus Agent. Untuk informasi selengkapnya tentang cara memperbarui chart Helm, lihat Peningkatan Komponen: Memperbarui ke Helm 1.1.17/Agent v4.0.0.

Penskalaan otomatis Prometheus Agent tidak meningkatkan jumlah replika pengambilan tanpa batas. Jumlah maksimum replika pengambilan secara default adalah 30. Prometheus Agent tidak melakukan skala masuk secara otomatis karena hal tersebut dapat menyebabkan kehilangan data.