Si le nombre de cibles de collecte croît plus rapidement que la capacité de l'agent, les réplicas manquent de mémoire (OOM), redémarrent et provoquent une latence ou une perte de données. L'Horizontal Pod Autoscaler (HPA) des agents Managed Service for Prometheus ajoute automatiquement des réplicas en fonction des métriques de mémoire et de charge de travail en temps réel pour éviter ce problème.
Fonctionnement
Un agent Prometheus démarre en mode à réplica unique et bascule en mode multi-réplicas lorsque la charge de travail dépasse ce qu'un seul réplica peut gérer. Le HPA ajuste ensuite le nombre de réplicas de travail pour maintenir la pression mémoire dans des seuils sûrs.
Mode à réplica unique
Le réplica maître gère à la fois la découverte des services cibles et la collecte des données sur ces cibles. Lorsque son utilisation de la mémoire atteint 75 %, l'agent passe automatiquement en mode multi-réplicas.
Remarque : Si une seule tâche de collecte est trop volumineuse, elle peut provoquer une erreur OOM sur le réplica maître avant que le basculement ne se produise.
Mode multi-réplicas
Après le basculement, le réplica maître ne gère plus que la découverte des services cibles, tandis que les réplicas de travail s'occupent de la collecte des données.
Lorsque l'utilisation de la mémoire d'un réplica de travail dépasse 60 %, l'agent :
Répartit les tâches de collecte entre les réplicas de travail.
Calcule le nombre de réplicas de travail nécessaires pour maintenir l'utilisation moyenne de la mémoire à 60 % ou moins.
Déclenche la mise à l'échelle horizontale via le HPA.
Limites de planification
L'algorithme de planification collaborative multifactoriel applique les limites suivantes par agent et par cycle de planification.
|
Limite |
Seuil |
|
Cibles totales x métriques totales |
4 milliards |
|
Utilisation de la mémoire |
70 % |
|
Métriques maximales par agent |
4 000 000 |
Limites de mise à l'échelle
Nombre maximal de réplicas : 30 réplicas de collecte par agent (valeur par défaut).
Pas de réduction automatique du nombre de réplicas : L'agent ne réduit pas automatiquement le nombre de réplicas, car cette opération peut entraîner une perte de données.
Activez le HPA
Mettez à niveau le chart Helm Prometheus vers la version 1.0.0 ou ultérieure. Le HPA est activé automatiquement après la mise à niveau. Aucune configuration supplémentaire n'est requise.
Pour obtenir les instructions de mise à niveau, consultez Mise à niveau des composants : migration vers Helm 1.1.17/Agent v4.0.0.