ApsaraMQ for Kafka limite le nombre total de topics et de partitions par cluster pour préserver les performances et la stabilité. Chaque partition consomme des ressources du broker, notamment des descripteurs de fichiers, de la mémoire et des threads de réplication. Un nombre excessif de partitions dégrade le débit et augmente la latence sur l'ensemble du cluster.
Impact des partitions sur les performances du cluster
Dans ApsaraMQ for Kafka, le stockage et la planification des messages s'effectuent au niveau de la partition. Chaque partition correspond à un répertoire sur chaque broker hébergeant un réplica. Ce répertoire contient un fichier d'index et un fichier de données pour chaque segment de journal. Lorsque le nombre de partitions augmente, les problèmes suivants s'aggravent :
| Zone d'impact | Conséquences |
|---|---|
| Consommation de descripteurs de fichiers | Chaque partition nécessite des descripteurs de fichiers ouverts pour ses segments d'index et de données. Des milliers de partitions peuvent saturer la limite de descripteurs de fichiers du système d'exploitation. |
| Latence de réplication | Les brokers répliquent les données des partitions pour synchroniser les réplicas. Plus il y a de partitions, plus la validation des messages prend du temps, ce qui accroît la latence de bout en bout. |
| Temps de récupération | Lors du redémarrage ou du basculement d'un broker, celui-ci doit recharger les métadonnées et rattraper son retard sur chaque partition qu'il héberge. Un grand nombre de partitions prolonge la période d'indisponibilité pendant la récupération. |
Que faire lorsque vous atteignez la limite
Si votre charge de travail nécessite plus de topics ou de partitions que n'en autorise votre cluster actuel :
Regroupez les topics. Vérifiez si plusieurs topics à faible trafic peuvent partager un nombre réduit de partitions. Le sur-découpage en partitions est une cause fréquente d'atteinte prématurée des limites.
Soumettez un ticket. Pour plus d'informations ou pour demander une augmentation du quota, soumettez un ticket.