How to rebalance partitions and redirect traffic - ApsaraMQ for Kafka

Rééquilibrez les partitions d'un cluster ou redirigez le trafic d'un topic spécifique depuis la console pour optimiser l'utilisation des disques.

Contexte

Rééquilibrage des partitions

Une répartition inégale des partitions entre vos topics peut déséquilibrer votre cluster, entraînant une sous-utilisation des performances et de la capacité des disques. La solution standard consiste à augmenter le nombre de partitions du topic jusqu'à un multiple recommandé pour le cluster. Dans les environnements de production où vous ne pouvez pas ajuster immédiatement les partitions, utilisez la fonctionnalité de rééquilibrage des partitions. Elle redistribue les partitions de tous les topics en cloud storage de manière aussi uniforme que possible sur tous les nœuds.

Redirection du trafic

Si un topic en cloud storage génère un trafic élevé avec une répartition inégale des partitions, l'utilisation du disque peut augmenter brusquement sur un nœud spécifique. Utilisez la fonctionnalité de redirection du trafic pour transférer le trafic de ce topic vers un nœud dont l'utilisation du disque est plus faible.

Risques

Pour maintenir la stabilité du cluster, le rééquilibrage des partitions s'effectue sur un seul topic à la fois. La redirection du trafic pour les topics en cloud storage se termine en quelques secondes, mais elle déclenche une mise à jour des métadonnées et une reconnexion des clients. Assurez-vous que vos clients peuvent mettre à jour les métadonnées et se reconnecter automatiquement avant de commencer. La migration des données pour les topics en local storage est plus lente : faites preuve de prudence lors de cette opération sur ces topics.

Procédure

Connectez-vous à la console ApsaraMQ for Kafka. Dans le volet de navigation de gauche, cliquez sur Instances.
Dans la barre de menu supérieure, sélectionnez une région.
Configurez le rééquilibrage des partitions ou la redirection du trafic.
- Rééquilibrer les partitions d'un cluster.
  1. Sur la page Instances, repérez l'instance cible et choisissez More > Partition Balancing dans la colonne Actions.
  2. Lisez attentivement les informations affichées dans la boîte de dialogue et cliquez sur OK.
- Rediriger le trafic d'un topic.
  1. Sur la page Instances, cliquez sur le nom de l'instance cible.
  2. Dans le volet de navigation de gauche, cliquez sur Topics. Sur la page qui s'affiche, repérez le topic cible et choisissez More > Traffic Redirection dans la colonne Actions.
  3. Lisez attentivement les informations affichées dans la boîte de dialogue et cliquez sur OK.