Lorsque vous mettez à niveau la spécification de trafic d'une instance ApsaraMQ for Kafka, le cluster peut effectuer une mise à l'échelle horizontale en ajoutant des brokers. Après cette opération, les partitions de topic existantes restent sur les brokers d'origine et sont soumises aux limites de trafic antérieures à la mise à niveau. Rééquilibrez le trafic des topics pour redistribuer les partitions sur tous les brokers, y compris les nouveaux, afin que les topics existants puissent tirer parti de la capacité supplémentaire.
Les topics créés après la mise à l'échelle horizontale sont automatiquement répartis sur tous les brokers et ne sont pas soumis aux limites de trafic antérieures à la mise à niveau.
Sur les instances ApsaraMQ for Kafka sans serveur (serverless), le rééquilibrage des topics est déclenché automatiquement. Aucune action manuelle n'est requise.
Prérequis
Avant de commencer, assurez-vous d'avoir :
Une instance ApsaraMQ for Kafka dans l'état Running (Pending Rebalancing)
Une instance passe à l'état Running (Pending Rebalancing) après une mise à l'échelle horizontale du cluster. Pour plus d'informations sur la mise à niveau des spécifications de trafic et les conditions de déclenchement de la mise à l'échelle, consultez la rubrique Mettre à niveau les configurations d'instance.
Rééquilibrer le trafic des topics dans la console
Connectez-vous à la console ApsaraMQ for Kafka.
Dans la section Resource Distribution de la page Overview, sélectionnez la région où se trouve votre instance.
Sur la page Instances, cliquez sur le nom de l'instance que vous souhaitez gérer.
Sur la page Instance Details, cliquez sur Rebalance Topic Traffic dans le coin supérieur droit de la section Overview.
Dans le panneau Rebalance Topic Traffic for Instance, sélectionnez une Traffic Rebalancing Method. Pour plus de détails sur chaque méthode, consultez la section Méthodes de rééquilibrage.
Après avoir sélectionné une méthode, tous les topics de l'instance passent à l'état Pending Rebalancing. Vous pouvez vérifier l'état des topics dans la colonne Status de la page Topics.
Résultat
Une fois le trafic des topics rééquilibré, tous les topics repassent à l'état Running. Vérifiez l'état des topics dans la colonne Status de la page Topics.
Méthodes de rééquilibrage
Sélectionnez une méthode de rééquilibrage adaptée à vos besoins en matière de charge de travail. Le tableau suivant résume les méthodes disponibles :
| Méthode | Durée | Modification du nombre de partitions | Impact sur l'ordre des messages |
|---|---|---|---|
| Migrate Data from Partitions of All Topics (Recommended) (recommandé) | De quelques secondes (stockage cloud) à plusieurs heures (stockage local) | Non | Non |
| Add Partitions to All Topics | Quelques secondes | Oui | Oui |
| Do Not Rebalance (Not Recommended) | Immédiate | Non | Non |
Migrer les données depuis les partitions de tous les topics (recommandé)
Cette méthode redistribue les partitions existantes sur tous les brokers sans modifier le nombre de partitions. Il s'agit de la méthode recommandée pour tous les scénarios de mise à l'échelle horizontale.
Le comportement varie selon le moteur de stockage :
| Moteur de stockage | Mécanisme | Impact | Durée |
|---|---|---|---|
| Stockage cloud | Modifie le mappage partition-broker sans migrer les données. | Aucun trafic interne temporaire n'est généré. | Quelques secondes. Chaque topic prend environ 30 secondes. |
| Stockage local | Utilise l'outil kafka-reassign-partitions pour migrer les données des partitions vers les nouveaux brokers. |
Un trafic interne temporaire est généré pendant la migration. | De quelques minutes à plusieurs heures, selon le volume de données. Pour les grands ensembles de données, la migration peut prendre plusieurs heures, voire plus. |
Vous ne pouvez spécifier le stockage local comme moteur de stockage que lors de la création de topics pour les instances Édition Professionnelle. Pour les migrations vers le stockage local, exécutez le rééquilibrage pendant les heures creuses afin de minimiser l'impact du trafic interne temporaire sur vos charges de travail.
Ajouter des partitions à tous les topics
Cette méthode ajoute de nouvelles partitions sur les nouveaux brokers pour tous les topics existants. C'est la méthode la plus rapide, mais elle modifie le nombre de partitions.
Durée : Quelques secondes.
Impact :
Les nouveaux messages dans les partitions ajoutées peuvent arriver dans le désordre.
Le nombre total de partitions augmente. Si votre client ne détecte pas automatiquement les nouvelles partitions, redémarrez le client ou mettez à jour son code. Cela s'applique aux scénarios ETL (extract, transform, load) ainsi qu'aux scénarios où les messages sont envoyés ou consommés depuis des partitions spécifiques.
Idéal pour : Les charges de travail qui ne nécessitent pas le respect de l'ordre des partitions, où la partition cible n'est pas spécifiée pour la production de messages et où le mode de consommation est basé sur l'abonnement.
Ne pas rééquilibrer
Aucune action n'est entreprise. Les topics existants restent sur les brokers précédant la mise à l'échelle horizontale. Les topics créés après la mise à l'échelle sont répartis uniformément sur tous les brokers.
Durée : Prise d'effet immédiate.
Impact :
Les topics existants restent soumis à la spécification de trafic achetée avant la mise à l'échelle horizontale.
Si le volume de trafic des topics existants est élevé, le trafic des brokers peut devenir déséquilibré.
Idéal pour : Les scénarios où le trafic des topics existants est faible et peu susceptible d'augmenter, ou lorsque la majeure partie du trafic est dirigée vers de nouveaux topics créés après la mise à l'échelle horizontale.
Ignorer le rééquilibrage signifie que les topics d'origine ne peuvent pas utiliser la capacité mise à niveau.
Notes d'utilisation
Lorsqu'une instance est dans l'état Running (Pending Rebalancing) :
Vous pouvez continuer à envoyer et recevoir des messages.
Vous ne pouvez pas créer de ressources telles que des topics et des groupes de consommateurs tant que le rééquilibrage n'est pas terminé.
Le rééquilibrage est facultatif. Si vous n'avez pas besoin que les topics d'origine utilisent la capacité mise à niveau, sélectionnez Do Not Rebalance. Pour plus de détails, consultez la section Ne pas rééquilibrer.