E-MapReduce:Recommandations pour l'évaluation des spécifications des ressources du cluster

Paramètres métier

Recueillez les paramètres métier suivants avant de calculer le nombre de brokers et la taille des disques :

Le trafic maximal est généralement d'un ordre de grandeur supérieur au trafic moyen. Définissez la valeur du trafic entrant maximal en conséquence et conservez une capacité redondante adéquate afin que le cluster puisse maintenir le service sous une charge extrême.

Utilisez ces paramètres pour déduire les métriques suivantes au niveau du cluster :

Spécifications de nœud recommandées

Configurez les nœuds core avec les spécifications suivantes :

Type de disque. Utilisez des disques cloud comme disques de données afin d'éviter la charge opérationnelle liée aux pannes de disques physiques. Cela améliore la disponibilité du service et réduit les coûts de main-d'œuvre opérationnelle.

Après avoir sélectionné le type et le nombre de disques, calculez le débit d'E/S total du disque du nœud. Sélectionnez une carte d'interface réseau (NIC) dont la bande passante est supérieure ou égale au débit d'E/S total du disque.

Nombre de brokers

Dans des conditions idéales, le plafond de débit d'un broker Kafka est déterminé soit par son débit d'E/S disque, soit par la bande passante de sa NIC. Suivez les étapes ci-dessous pour calculer le nombre de brokers requis.

Étape 1 : Calculez le débit disque par nœud.

Disk throughput per node = Throughput per disk x Number of data disks

À titre de référence : le débit maximal d'un SSD Enterprise PL1 (ESSD) est de 350 Mo/s. Pour les disques locaux, utilisez la moitié de la valeur théorique comme débit effectif, soit généralement 50 Mo/s.

Pour obtenir des valeurs détaillées sur les performances des disques, consultez la section Performances du stockage par blocs.

Étape 2 : Calculez le nombre de brokers en fonction du trafic.

Avec un facteur de réplication de 3, utilisez au moins 4 brokers afin qu'une partition comportant 3 réplicas puisse toujours être créée si un broker est temporairement indisponible. Maintenez une capacité redondante de 50 % :

Number of brokers = Max(4, (Total peak read traffic + Total peak write traffic) / Disk throughput per node / 50%)

Étape 3 : Vérifiez les limites de réplicas de partitions.

Si le nombre total de réplicas de partitions est élevé, effectuez une vérification croisée à l'aide de la formule basée sur les partitions :

Number of brokers = Max(4, Total number of partitions x Partition replication factor / 2,000)

Limites des réplicas de partitions :

Étape 4 : Calculez la taille du disque par broker.

Disk size per broker = Total storage capacity / Number of brokers / Number of data disks per node / 50%

Mise à l'échelle après la création du cluster

La réserve de redondance de 50 % intégrée aux formules de dimensionnement maintient le cluster en dessous du seuil de charge où commence la limitation du débit. Après la création du cluster, surveillez l'utilisation des ressources et utilisez la fonctionnalité de mise à l'échelle horizontale pour ajuster les configurations en fonction de l'utilisation réelle des ressources.