E-MapReduce:Recomendaciones para evaluar las especificaciones de recursos del clúster

Parámetros de negocio

Recopile los siguientes parámetros de negocio antes de calcular la cantidad de brokers y el tamaño del disco:

El tráfico máximo suele ser un orden de magnitud superior al tráfico promedio. Establezca el valor de tráfico entrante máximo en consecuencia y mantenga suficiente capacidad redundante para que el clúster pueda sostener el servicio bajo cargas extremas.

Utilice estos parámetros para obtener las siguientes métricas del clúster:

Especificaciones recomendadas para los nodos

Configure los nodos core con las siguientes especificaciones:

Tipo de disco. Utilice discos en la nube como discos de datos para evitar la carga operativa y de mantenimiento (O&M) que generan las fallas de discos físicos. Esto mejora la disponibilidad del servicio y reduce los costos laborales de O&M.

Después de seleccionar el tipo y la cantidad de discos, calcule el rendimiento total de E/S de disco del nodo. Seleccione una tarjeta de interfaz de red (NIC) con un ancho de banda mayor o igual al rendimiento total de E/S de disco.

Cantidad de brokers

En condiciones ideales, el límite de rendimiento de un broker de Kafka está determinado por su rendimiento de E/S de disco o por el ancho de banda de la NIC. Siga estos pasos para calcular la cantidad necesaria de brokers.

Paso 1: Calcular el rendimiento de disco por nodo.

Disk throughput per node = Throughput per disk x Number of data disks

Como referencia: el rendimiento máximo de un SSD empresarial PL1 (ESSD) es de 350 MB/s. Para discos locales, utilice la mitad del valor teórico como rendimiento efectivo, generalmente 50 MB/s.

Para consultar valores detallados de rendimiento de discos, consulte Block storage performance.

Paso 2: Calcular la cantidad de brokers según el tráfico.

Con un factor de replicación de 3, utilice como mínimo 4 brokers para que sea posible crear una partición con 3 réplicas incluso si un broker no está disponible temporalmente. Mantenga un 50 % de capacidad redundante:

Number of brokers = Max(4, (Total peak read traffic + Total peak write traffic) / Disk throughput per node / 50%)

Paso 3: Verificar los límites de réplicas de particiones.

Si la cantidad total de réplicas de particiones es elevada, realice una verificación cruzada mediante la fórmula basada en particiones:

Number of brokers = Max(4, Total number of partitions x Partition replication factor / 2,000)

Límites de réplicas de particiones:

Paso 4: Calcular el tamaño de disco por broker.

Disk size per broker = Total storage capacity / Number of brokers / Number of data disks per node / 50%

Escalado posterior a la creación del clúster

La reserva de redundancia del 50 % incluida en las fórmulas de dimensionamiento mantiene al clúster por debajo del umbral de carga where comienza la limitación. Después de crear el clúster, supervise la utilización de recursos y utilice la función de escalado horizontal para ajustar las configuraciones según el uso real de recursos.