Este documento describe cómo estimar y planificar la capacidad de recursos para un clúster de almacenamiento de flujos de Fluss según sus requisitos empresariales.
Evaluación de recursos
Selección de una especificación de CU
Fluss en la nube pública utiliza unidades de cómputo (CU) estandarizadas con una proporción fija de vCPU a memoria de 1 vCPU por 4 GB. Elija las especificaciones según la escala de su negocio y el tamaño de los recursos de Flink asociados.
|
Especificación de CU |
Configuración |
Escenarios |
|
4 CU |
4 vCPU / 16 GB |
Introducción/Desarrollo: Entornos de desarrollo o pruebas a pequeña escala. Producción de bajo throughput: Cargas de trabajo en producción con poco tráfico de datos. En conjunto con Flink: Tamaño de recursos < 200 CU. |
|
8 CU |
8 vCPU / 32 GB |
Propósito general (recomendado): Especificación estándar que equilibra rendimiento y flexibilidad. Producción a mediana escala: Capaz de gestionar el tráfico empresarial habitual. En conjunto con Flink: Tamaño de recursos de 200 CU a 1,000 CU. |
|
16 CU |
16 vCPU / 64 GB |
Alto rendimiento/Gran almacenamiento: Para casos de uso que requieren un throughput extremadamente alto o un mayor límite de almacenamiento por nodo. Producción a gran escala: Diseñado para pipelines empresariales de misión crítica. En conjunto con Flink: Tamaño de recursos > 1,000 CU. |
Cálculo de la cantidad de Tablet Server
El tamaño del clúster depende de sus requisitos totales de throughput. Utilice la siguiente fórmula para estimar el total de CU necesarias y determinar la cantidad de nodos:
Métricas clave
Unidad de throughput: Se recomienda usar Rows/s (filas por segundo) o MB/s (megabytes por segundo) como unidad consistente para sus cálculos.
-
Rendimiento de referencia por CU:
-
Capacidad de escritura: Aproximadamente 50,000 Rows/s (~46 MB/s).
Varía según la complejidad de los datos y la lógica de actualización de la clave primaria.
-
Capacidad de lectura: Aproximadamente 50,000 Rows/s (~46 MB/s).
Varía según la proyección de columnas y las condiciones de filtro de la consulta.
-
Búfer de redundancia (recomendado): Reserve un búfer de recursos del 20% al 30% para garantizar la estabilidad del clúster durante los picos de tráfico.
Ejemplo de cálculo: Si su cálculo requiere 64 CU y elige la especificación de 8 CU, necesitará 8 nodos de Tablet Server.
Planificación del almacenamiento local
El uso del almacenamiento local está estrechamente relacionado con el tipo de tabla (tabla de registros o tabla de clave primaria).
Recomendación de configuración: Utilice inicialmente la configuración predeterminada.
Reglas de escalado: Aumente la capacidad del disco de forma independiente a medida que crezca su negocio, o bien escale horizontalmente la capacidad de almacenamiento mediante la adición de nodos.
Limitación importante: Los discos se pueden ampliar, pero no reducir. Planifique con cuidado para evitar un aprovisionamiento excesivo.
Configuraciones de ejemplo
|
Escenario |
Throughput de escritura |
Throughput de lectura |
Tipo de tabla |
Columnas |
Total de CU |
Configuración de nodos |
|
Procesamiento de flujos de bajo throughput |
250,000 Rows/s |
250,000 Rows/s |
tabla de registros |
20 |
12 CU |
3 × 4 CU |
|
Análisis en tiempo real de throughput medio |
500,000 Rows/s |
700,000 Rows/s |
tabla de clave primaria |
50 |
32 CU |
4 × 8 CU |
|
Almacén de datos en tiempo real de alto throughput |
2,200,000 Rows/s |
2,500,000 Rows/s |
tabla de clave primaria |
100 |
128 CU |
8 × 16 CU |
|
Procesamiento de flujos a gran escala |
5,000,000 Rows/s |
5,000,000 Rows/s |
tabla de registros |
30 |
256 CU |
16 × 16 CU |
|
Servicio de consulta de tabla de dimensiones |
200,000 Rows/s |
300,000 Rows/s |
tabla de clave primaria |
30 |
12 CU |
3 × 4 CU |
Preguntas frecuentes
P: ¿Cuál es la diferencia entre un clúster con 10 nodos de 8 CU y uno con 5 nodos de 16 CU? Ambas configuraciones suman 80 CU.
R: Si bien el rendimiento total de cómputo es casi idéntico, las principales diferencias radican en los límites de almacenamiento y la flexibilidad operativa:
Límites de almacenamiento: Cada nodo tiene una capacidad máxima de disco local, por ejemplo, 2 TB. Un clúster con menos nodos de mayor tamaño (16 CU) tiene menos capacidad total de disco que uno con más nodos de menor tamaño (8 CU). Si su negocio genera un gran volumen de datos, una mayor cantidad de nodos generalmente implica más espacio total de almacenamiento.
Granularidad de escalado: La especificación de 8 CU ofrece una granularidad más fina. Esto permite ajustar los recursos en incrementos menores, lo que brinda mayor flexibilidad y mejora el control de costos.