Realtime Compute for Apache Flink:Configurar los recursos de un trabajo

Utilice las siguientes fórmulas para calcular los recursos necesarios:

• Número de CU = MAX(CPU total para JobManager y TaskManagers, Memoria total para JobManager y TaskManagers / 4)

• Número real de TaskManagers = ceil(Parallelism / Slots per TaskManager)

• Slots reales por TaskManager = Parallelism / Número real de TaskManagers

Por ejemplo, suponga que establece el paralelismo en 12 y los slots por TaskManager en 4.

En este caso, Job Manager CPU es de 2 núcleos, JobManager Memory es de 4 GiB, Task Manager CPU es de 2 núcleos y TaskManager Memory es de 4 GiB.

En la consola de Realtime Compute for Apache Flink, el número real de TaskManagers es 3 y cada TaskManager tiene 4 slots.

El número real de TaskManagers y de slots por TaskManager se calcula de la siguiente manera:

1. Número real de TaskManagers = ceil(Paralelismo configurado / Slots configurados por TaskManager) = ceil(12 / 4) = 3.

2. Slots reales por TaskManager = Paralelismo / Número real de TaskManagers = 12 / 3 = 4.

Configurar los recursos básicos

Configurar los recursos de los slots

1. En Expert, haga clic en Get Plan Now para obtener el gráfico del plan de recursos.

2. Haga clic en el icono Editar de un cuadro de slot. El gráfico del plan de recursos generado muestra varios cuadros de slot. Cada uno contiene la información del operador VERTEX y un valor de PARALLELISM.

3. Modifique la configuración del slot. En el cuadro de diálogo, configure los parámetros CPU, Heap Memory, Off-Heap Memory y parallelism.

   El paralelismo que establezca aquí se aplicará a todos los operadores dentro de este Slot Sharing Group. Una vez guardada la configuración, el sistema realiza automáticamente lo siguiente:

   • Establece el mismo paralelismo para todos los operadores de este Slot Sharing Group.

   • Asigna la memoria necesaria para el state backend, Python y los operadores según la lógica de cálculo del trabajo. Esta asignación se hace de forma automática.

   Nota

   • Para un nodo Source, se recomienda establecer un paralelismo proporcional a su número de particiones. Es decir, el paralelismo debe ser un divisor del número de particiones. Por ejemplo, si un topic de Kafka tiene 16 particiones, establezca el paralelismo en 16, 8 o 4 para evitar el sesgo de datos.

   • Si establece un paralelismo demasiado bajo para un nodo Source, se puede generar un cuello de botella. Un único Source podría leer demasiados datos y reducir el rendimiento del trabajo.

   • Para los demás nodos, establezca el paralelismo de acuerdo con su tráfico de datos. Asigne un paralelismo mayor a los nodos con más tráfico.

   Nota

   En el modo experto, el cuadro de diálogo de configuración del slot expone CPU, Heap Memory y Off-Heap Memory para su configuración manual. Otros componentes de memoria, como JVM Overhead, los búferes de red y la memoria del framework, se asignan automáticamente con sus proporciones predeterminadas. Estos componentes se preasignan cuando inicia el TaskManager y no se ajustan de forma dinámica durante la ejecución del trabajo.

   Si encuentra errores de memoria insuficiente causados por estos componentes asignados automáticamente, configure los siguientes parámetros en el campo Other Configurations dentro de Running Parameters Configuration:

   • taskmanager.memory.jvm-overhead.fraction: tamaño de JVM Overhead como fracción de la memoria total del TaskManager. Valor predeterminado: 0.1 (10 %).

   • taskmanager.memory.jvm-overhead.max: tamaño máximo de JVM Overhead.

   • taskmanager.memory.jvm-overhead.min: tamaño mínimo de JVM Overhead.

4. Haga clic en OK.

Configurar los recursos de los operadores

De forma predeterminada, todos los operadores comparten un único Slot Sharing Group. Esto impide configurar sus recursos de manera individual. Para configurar los recursos de un operador específico, habilite Multiple SSG. Esta opción asigna un slot independiente a cada operador y le permite configurar sus recursos en dicho slot.

1. En la pestaña Configuration, haga clic en Edit en la sección Resources y establezca Mode en Expert.

2. (Opcional) Si no se muestra ningún plan de recursos, haga clic en Get Plan Now.

   De forma predeterminada, el gráfico del plan de recursos generado muestra todos los operadores dentro de un único cuadro de slot.

3. Active el interruptor Multiple SSG y luego haga clic en Re-fetch.

   Esta acción divide los operadores del grupo compartido en slots individuales.

4. Haga clic en el icono Editar del cuadro de slot que corresponde al operador deseado y modifique los recursos del operador.

   En el cuadro de diálogo Modify slot, configure los parámetros CPU, Heap Memory, Off-Heap Memory y parallelism.

5. Haga clic en OK.

Paralelismo de operadores, estrategia de encadenamiento y State Expiration Time Settings

Configure el paralelismo, la estrategia de encadenamiento y State Expiration Time Settings para operadores individuales.

1. Haga clic en el icono Expandir del cuadro VERTEX correspondiente.

   Al expandirlo, el cuadro VERTEX muestra cada nodo de operador, su valor de PARALLELISM y un icono de edición junto a cada operador.

   Nota

   Haga clic en el icono Editar de un VERTEX para establecer el paralelismo de todos los operadores dentro de ese VERTEX de forma masiva.

2. Haga clic en el icono Editar del operador.

3. Configure los recursos del operador.

   A continuación se describen los parámetros.

   Parámetro	Descripción
   Parallelism	El paralelismo del operador.
   Chaining strategy	El encadenamiento conecta varios operadores en una sola tarea. Esto mejora el rendimiento porque reduce la transferencia de datos y la sobrecarga de serialización. Sin embargo, puede romper una cadena para tener un control más preciso del flujo de ejecución. Están disponibles las siguientes estrategias: ALWAYS (predeterminado): el operador siempre se puede encadenar con los operadores anteriores y posteriores. HEAD: el operador actual actúa como cabeza de una cadena. No se encadena con los operadores anteriores, pero sí permanece encadenado con los posteriores. NEVER: el operador actual no se encadena con ningún operador anterior ni posterior.
   State Expiration Time Settings	Establezca el tiempo de caducidad en segundos, minutos, horas o días. De forma predeterminada, el operador hereda el tiempo de caducidad de estado del trabajo, cuyo valor predeterminado es 1.5 días. Para configurar el tiempo de caducidad a nivel de trabajo, consulte Configure running parameters. Nota Esta función solo es compatible con Ververica Runtime (VVR) 8.0.7 y versiones posteriores. La configuración de TTL solo es compatible con operadores con estado. La caducidad de estado es un mecanismo de limpieza aproximado. El sistema no garantiza que el estado caducado se elimine inmediatamente después de que transcurra el TTL. El tiempo real de limpieza depende de los patrones de acceso al estado en segundo plano y de las políticas de limpieza.

4. Haga clic en OK.

¿Establecer el paralelismo equivale a consumir la misma cantidad de CU?

No. Parallelism se refiere al número de tareas concurrentes que se ejecutan en un trabajo. CU (Compute Unit) es la unidad de facturación y de recursos que usa Realtime Compute for Apache Flink. No tienen una relación de 1:1.

El consumo total de CU se calcula con la siguiente fórmula:

Consumo total de CU = Parallelism × CU por tarea

Las CU que consume cada tarea se determinan según la especificación de recursos por slot configurada para el trabajo. Al aumentar el paralelismo, aumenta el consumo total de CU. Sin embargo, este incremento es proporcional a la especificación de CU por tarea, no una relación simple de 1:1.

¿Por qué SET 'parallelism.default' no surte efecto en los trabajos SQL?

Usar SET 'parallelism.default' = 'N'; directamente en las instrucciones de un trabajo SQL no tiene efecto en Realtime Compute for Apache Flink. Para configurar el paralelismo, utilice uno de los siguientes métodos:

1. Establezca el paralelismo en la cláusula WITH de la instrucción SQL correspondiente.

2. Modifique el paralelismo en la interfaz de edición de la configuración de recursos en la página O&M > Deployments.

¿Qué debo hacer cuando un operador Print Sink o Join provoca recursos insuficientes o un rendimiento deficiente?

La acción adecuada depende del síntoma específico:

• Print Sink causa escasez de recursos en el TaskManager: este problema no se resuelve solo con ajustes de parámetros. Evalúe sus necesidades de recursos según el volumen real de datos. Compruebe que los tipos de campo de la tabla de origen estén definidos correctamente (por ejemplo, use BIGINT en lugar de STRING cuando corresponda) y asigne suficientes recursos al TaskManager para soportar la sobrecarga de depuración de Print Sink.

• El rendimiento de Join es deficiente aunque el uso de memoria sea bajo: aumente el número de CU. Sin embargo, si la causa raíz es un sesgo de datos, agregar más recursos podría no resolver el problema. Resuelva primero el sesgo de datos y luego evalúe si necesita recursos adicionales.

• El trabajo se reinicia con frecuencia y presenta alta latencia de extremo a extremo: si el trabajo está en una fase de sincronización de estado completo tras un reinicio sin estado, intente establecer el número de slots en 1. Configure un paralelismo adecuado por separado y use una especificación de TaskManager de 1 núcleo y 4 GiB con una concurrencia moderada (por ejemplo, 10) para probar y optimizar el rendimiento.