Realtime Compute for Apache Flink:Escalado dinámico y actualización dinámica de parámetros

Contexto

La actualización tradicional de parámetros de Flink requiere reiniciar el trabajo. Este proceso puede provocar interrupciones en el servicio, retrasos en el relleno de datos y picos en el uso de recursos, lo que prolonga el tiempo de inactividad y afecta la continuidad del negocio.

La función de actualización dinámica de parámetros envía una solicitud REST a un trabajo en ejecución. Esto permite que el trabajo reutilice los contenedores existentes de JobManager y TaskManager, y aplique las actualizaciones mediante un reinicio en el lugar o, en algunos casos, sin necesidad de reiniciar, lo que reduce el costo asociado a los reinicios. En combinación con capacidades como la preasignación de recursos y la carga diferida de estado, esta función acelera significativamente el inicio del trabajo tras una actualización y reduce el tiempo de inactividad de minutos a segundos. En un trabajo típico Source -> Map -> Sink, el uso de actualizaciones dinámicas de parámetros para el escalado dinámico disminuye drásticamente el tiempo de interrupción del servicio. La siguiente figura compara los tiempos de inactividad.

Limitaciones

• Solo los siguientes parámetros admiten actualizaciones dinámicas: parallelism, Checkpointing Interval, Checkpointing Timeout y Min Interval Between Checkpoints. Si también modifica parámetros que no admiten actualizaciones dinámicas, esos cambios surtirán efecto solo después de reiniciar el trabajo.

• Esta función está disponible únicamente para trabajos que se ejecutan en Ververica Runtime (VVR) 8.0.1 o versiones posteriores.

• No se admite la actualización dinámica del paralelismo en modo experto (granularidad fina).

Notas de uso

• La actualización dinámica de parámetros es una función experimental, por lo que aún pueden producirse interrupciones del servicio durante el proceso de actualización. En comparación con la modificación tradicional de parámetros, las actualizaciones dinámicas reducen significativamente el tiempo de inactividad. No obstante, la duración exacta de la interrupción, generalmente entre 5 segundos y 1 minuto, depende de factores como la topología del trabajo y el tamaño del estado.

• Las actualizaciones dinámicas de parámetros solo se pueden aplicar a un trabajo en ejecución.

• Al actualizar dinámicamente el paralelismo, Realtime Compute for Apache Flink omite los nodos donde el paralelismo se ha establecido explícitamente. Esto se debe a que ciertos operadores tienen requisitos específicos de paralelismo. Por ejemplo, el paralelismo de un operador global debe ser 1, y el de un origen Kafka suele definirse explícitamente para evitar exceder el número de particiones. Para garantizar que el paralelismo de un operador pueda actualizarse dinámicamente, no lo establezca explícitamente mediante métodos como DataStream#setParallelism ni mediante parámetros de configuración de origen o destino.

• El botón Hot-update aparece únicamente después de modificar uno de los parámetros compatibles: parallelism, Checkpointing Interval, Checkpointing Timeout o Min Interval Between Checkpoints. Los cambios surten efecto al hacer clic en este botón. Si también modifica parámetros que no admiten actualizaciones dinámicas, esos cambios surtirán efecto solo después de reiniciar el trabajo.

Procedimiento

1. Vaya a la página O&M > Deployments.

   1. Inicie sesión en la consola de Realtime Compute for Apache Flink.

   2. En la columna Actions del espacio de trabajo deseado, haga clic en Console.

   3. En el panel de navegación izquierdo, elija O&M > Deployments. Haga clic en el nombre del trabajo running deseado.

2. En la pestaña Configuration, dentro de la sección Resources o Parameters, haga clic en Edit.

3. Modifique los valores de los parámetros que admiten actualizaciones dinámicas y luego haga clic en Save.

4. En la esquina superior derecha de la página, haga clic en Hot-update.

   Importante

   Solo los siguientes parámetros admiten actualizaciones dinámicas: parallelism, Checkpointing Interval, Checkpointing Timeout y Min Interval Between Checkpoints. Si también modifica parámetros que no admiten actualizaciones dinámicas, esos cambios surtirán efecto solo después de reiniciar el trabajo.

5. En el cuadro de diálogo que aparece, revise la información y haga clic en OK.

   Después de hacer clic en OK, aparecerá un icono que indica que la actualización está en curso.

Documentación relacionada

• Para actualizar parámetros que no admiten actualizaciones dinámicas, configúrelos en la pestaña Configuration y reinicie el trabajo. Para obtener más información, consulte Configure job deployment y Start a job.

• La función de ajuste automático de rendimiento le ayuda a optimizar el paralelismo del trabajo y la configuración de recursos. Para obtener más información, consulte Configure automatic tuning.

• El servicio de diagnóstico inteligente de trabajos le permite supervisar el estado del trabajo, analizar errores y anomalías, y ofrece sugerencias de diagnóstico prácticas. Para obtener más información, consulte Intelligent job diagnostics.