Flink feature release notes (June 4, 2025) - Realtime Compute for Apache Flink

Esta página de notas de versión describe los principales cambios de funciones y correcciones de bugs en Realtime Compute for Apache Flink publicados el 4 de junio de 2025.

Importante

La actualización se implementa de forma gradual. Consulte el anuncio más reciente en la consola de Realtime Compute for Apache Flink. Las nuevas funciones de esta versión están disponibles solo después de que se complete la actualización para su cuenta. Para solicitar una actualización acelerada, envíe un ticket.

Si va a actualizar, consulte Antes de actualizar para conocer los cambios incompatibles que podrían afectar sus trabajos.

Descripción general

Esta versión incluye actualizaciones de plataforma, una nueva versión del motor, mejoras en conectores y optimizaciones de rendimiento y seguridad.

Actualizaciones de la plataforma

Las actualizaciones de la plataforma se centran en la experiencia del desarrollador y la eficiencia operativa. Aspectos destacados:

Integración con Git: Sincronización bidireccional de código SQL y configuraciones de trabajos con repositorios remotos de GitHub, GitLab y Gitee, con resolución de conflictos integrada.
Integración con Simple Log Service (SLS): Los registros de inicio de trabajos, eventos de ejecución y datos de uso de recursos se conservan en SLS para consultas históricas y auditoría.
Configuración de registros de trabajos: La salida de registros ahora se configura mediante una interfaz visual, lo que reduce el riesgo de errores de configuración.
Notificaciones de alertas de CloudMonitor: Las notificaciones de alertas ahora muestran los nombres de los trabajos, lo que facilita identificar rápidamente el trabajo afectado.

Actualizaciones del motor

Ververica Runtime (VVR) 11.1 ya está disponible de forma general. Basado en Apache Flink 1.20.1, VVR 11.1 incluye las siguientes funciones nuevas, mejoras y correcciones.

Antes de actualizar

Antes de actualizar, revise Upgrade the engine version of a deployment y VVR version numbering strategy.

Cambios incompatibles

SDK de Java — JDK 11 obligatorio: JDK 11 es ahora el entorno de ejecución estándar y el soporte para JDK 8 ha finalizado. Si sus trabajos JAR se compilaron con JDK 8, vuelva a compilarlos y empaquetarlos con JDK 11 antes de actualizar. Los trabajos SQL no se ven afectados.
Conector de Hologres — cambios arquitectónicos: El conector de Hologres ha recibido optimizaciones arquitectónicas. Algunas opciones del conector se han modificado o eliminado. Antes de actualizar trabajos que utilicen el conector de Hologres, consulte Opciones del conector (VVR 11 o posterior) para obtener la lista actualizada de opciones.

Nuevas funciones

Vectorización e inference en tiempo real impulsadas por modelos de lenguaje grandes (LLM) La integración introduce sentencias de lenguaje de definición de datos (DDL) para modelos y la función ML_PREDICT para realizar inference de IA en cómputo en tiempo real. Consulte DDL de modelos para la sintaxis DDL, ML_PREDICT para la referencia de la función y Integración con Alibaba Cloud Model Studio para la guía de configuración.
- Construcción de vectores: Se integra con Alibaba Cloud Model Studio para vectorizar datos de streaming en tiempo real, lo que permite el cálculo de características en tiempo real para sistemas de recomendación y búsqueda inteligente.
- Inference de texto: Genera resúmenes, traducciones y otro contenido mediante modelos preentrenados. Admite el procesamiento inteligente de texto para casos de uso empresarial.

Mejoras de capacidades

Backfill programado para tablas materializadas: Las tablas materializadas ahora permiten crear flujos de trabajo para programación periódica y backfill de datos históricos.
Lookup joins en tiempo real con tablas de dimensiones StarRocks: Habilita escenarios analíticos complejos en tiempo real mediante el uso de StarRocks como origen de tabla de dimensiones.
CDC de SLS y evolución de esquema de SLS a Paimon: Change Data Capture (CDC) basado en YAML ahora admite orígenes de datos de SLS y evolución automática de esquemas de SLS a Paimon, lo que simplifica la gestión de metadatos en escenarios de data lakehouse.
Actualización de Flink CDC a la versión 3.4: Añade soporte para las capacidades principales de Flink CDC 3.4 con captura de datos mejorada.
Ingesta de datos de SLS mediante YAML: Permite ingerir datos desde SLS y evolucionar esquemas hacia Paimon.
Ingesta de datos de MaxCompute mediante YAML: Admite la ingesta de hasta un terabyte de datos en MaxCompute.
Conservación de alias de campos en UNION ALL: Flink SQL ahora conserva los alias de campos en los resultados de depuración de borradores cuando la consulta contiene UNION ALL.

Mejoras de rendimiento

Conector PostgreSQL CDC — lecturas de instantáneas más rápidas: Un mecanismo optimizado de segmentación de datos con segmentación asíncrona y lectura paralela mejora significativamente el rendimiento de lectura de instantáneas.
Conector Tair (compatible con Redis OSS) — control de caché basado en tiempo: La nueva opción cacheReloadTimeBlackList permite deshabilitar la caché durante períodos específicos cada día, lo que ayuda a prevenir la contención de recursos en horas pico.

Mejoras de seguridad

Conector Tair (compatible con Redis OSS) — soporte TLS/SSL: El conector ahora admite conexiones TLS/SSL mediante la opción cacert.filepath. Esto resulta especialmente útil en industrias sensibles a la seguridad, como finanzas y gobierno.
Actualización de Apache Parquet a 1.15.1: Corrige una vulnerabilidad de ejecución remota de código (RCE) causada por la deserialización de datos en el formato Parquet.
Reporte de identidad de MaxCompute: El servicio ahora reporta applicationName al servidor de MaxCompute, lo que permite rastrear con precisión el uso de recursos por parte de los trabajos de Flink y mejora la auditabilidad del acceso a recursos entre sistemas.

Optimización de la experiencia

Seguimiento de volumen de entrada/salida: Los operadores de origen y destino ahora reportan volúmenes de entrada y salida, lo que facilita verificar la integridad de los datos e identificar cuellos de botella en el rendimiento.

Funciones

Función	Descripción	Referencias
Integración con repositorios Git	Sincronización bidireccional de código SQL y configuraciones de trabajos con GitHub, GitLab y Gitee, con resolución de conflictos integrada.	Integrate with Git (Beta)
Envío de mensajes a SLS	Conserva registros de inicio de trabajos, eventos de ejecución y datos de uso de recursos en Simple Log Service (SLS) para consultas históricas y auditoría.	Message delivery
Configuración de registros de trabajos	Configure exportaciones de registros a SLS, OSS o Kafka mediante la consola con una interfaz visual.	Configure job log export
Ingesta de datos en MaxCompute mediante YAML	Utilice el conector de MaxCompute como destino en trabajos de ingesta de datos basados en YAML, con soporte para hasta un terabyte de datos.	MaxCompute
Optimización de ingesta de datos	La opción `converter-after-transform` ahora admite el tipo de convertidor `FIELD_NAME_LOWER_CASE`, que convierte automáticamente los nombres de campo en mayúsculas de las tablas de origen a minúsculas durante la fase de limpieza.	Flink CDC
Optimización del conector Elasticsearch	Ahora se pueden ignorar valores nulos al actualizar tablas de Elasticsearch, lo que mejora la robustez de las escrituras de datos.	Elasticsearch
Optimización del conector Hologres	Las optimizaciones arquitectónicas han modificado o eliminado algunas opciones del conector. Consulte la referencia específica de la versión antes de actualizar trabajos del conector Hologres.	Hologres: real-time data warehouse Parameter configuration (VVR 11+) Hologres connector options (VVR 8 or earlier)
Optimización del conector MongoDB	La nueva opción `ignore.delete-events.enabled` filtra eventos `delete` de MongoDB durante la captura de cambios de datos, lo que reduce la carga de sincronización.	MongoDB
Optimización del conector MySQL	El valor predeterminado de la opción `property-version` cambió a `1`.	Manage MySQL Catalog
Optimización del conector Kafka	La nueva opción `canal-json.infer-schema.strategy` configura directivas de análisis de esquemas para datos Canal JSON, basadas en datos JSON o campos `sqlType`. La nueva opción `json.decode.parser-table-id.fields` genera campos de esquema de tabla mediante el análisis sintáctico de datos JSON. La nueva opción específica de destino `debezium-json.include-schema.enabled` comprueba si los mensajes Debezium JSON contienen información de esquema.	Kafka
Optimización del conector ApsaraMQ for RocketMQ	La nueva opción `deliveryTimestampMode` y opciones relacionadas habilitan la entrega programada de mensajes con reglas de activación flexibles, lo que proporciona un control detallado para cargas de trabajo de series temporales.	ApsaraMQ for RocketMQ
Optimización del conector Tair (compatible con Redis OSS)	Admite la lectura de un hashmap con múltiples valores por clave cuando `cache` se establece en `ALL`. La nueva opción `cacert.filepath` habilita el cifrado TLS/SSL para enlaces de datos. La nueva opción `cacheReloadTimeBlackList` deshabilita la caché durante períodos de tiempo especificados cada día.	Tair (Redis OSS-compatible)
Optimización del conector StarRocks	Admite conversiones compatibles de tipos de columna. Admite lookup joins en tiempo real con tablas de dimensiones StarRocks para escenarios analíticos complejos.	StarRocks Supported connectors
Optimización del conector Paimon	Admite escritura y consumo de datos `VARIANT` mediante las funciones integradas PARSE_JSON y TRY_PARSE_JSON, lo que mejora el rendimiento de consulta y procesamiento de datos JSON.	Write and consume data in Paimon tables
Optimización del conector AnalyticDB for PostgreSQL	La opción `writeMode` ahora admite el modo `COPY`.	AnalyticDB for PostgreSQL
Optimización de tablas materializadas	Las consultas SQL y las opciones de conectores para tablas materializadas ahora se pueden modificar después de su creación. Ahora se pueden crear flujos de trabajo para tablas materializadas a fin de habilitar la programación periódica y el backfill de datos.	Create and use materialized tables Manage workflows
Soporte de Flink SQL para autenticación Kerberos de Hive	Acceda a datos de Hive en un clúster con Kerberos mediante SQL, con verificación bidireccional de identidad y transmisión cifrada.	Register a Kerberized Hive cluster Flink SQL job
Actualización de imagen Docker de PyFlink	La imagen Docker base para PyFlink se actualizó para mejorar la compatibilidad con diferentes versiones de Python y glibc.
Optimización de funciones de ventana	SESSION WINDOW ahora sigue el comportamiento de Apache Flink 1.20, eliminando el acoplamiento con sentencias de agregación requerido en VVR 8.x. Actualice a la versión más reciente para utilizar la SESSION WINDOW mejorada.	Window aggregation
Conector SelectDB — ahora integrado	El conector SelectDB salió de la vista previa pública y ahora es un conector integrado en Realtime Compute for Apache Flink.	SelectDB
Optimización de trabajos Table API	Ahora se pueden invocar funciones integradas en consultas de Table API.	Supported functions
Vectorización e inference en tiempo real impulsadas por LLM	Introduce sentencias DDL de modelos para definir modelos de IA en Flink SQL. Añade la función `ML_PREDICT` para inference de modelos de IA en cómputo en tiempo real. Se integra con Alibaba Cloud Model Studio.	Model DDLs General invocation Integración con Alibaba Cloud Model Studio

Correcciones importantes de bugs

Conectores

Conector SLS — valores nulos en caracteres de escape: Se corrigió la devolución de valores nulos al consumir caracteres de escape con la nueva arquitectura.
Conector ApsaraMQ for RocketMQ — pérdida de mensajes en temas diferidos: Se corrigió la pérdida de mensajes en temas diferidos.
Conector Tair (compatible con Redis OSS) — conflictos de escritura simultánea: Se corrigieron los conflictos de escritura simultánea al escribir en dos bases de datos Tair al mismo tiempo.
Conector Hologres — NullPointerException en lookup joins: Se corrigieron errores NullPointerException durante lookup joins con una tabla de dimensiones Hologres.
Conector Paimon — IllegalStateException en escrituras con clave primaria: Se corrigieron errores IllegalStateException al escribir en una tabla Paimon con clave primaria.
Conector Lindorm — los lookup joins devuelven solo una fila: Se corrigió el problema por el cual los lookup joins con una tabla de dimensiones Lindorm devolvían solo una fila coincidente.

SQL y transformación

Transformación YAML — el analizador Calcite rechaza operadores de comparación de cadenas: Se corrigieron errores de compilación causados porque el analizador Calcite no reconocía operadores de comparación de cadenas.
CTAS — conflictos de consolidación de esquemas: Se corrigieron conflictos de consolidación de esquemas durante operaciones CREATE TABLE AS SELECT.
Catálogo Hive — acceso denegado para tablas que no son de Hive: Se corrigió la denegación de acceso para tablas que no son de Hive dentro de un catálogo Hive.

Estabilidad y rendimiento

Destinos Paimon — tiempos de cierre lentos: Se corrigieron los tiempos excesivos de cierre para operadores de destino Paimon.
Excepciones de filtrado de tablas: Se corrigieron excepciones de filtrado de tablas. Como solución alternativa para versiones anteriores de VVR, utilice la opción debezium.table.exclude.list.
MiniBatch — inconsistencia de datos: Se corrigió la inconsistencia de datos causada por el procesamiento MiniBatch.
Table API de PyFlink — incompatibilidades de funciones integradas: Se corrigieron incompatibilidades entre la Table API de PyFlink y las funciones integradas de Realtime Compute for Apache Flink.