Realtime Compute for Apache Flink:9 de enero de 2026

Mejoras en SQL

Bitmap type support — El nuevo tipo nativo Bitmap y su conjunto inicial de funciones (construcción de bitmaps y estadísticas de cardinalidad) permiten deduplicaciones precisas y eficientes en tiempo real; por ejemplo, para el conteo de visitantes únicos (UV).

Ingesta de datos mediante YAML (Flink CDC)

• Metadata reference — Haga referencia directa a las tablas de origen y destino registradas en el Catalog dentro de los scripts YAML de Flink CDC, sin necesidad de redefinir los esquemas de tabla en línea.

• Complex routing logic — Configure nombres de tablas en Route mediante expresiones regulares estándar para admitir escenarios de fusión de tablas fragmentadas.

• Dirty data handling — El análisis sintáctico del formato JSON ahora admite un mecanismo de gestión de datos erróneos, por lo que los registros mal formados ya no provocan fallos en el job.

• Expansión automática de precisión — StarRocks ahora admite parcialmente la expansión automática de precisión para el tipo Decimal, lo que reduce los ajustes manuales de esquema en datos de alta precisión.

• Tolerancia a fallos con esquema vacío — El origen de Kafka ahora puede crear tablas con un esquema vacío cuando aún no contiene datos, lo que evita fallos al iniciar el job en pipelines en etapas tempranas.

• Compatibilidad con origen Paimon — Apache Paimon ahora es compatible oficialmente como origen de Flink CDC, lo que habilita la captura de datos de cambio directamente desde tablas de Paimon.

Conectores

• MySQL — Tres mejoras en esta versión:

  • Limitación de tráfico: Una función de limitación de datos evita cargas excesivas en la base de datos de origen durante la ingesta de alto throughput.

  • Extensión de metadatos: Ahora se admiten los campos de metadatos de registro binario file y pos. Utilice estos campos para determinar el orden de modificación de una misma fila entre distintos eventos.

  • Optimización de rendimiento: En el modo snapshot-only, el conector ya no ejecuta comandos relacionados con el registro binario, lo que reduce la sobrecarga cuando este no es necesario.

• PolarDB-X CDC — Versión preliminar pública. Dos mejoras:

  • Suscríbase a flujos de registro binario con varias conexiones simultáneas para incrementar significativamente el throughput de ingesta.

  • Suscríbase al registro binario a nivel de tabla para lograr un control de CDC más detallado.

• OceanBase — Versión preliminar pública. La nueva función de escritura por importación directa mejora notablemente el rendimiento de escritura en lotes grandes de datos.

• MongoDB — La tabla de destino ahora admite actualización parcial, de modo que solo se escriben los campos modificados en lugar de documentos completos.

• Elasticsearch — Dos mejoras:

  • Configure explícitamente el parámetro doc_as_upsert para controlar el comportamiento de upsert.

  • Configure un parámetro de tiempo de espera de conexión para gestionar entornos de red inestables.

• Apache Kafka — Los grupos de consumidores redundantes creados por el conector de Kafka ahora se eliminan automáticamente, lo que reduce la saturación en su clúster de Kafka.

Integración con data lakehouse (Iceberg)

Conector de Iceberg — Los parámetros relacionados con Hadoop son configurables y ofrecen mayor flexibilidad al conectarse a entornos complejos de Hadoop.