Realtime Compute for Apache Flink:21 de agosto de 2023

Función

Descripción

Referencia

Conector de MongoDB Change Data Capture (CDC)

Crea tablas de origen para leer datos incrementales desde bases de datos MongoDB mediante arquitectura de conjunto de réplicas o clúster fragmentado. Admite lectura de instantáneas incrementales: comienza con un escaneo completo paralelo de los datos históricos y luego cambia automáticamente a la captura incremental del flujo de registro de cambios. Garantiza el procesamiento exactly-once y admite varios modos de inicio.

MongoDB CDC connector

Sincronización de nuevas tablas mediante CREATE DATABASE AS

Si se agregan nuevas tablas a la base de datos de origen después de iniciar un despliegue, este puede reiniciarse from una instantánea para capturar y sincronizar los datos de dichas tablas.

CREATE DATABASE AS statement

CREATE TABLE AS dentro de BEGIN STATEMENT SET; ... END;

Incluir una instrucción CREATE TABLE AS dentro de un bloque de conjunto de instrucciones permite el reinicio basado en instantáneas. Esto mejora la flexibilidad y elimina la necesidad de crear despliegues adicionales.

CREATE TABLE AS statement

Configuración de tiempo de vida (TTL) por flujo en uniones regulares

Permite configurar el TTL de forma independiente para cada flujo en una unión regular. Por ejemplo, establezca un flujo en 15 días y el otro en 1 día. Esto mejora la estabilidad del despliegue y reduce los costos operativos.

Optimize Flink SQL

Conector de OceanBase

Crea tablas de destino y tablas de dimensiones para OceanBase, una base de datos distribuida relacional de procesamiento híbrido transaccional/analítico (HTAP) desarrollada por Alibaba Group y Ant Group. OceanBase ofrece diversos beneficios, como consistencia fuerte, alta disponibilidad, alto rendimiento, escalabilidad en línea, gran compatibilidad con estándares SQL y bases de datos relacionales principales, además de bajos costos.

OceanBase connector

Pushdown de consultas en el conector de Simple Log Service (SLS)

Filtra los datos en el origen, lo que mejora la eficiencia de lectura.

Simple Log Service connector

Tablas de destino en catálogos de SLS

Escribe datos en SLS mediante tablas administradas por catálogo, de la misma manera que con las tablas permanentes.

Manage Simple Log Service catalogs

Compatibilidad con AnalyticDB for PostgreSQL V7.0

Permite leer y escribir en instancias de AnalyticDB for PostgreSQL V7.0.

AnalyticDB for PostgreSQL connector

Tipos de datos adicionales de Tair

Admite TairTs (conjuntos de datos de series temporales), TairVector (conjuntos de datos vectoriales para IA), TairCpc (detección de fraude en tiempo real), TairRoaring (perfilado de clientes en tiempo real) y TairGis.

Tair connector

Compatibilidad con Apache Paimon 0.5-snapshot y propagación de tipos de columna

Admite Apache Paimon 0.5-snapshot. Los cambios en los tipos de columna de la tabla de origen de Flink CDC se aplican automáticamente a la tabla de Apache Paimon.

CREATE TABLE AS statement y CREATE DATABASE AS statement

Problema

Descripción

Error del conector de MySQL con PolarDB for MySQL

Aparecía el mensaje de error Filtering update table metadata event: Event{header=EventHeaderV4 al usar el conector de MySQL para leer from una base de datos PolarDB for MySQL.

Ausencia de salida en funciones de tabla con valor de ventana (TVF) con condiciones

Cuando se utilizaba una TVF de ventana con condiciones de filtro, no se generaba ninguna salida.