Realtime Compute for Apache Flink:Versión del 15 de enero de 2025

Actualizaciones de la plataforma

Compatibilidad con el dialecto Hive para SQL por lotes

Ahora puede desarrollar scripts SQL por lotes mediante el dialecto Hive, lo que le permite migrar cargas de trabajo de Hive a Flink sin reescribir código SQL. Consulte Introducción a los despliegues de Hive SQL.

Relleno de datos en Workflows

Ahora puede completar datos faltantes y corregir errores en datos históricos directamente from Workflows. Consulte Manage workflows.

Búsqueda de despliegues por dirección ip y puerto

Ahora puede localizar un despliegue específico mediante la búsqueda de la dirección ip y el puerto de su sistema de origen o destino. Esta función resulta especialmente útil when Flink gestiona solicitudes de varios sistemas externos. Consulte Actualización de la arquitectura de red.

Creación simplificada de espacios de trabajo

Ya no es obligatorio seleccionar una zona al adquirir un espacio de trabajo. En su lugar, elija un modelo de despliegue:

• Zona única: La zona óptima se selecciona automáticamente. Flink se comunica con servicios en la misma región a través de Virtual Private Cloud (vpc) con una latencia inferior a 3 milisegundos. La programación transparente de recursos dentro de la región mejora la elasticidad de los recursos. Para consultar los parámetros de referencia de latencia intrarregional, véase Cloud Network Performance.

• Multizona: Si la zona principal presenta errores, los despliegues realizan failover automáticamente a la zona secundaria, lo que previene interrupciones del servicio y mantiene la alta disponibilidad.

Consulte Activate Realtime Compute for Apache Flink y Cross-zone high availability.

Variables de namespace en parámetros de tiempo de ejecución

Ahora puede configure variables de namespace en los parámetros de tiempo de ejecución de un despliegue para evitar el uso de pares accesskey y credenciales en texto plano. Consulte Manage variables.

Planes de ajuste guardados en modo autopilot

Una vez que un despliegue se estabiliza mediante la estrategia estable en modo autopilot, puede consultar, edite y guarde el plan de ajuste generado para uso futuro. El modo autopilot ahora ofrece dos opciones de planes de ajuste: basado en programación y de recursos fijos. Consulte Configure automatic tuning.

Actualización del motor

VVR 8.0.11 ya está disponible de forma general. Se trata de un motor de nivel empresarial basado en Apache Flink 1.17.2, con optimizaciones y mejoras adicionales respecto a la versión upstream de Apache Flink.

Actualizaciones de conectores

Conector de Hologres

• Actualizaciones condicionales (check-and-put): Aplique actualizaciones en Hologres solo cuando se cumplan condiciones específicas.

• Modo de escritura agresivo (aggressive.enabled): Mejore la puntualidad de escritura durante periodos de bajo tráfico.

• Consumo de registros binarios desde tablas particionadas (vista previa pública): Consuma registros binarios de tablas particionadas de Hologres, útil para construir un almacén de datos en tiempo real. Consulte Consume Hologres data in real time.

• Columnas de metadatos: Acceda a columnas de metadatos (como hg_binlog_event_type) from una tabla de origen Hologres mediante el catálogo de Hologres. Consulte Manage Hologres catalogs y Conector de Hologres.

Conector de MaxCompute

Utilice upsert.partial-column para actualizar columnas específicas en tablas Delta. Esto simplifica la creación de tablas anchas a partir de varios flujos de datos escritos en MaxCompute. Consulte Conector de MaxCompute.

Conector de StarRocks

Al asignar un campo CHAR de Flink a un campo CHAR de StarRocks, la longitud del campo de StarRocks se extiende automáticamente a cuatro veces la longitud original. Esto permite manejar caracteres multibyte, como emojis. Consulte StarRocks connector.

Tablas materializadas

Cuando el modo de ejecución por lotes está habilitado, las tablas materializadas eligen dinámicamente entre actualizaciones incrementales y completas. Se da preferencia a las actualizaciones incrementales. Consulte Create and use materialized tables.

Problemas de conectores

• Conector de MySQL: Se corrigió una excepción de puntero nulo al iniciar.

• Conector de MySQL: Se corrigió la degradación del rendimiento al escribir en una tabla sin clave primaria. Este problema se introdujo tras una actualización de versión de VVR.

• Conector de Kafka: Se corrigió una desalineación entre mensajes JSON en formato Canal y las columnas de metadatos al reutilizar un origen de Kafka.

• Conector de ApsaraDB for HBase: Se corrigió una excepción de inicio: No length info found when processingnull.

• Catálogo de Simple Log Service: Se corrigió un error al usar el catálogo de Simple Log Service: AssertionError: Conversion to relational algebra failed.

Problemas de SQL

• Se corrigió un problema where una ventana no se activaba debido a la emisión retardada de marcas de agua.

• Se corrigió un error al agregar una columna BIT(1) a una tabla creada con una sentencia CTAS: ValidationException: Binary string length must be between 1 and 2147483647.

Problemas de estabilidad

• Se corrigió un problema where un despliegue se recuperaba from el punto de control incorrecto tras finalizar anormalmente con el código de salida 137.