Realtime Compute for Apache Flink lanzó la versión VVR 6.0.7 el 21 de junio de 2023, con actualizaciones de plataforma, actualizaciones de conectores y correcciones de bugs.
Esta versión se implementa como despliegue canary y estará disponible en toda la red en un plazo de dos semanas. Si las nuevas funciones aún no son visibles en la consola, su plataforma todavía se encuentra en la versión anterior. Para solicitar una actualización anticipada, envíe un ticket. Para consultar el calendario de actualizaciones más reciente, revise el anuncio en el lado derecho de la página principal de la consola de Realtime Compute for Apache Flink.
Descripción general
Ververica Runtime (VVR) 6.0.7 se basa en Apache Flink 1.15.4.
Aspectos destacados:
Compatibilidad con catálogos: Los catálogos de MaxCompute y Log Service ahora son oficialmente compatibles. Esto permite definir tablas permanentes sin escribir sentencias DDL para cada despliegue SQL.
Apache Paimon 0.4.0 (vista previa por invitación): Ingesta de datos en tiempo real hacia data lakes mediante Flink Change Data Capture (CDC), evolución de esquemas y mejoras en el orden de lectura y escritura de streaming.
Mejoras en el conector de MySQL: Se optimizaron las capacidades de las tablas de resultados y de dimensiones, además de añadirse compatibilidad con tablas de origen CDC sin clave primaria.
Mejoras en alertas: Nuevos interruptores para No Data Warning y Alarm Noise Reduction, que permiten generar alertas más útiles y accionables.
Lanzamiento de VVR 4.0.18: La última actualización recomendada para usuarios de VVR 4.X.
Una vez completado el despliegue canary, la nueva versión del motor aparecerá en la lista desplegable Engine Version del panel Configurations de su borrador.
Notas de actualización
Los siguientes cambios requieren acciones antes o después de la actualización.
Migración del conector de MySQL
El conector de MySQL ahora cubre todas las capacidades del conector de ApsaraDB RDS for MySQL en tablas de resultados y de dimensiones. Comience a migrar sus despliegues del conector de ApsaraDB RDS for MySQL al conector de MySQL. Para obtener orientación, consulte Conector de MySQL.
Fin de actualizaciones recomendadas para VVR 4.X
VVR 4.0.18 es la última versión recomendada para VVR 4.X. Si sus despliegues aún utilizan VVR 4.X, actualice a una versión de motor Stable o Recommend. Las versiones del motor ahora se clasifican como Recommend, Stable, Normal o Deprecated en la lista desplegable Engine Version.
Nuevas funciones
Plataforma
|
Función |
Cambios realizados |
Referencias |
|
Registros de auditoría |
Realtime Compute for Apache Flink ahora está integrado con ActionTrail. Consulte los registros de operaciones de usuario directamente desde la consola de ActionTrail. |
Visualización de eventos de operación de recursos mediante ActionTrail |
|
Acceso a clústeres de Hive con autenticación Kerberos |
Los despliegues JAR y Python ahora pueden escribir datos en clústeres de Hive que usan autenticación Kerberos. |
Registro de un clúster de Hive compatible con autenticación Kerberos, Creación de un despliegue |
|
Clasificación de versiones del motor |
Las versiones del motor en la lista desplegable Engine Version ahora se agrupan en cuatro categorías: Recommend, Stable, Normal y Deprecated. |
|
|
Diagnóstico inteligente de despliegues |
Se añadió la pestaña Diagnosis a la página Deployments en sustitución del cuadro de diálogo anterior. Las puntuaciones de estado y los diagnósticos ahora se visualizan en una sola vista. |
|
|
Columna Modifier |
Se agregó la columna Modifier a la página Deployments para mostrar quién modificó por última vez cada despliegue. |
— |
|
Mejoras en alertas |
Se añadieron dos nuevos interruptores a las reglas de alerta: No Data Warning detecta excepciones en el origen de datos de forma temprana; Alarm Noise Reduction suprime alertas repetidas e inválidas. |
|
|
API de gestión de miembros |
Ya está disponible una API de gestión de miembros para flujos de trabajo de autorización automatizados. |
— |
|
Mejoras en la experiencia de la página |
La página Deployments admite diseños personalizables y filtrado. Se actualizaron los estilos de la interfaz y ciertos diseños de página, y se ampliaron secciones como la de registros. |
— |
Catálogos
|
Función |
Cambios realizados |
Referencias |
|
Catálogos de MaxCompute |
Los catálogos de MaxCompute son oficialmente compatibles. Registre los metadatos una sola vez mediante un catálogo de MaxCompute y cree despliegues SQL sin escribir sentencias DDL para cada tabla de origen de MaxCompute. |
|
|
Catálogos de Log Service |
Los catálogos de Log Service son oficialmente compatibles. Registre los metadatos una sola vez y evite sentencias DDL repetitivas al crear tablas de origen de Log Service en despliegues SQL. |
|
|
DLF como centro de gestión de metadatos para catálogos Hive |
En Hive 3.X, Data Lake Formation (DLF) puede funcionar ahora como centro de gestión de metadatos para catálogos Hive. |
|
|
Catálogos de Apache Paimon |
El conector de Apache Paimon se actualizó a Apache Paimon 0.4.0 (vista previa por invitación). Use catálogos de Apache Paimon para ingerir datos en Apache Paimon en tiempo real mediante las sentencias CREATE TABLE AS y CREATE DATABASE AS. Se admiten la evolución de esquemas, la limpieza de instantáneas, la eliminación automática de particiones y el formato de archivo Parquet. También mejoraron el orden de lectura y escritura de streaming, así como el rendimiento general. |
Conectores
|
Función |
Cambios realizados |
Referencias |
|
Mejoras en el conector de MySQL |
Se optimizaron las capacidades de las tablas de resultados y de dimensiones. Consulte las Notas de actualización para obtener orientación sobre la migración. |
|
|
Tablas de origen MySQL CDC sin clave primaria |
Ahora es posible usar tablas de origen MySQL CDC sin clave primaria para lecturas incrementales, lo que amplía la compatibilidad con más tipos de tablas MySQL. |
— |
|
Conector de Tair: tiempo de expiración y configuración de incrementos |
El conector de Tair para tablas de resultados permite especificar el tiempo de expiración y configurar ajustes de incremento. |
|
|
Conector de MaxCompute: Grupos de recursos Exclusive Tunnel |
El conector de MaxCompute ahora admite grupos de recursos Exclusive Tunnel, lo que hace que la transferencia de datos sea más estable y eficiente. |
|
|
Conector de DataHub: rendimiento de tablas de origen |
En escenarios específicos, el rendimiento de las tablas de origen del conector de DataHub mejoró aproximadamente un 290 %. |
— |
|
Conector de Tablestore: datos de series temporales |
El conector de Tablestore ahora admite la escritura de datos de series temporales mediante el modelo de series temporales de Tablestore. |
— |
|
Actualización del conector Hudi |
El conector Hudi se actualizó a Apache Hudi 0.13.1. |
— |
Problemas corregidos
Se corrigió un desbordamiento de memoria que ocurría al usar el conector de MySQL con la sentencia CREATE TABLE AS o CREATE DATABASE AS para consumir datos de una tabla de origen MySQL CDC.
Se solucionó una excepción de puntero nulo que se presentaba al usar el conector de Hologres para tablas de dimensiones.
Se resolvió un desbordamiento de memoria que sucedía al usar el conector de Hologres para tablas de origen.