Realtime Compute for Apache Flink:Versión del 4 de marzo de 2022

Función

Detalles

Referencias

Evolución adaptativa de esquemas JSON para Hologres

JSON es uno de los formatos de eventos más comunes en el procesamiento de flujos. Para los trabajos de streaming en tiempo real y las tablas del motor de almacenamiento del backend, la evolución de esquemas debe ser un proceso transparente.

• Manage Hologres catalogs

• Hologres sink table

Capacidades mejoradas para construir data lakes con Iceberg y Hudi

• Admite Alibaba Cloud Data Lake Formation (DLF) como catálogo.

  Un catálogo DLF permite acceder a Hudi, Iceberg y otros motores compatibles con DLF para construir rápidamente un data lake en tiempo real.

• Un conector Hudi integrado y de nivel empresarial para Realtime Compute for Apache Flink reduce la complejidad de O&M.

  • Permite ingerir bases de datos completas en un data lake mediante Flink CDC y sincronizar automáticamente los cambios de esquema de las tablas.

  • Se integra con componentes como Alibaba Cloud OSS y DLF para mejorar la conectividad de datos entre motores de cómputo.

• Manage DLF-Legacy catalogs

• Hudi sink tables

Usabilidad mejorada para la visualización y configuración de registros

• Se agregó paginación de registros.

  En la pestaña Job Explorer, la paginación de registros evita que la página no se abra cuando los registros son demasiado grandes en trabajos de larga duración.

• Compatibilidad con la modificación dinámica del nivel de registro.

  Sin reiniciar un trabajo, puede modificar dinámicamente el nivel de registro de un TaskManager (TM) en ejecución desde la pestaña Job Explorer para facilitar la resolución de problemas.

• Compatibilidad con la visualización de registros de TM con errores.

  En la pestaña Job Explorer, puede consultar los registros de los TM que han fallado mientras el JobManager (JM) sigue en ejecución. Esto ayuda a investigar la causa de los fallos de los TM.

• View startup and operational logs

• Dynamically modify the log level of a running job

• View logs of failed TaskManagers

Varias funciones de nivel empresarial para Flink y ClickHouse

• Compatibilidad con la semántica exactly-once.

  Proporciona semántica exactly-once para el componente ClickHouse en la plataforma de big data de código abierto E-MapReduce, no para el producto ClickHouse basado en la nube.

• Compatibilidad con el tipo Nested de ClickHouse.

  El tipo Nested de ClickHouse se puede asignar al tipo Array de Flink.

• Compatibilidad con la escritura directa en tablas locales de una tabla distribuida de ClickHouse.

  Escribir directamente en las tablas locales de una tabla distribuida puede aumentar significativamente el throughput de escritura de la tabla distribuida de ClickHouse.

ClickHouse sink tables

Reglas e interfaz de diagnóstico de trabajos optimizadas

• Se agregaron más de 20 nuevas reglas de diagnóstico para analizar exhaustivamente el estado de ejecución de los trabajos.

  Proporciona alertas de nivel de riesgo alto, medio y bajo según el estado real del trabajo.

• La interfaz de diagnóstico está optimizada para ayudarle a identificar mejor los problemas.

Intelligent job diagnosis

La sincronización de datos admite columnas calculadas

La instrucción CTAS permite agregar una columna calculada a una tabla de origen y establecerla como clave principal de la tabla de destino.

Al ingerir datos en un almacén de datos o data lake, la instrucción CTAS le permite especificar la posición de una nueva columna calculada y convertirla en una columna física en la tabla de destino. Los resultados de la columna calculada se sincronizan con la tabla de destino en tiempo real. La instrucción CTAS también admite cambiar la clave principal de la tabla de destino por la nueva columna calculada.

CREATE TABLE AS (CTAS) statements

Generación simplificada de datos de prueba

Se agregó un conector generador de datos simulados.

El conector generador de datos simulados le ayuda a generar fácilmente datos de prueba relevantes para sus escenarios de negocio. Esto satisface sus necesidades de verificación de lógica de negocio durante el desarrollo y las pruebas.

• Simulated data generator source tables

• Simulated data generator dimension tables

Nuevo Template Hub para acelerar el desarrollo de trabajos

• Proporciona más de 20 plantillas de código.

  Más de 20 plantillas para escenarios comunes de Flink SQL le ayudan a aprender rápidamente a escribir código de trabajos con Flink SQL.

• Proporciona una plantilla de sincronización de datos de MySQL a Hologres.

  Le ayuda a crear rápidamente trabajos Flink CDC para completar la sincronización de datos destinada a almacenamiento e ingesta en data lakes.

• Code Template

• Data Synchronization Template

Visualización más clara del uso de recursos

En la esquina inferior izquierda de la consola de desarrollo de Flink se muestra el uso de CPU y memoria del proyecto actual. Esto le permite gestionar rápidamente los recursos del proyecto.

Ninguna

Localización rápida de registros para nodos con checkpoints lentos

En el historial de instantáneas, ahora puede ordenar los estados de las instantáneas de los nodos. También puede ir directamente a los registros del TM desde la interfaz del historial de instantáneas con un solo clic para ver la causa de los checkpoints lentos.

Locate slow checkpoints and view the logs of corresponding TaskManagers

Compatibilidad con tablas de destino y tablas de dimensiones de AnalyticDB for PostgreSQL

• Flink admite la escritura de datos en tablas de destino de AnalyticDB for PostgreSQL.

• Flink admite uniones con AnalyticDB for PostgreSQL para consultas de búsqueda.

• AnalyticDB for PostgreSQL sink tables

• AnalyticDB for PostgreSQL dimension tables

Usabilidad mejorada del backend de estado de nivel empresarial

• Se agregó la capacidad de optimizar parámetros en tiempo real. Esto minimiza la complejidad y el costo del ajuste manual, y elimina la necesidad de ajustar parámetros manualmente en más del 95 % de los casos.

• El throughput de un solo núcleo aumenta entre un 10 % y un 40 %. Esto le permite manejar fácilmente escenarios fluctuantes como picos y valles de tráfico.

• Introduction to the enterprise-grade state backend

• Configure the enterprise-grade state backend

• System checkpoints or job snapshots