Realtime Compute for Apache Flink:23 de octubre de 2023

Función

Novedades

Ajuste automático optimizado

La estrategia estable ya está disponible en Autopilot. El sistema ajusta la configuración de recursos solo cuando identifica una opción mejor para todo el tiempo de ejecución del despliegue. Esto evita modificaciones innecesarias causadas por picos repentinos de tráfico y ayuda a que los despliegues alcancen un estado de convergencia estable. Consulte Configure automatic tuning.

Planes de ajuste programados

Configure varios planes de ajuste programados para un solo despliegue. Cambie el plan activo sin cancelar el despliegue. Cada plan admite varias estrategias de ajuste programado. Consulte Configure automatic tuning.

Linaje de datos para despliegues de Flink SQL

Consulte el linaje de datos a nivel de campo para los despliegues de Flink SQL. Encuentre todos los despliegues que usan un campo específico en una tabla y rastree las relaciones a nivel de campo entre las tablas de origen y de resultados. Consulte View data lineage.

Actualización dinámica de parámetros

Actualice el parámetro Parallelism y parámetros de tiempo de ejecución específicos de un despliegue sin cancelarlo. Consulte Dynamically update the parameter configuration for dynamic scaling.

Sugerencias de optimización de SQL

Consulte sugerencias de optimización y riesgos potenciales directamente en los resultados de la verificación de sintaxis para despliegues de SQL. Consulte Develop an SQL draft.

Búsqueda basada en etiquetas

Asigne etiquetas a despliegues de SQL, JAR o Python y busque por clave o valor de etiqueta en la página Deployments. Consulte Create a deployment.

Clasificación y filtrado mejorados de despliegues

Ordene los despliegues por puntuación de salud o latencia, y filtre por el usuario que realizó la última modificación. Disponible en la página Deployments.

Opciones de inicio de sesión ampliadas

Inicie sesión en las consolas de administración y desarrollo mediante un rol de RAM, un miembro de directorio de recursos o un usuario de CloudSSO, además de las cuentas de Alibaba Cloud y los usuarios de Resource Access Management (RAM). Consulte Permission management, Authorize an account to perform operations in a namespace y Authorize access to Management Console.

Función

Novedades

MaxCompute: tipos de datos complejos y Tunnel exclusivo

Lea y escriba tipos de datos JSON, ARRAY, MAP y STRUCT en MaxCompute. Asigne un Tunnel exclusivo de MaxCompute al conector para garantizar una conectividad dedicada. Consulte MaxCompute connector.

ApsaraDB for Redis: política de caché ALL

Establezca el parámetro cache en ALL al crear una tabla de dimensiones con el conector de ApsaraDB for Redis para mejorar el rendimiento de búsqueda. Consulte ApsaraDB for Redis connector.

ApsaraDB RDS for MySQL: compatibilidad con TDE

Los catálogos de MySQL ahora son compatibles con instancias de ApsaraDB RDS for MySQL que tienen habilitado el cifrado transparente de datos (TDE).

Catálogos de Data Lake Formation (DLF): endpoints de OSS-HDFS

Configure el parámetro oss.endpoint con un endpoint de OSS-HDFS en un catálogo de DLF. Consulte Hudi y Manage DLF catalogs.

StarRocks: normalización de tipos en CREATE TABLE AS

Habilite el modo de normalización de tipos para cambios de esquema cuando utilice el conector de StarRocks con CREATE TABLE AS. Si un campo de origen cambia a un tipo compatible con una longitud diferente, la sincronización continúa sin interrupciones.

Hologres: claves de partición DATE

Utilice una columna DATE como clave de partición en tablas de resultados de Hologres. La tabla particionada se crea automáticamente. Consulte Hologres connector.

ApsaraMQ for RocketMQ 5.x

Lea y escriba datos en tablas de ApsaraMQ for RocketMQ 5.x. Consulte ApsaraMQ for RocketMQ connector.

Mejora en el rendimiento de mini-batch y join

Esta versión optimiza la función de mini-batch y el rendimiento de join. En escenarios de Change Data Capture (CDC), o después de operaciones de deduplicación y agregación, el rendimiento puede aumentar hasta en un 130 %.