Hologres:Release notes archive

Mejoras en funciones principales

Descripción

Referencias

Mejoras en el motor de cómputo y optimización del rendimiento

• Actualización del motor de ejecución principal (QE v2)

  • Avance en el procesamiento concurrente: Cuando los recursos de los workers son suficientes pero la distribución de shards es dispersa, QE v2 incrementa el paralelismo en operadores intensivos en CPU (JOIN, AGG) sin sobrecarga por shuffle. Esto aprovecha al máximo los recursos y reduce la latencia de las consultas.

  • Mayor detalle en la ejecución adaptativa: El plan de ejecución ahora muestra estados de operador más detallados, que incluyen condiciones de filtro, condiciones de join, columnas de redistribución y columnas de filtrado.

• Aceleración inteligente de consultas (Optimización basada en historial y reescritura)

  • Reescritura automática de consultas para Dynamic Tables: El optimizador redirige automáticamente las consultas de tabla única sobre tablas base hacia Dynamic Tables precomputadas. Esto logra respuestas a nivel de milisegundos sin modificar el código SQL.

  • Ampliación de reglas de Optimización basada en historial (HBO): Se introdujeron nuevas reglas como Adaptive Join Order, Adaptive Segment Agg y Adaptive Runtime Filter.

  • Optimización forzada para consultas grandes: En el caso de consultas que tardan más de 20 segundos y admiten optimización, el motor fuerza las ejecuciones subsecuentes a utilizar el plan HBO. El plan de ejecución indica claramente cuándo se usa dicho plan.

• Operadores avanzados y optimizaciones para análisis en tiempo real

  • Cálculo UV de alta velocidad mejorado: Admite User Id Encoding, que asigna cadenas de alta cardinalidad a identificadores enteros. Al combinarse con el cálculo incremental de Dynamic Table, permite calcular UV a gran escala en tiempo real con alta velocidad y bajo costo.

  • Ejecución basada en streaming optimizada para Window TopN: En escenarios de Hash Partition, Window TopN utiliza ahora ordenamiento por mini-lotes basado en streaming por partición en lugar de un ordenamiento completo, lo que reduce la presión máxima sobre la memoria.

  • Rendimiento de escaneo mejorado: El TopN Filter durante el proceso de Scan puede usar ahora la caché de resultados, lo que reduce eficazmente la sobrecarga de escaneo subyacente.

  • Hybrid DML optimizado para tablas orientadas a filas: Un nuevo mecanismo de muestreo para INSERT en tablas orientadas a filas determina dinámicamente la estrategia de join, lo que mejora el rendimiento al importar grandes volúmenes de datos en tablas pequeñas.

• Dynamic Table query rewrite

• Supported incremental refresh functions

• Hologres Dynamic Table solution for long-period UV calculation

• Optimize query performance

Integración profunda con lakehouse

• Función de análisis EXTERNAL_FILES sin tablas externas

  • Flujo de trabajo simplificado para consultas ad hoc: La nueva función EXTERNAL_FILES permite analizar directamente archivos Parquet u ORC en OSS mediante SQL estándar, sin necesidad de crear una tabla externa.

  • Capacidad de exportación de datos: Esta función exporta datos de tablas internas directamente a OSS, lo que optimiza los flujos de trabajo para archivar datos fríos e intercambiar datos entre plataformas.

• Capacidades de lectura directa mejoradas para MaxCompute

  • Soporte para poda de grano fino: Al leer directamente desde tablas particionadas, el motor admite ahora la poda de particiones y la poda de claves de clustering, lo que reduce significativamente los escaneos de E/S.

  • Compatibilidad con tipos nativos: Se agregó soporte para leer directamente el tipo de datos JSON de MaxCompute. Esto mejora la eficiencia en el procesamiento de datos semiestructurados.

• Soporte para ingesta casi en tiempo real

  • Ingesta casi en tiempo real: Admite ingesta casi en tiempo real mediante una etapa de almacenamiento temporal. Esto equilibra mejor el rendimiento de escritura, el costo de recursos y la visibilidad de los datos en comparación con las rutas existentes de escritura por lotes en tiempo real y offline.

• File reading function (EXTERNAL_FILES)

• Access MaxCompute by using a common table link

Búsqueda y análisis multimodal

• Búsqueda de texto completo mejorada

  • Capacidades de tokenizer mejoradas: Admite tokenizers IK, N-gram y Pinyin para búsquedas de texto en chino, búsquedas difusas en registros y búsquedas de nombres basadas en pinyin.

• Búsqueda vectorial mejorada

  • Recursos de índice vectorial optimizados: El índice en memoria HGraph ahora admite compresión. Esto permite ahorrar un 50 % de memoria con solo un 5 % de impacto en el rendimiento.

  • Rendimiento de índice vectorial optimizado: HGraph ahora adjunta datos de columnas a los archivos de índice, lo que permite recuperar columnas directamente durante la búsqueda sin consultar la tabla destino.

• Full-text inverted index

• HGraph index usage guide (Recommended)

O&M de nivel empresarial y estabilidad del sistema

• Aislamiento de cargas de trabajo a nivel arquitectónico

  • Pool de hilos de consulta aislado: La ejecución de consultas se aísla ahora en un pool de hilos dedicado. Esto evita interferencias entre cargas de trabajo de consulta, escrituras en tiempo real y rutas de control del motor de almacenamiento en escenarios de alta concurrencia.

• Capacidades Serverless mejoradas

  • Serverless Computing adaptativo mejorado: Admite aislamiento automático de cargas de trabajo y enruta el tráfico hacia un pool de recursos de Serverless Computing cuando la carga es alta, lo que mejora el throughput y la estabilidad.

• Gestión de recursos y estabilidad mejoradas

  • Cambio dinámico de warehouses mediante SQL: Cambie el warehouse conectado mediante SQL estándar para mejorar el aislamiento multiinquilino y flexibilizar las tareas de O&M.

  • Capacidad de cambio de esquema de tabla (Rebuild) mejorada: La migración optimizada de metadatos y datos reduce la ventana de indisponibilidad de escritura durante cambios de esquema a menos de 10 segundos. Las tablas permanecen disponibles para consultas.

  • Control de tiempo de espera por bloqueo: Se introduce el parámetro hg_experimental_lock_wait_timeout_ms, que permite personalizar el tiempo de espera por bloqueo en rutas de escritura distintas a FixedQE.

  • Gestión de memoria de grano fino:

    • Los índices de texto completo se cargan ahora a través de la caché de bloques en lugar de residir permanentemente en memoria, lo que libera espacio de memoria de forma eficaz.

    • Se optimizó el algoritmo de mini-lotes y ahora se admite ConcatRecordBatch basado en streaming. Esto mitiga parcialmente los errores causados por estructuras Arrow que superan los 2 GB y reduce la presión máxima sobre la memoria.

• Adaptive Serverless Computing

• Use SQL to switch the current warehouse

• REBUILD

Función

Descripción

Referencias

Capacidades mejoradas de IA y recuperación

• (Beta) La función AI Function, impulsada por LLM, permite analizar y recuperar datos no estructurados como texto e imágenes. Todos los modelos se alojan completamente en nodos de IA de Hologres para garantizar rendimiento, escalabilidad, gobernanza, seguridad de datos y cumplimiento normativo. AI Function admite los siguientes casos de uso:

  • Utilizar modelos de embedding con una Object Table para realizar búsquedas vectoriales y de texto completo sobre datos no estructurados como texto e imágenes.

  • Resumir información clave a partir de texto e imágenes.

  • Filtrar y clasificar texto mediante lenguaje natural, así como traducir y localizar contenido multilingüe.

  • Realizar análisis de sentimiento y análisis basados en dimensiones para optimizar servicios.

  • Analizar sintácticamente documentos para respaldar el análisis de datos y flujos de trabajo RAG.

• (Beta) La búsqueda vectorial HGraph mejora el rendimiento más de 10 veces gracias a la búsqueda híbrida escalar-vectorial para recuperación de imágenes y videos, recomendaciones, y detección de seguridad y fraude. Los índices híbridos en memoria y en disco reducen el uso de memoria en un 80 % con solo un 5 % de disminución en QPS (según VectorDB Benchmark), lo que permite búsquedas vectoriales rentables en grandes conjuntos de datos como los de conducción autónoma.

• (Beta) Esta versión agrega soporte para índices invertidos de texto completo y tokenizers integrados para habilitar la búsqueda de texto completo. Los escenarios compatibles incluyen:

  • Búsquedas por palabra clave, frase o lenguaje natural.

  • Cálculo de puntuaciones BM25 para recuperación por similitud de texto.

  • Combinación con búsqueda vectorial para admitir búsqueda híbrida de texto completo y vectorial.

  • Soporte para búsqueda híbrida de texto completo y escalar.

• (Beta) El índice secundario global permite consultas puntuales eficientes de clave-valor en columnas que no son clave primaria, ideal para almacenes de características y plataformas de comercio electrónico.

• AI Function

• Full-text inverted index

• Global secondary index

Mejoras en el motor

• Esta versión admite TopN Runtime Filter para acelerar consultas de datos en escenarios TopN.

• (Beta) Hologres ahora admite Time Travel para tablas internas, lo que permite consultar datos históricos en cualquier punto dentro de un periodo definido.

• (Beta) Esta versión admite Optimización basada en historial (HBO). El sistema recopila detalles de ejecución de consultas lentas, analiza automáticamente los planes de consulta para identificar oportunidades de optimización y ajusta inteligentemente los planes con base en este historial.

/

Dynamic Table

(Beta) Las External Dynamic Tables escriben los datos procesados de vuelta en Paimon en modo completo o incremental, y admiten procesamiento casi en tiempo real de warehouse a warehouse, de lake a warehouse, de warehouse a lake y de lake a lake. Al combinarse con instancias serverless, esto permite procesar data lakes con costos ultra bajos.

• Dynamic Table

• Serverless instances

Mejoras de sintaxis

Esta versión admite la cláusula QUALIFY, que permite filtrar los resultados de funciones de ventana.

QUALIFY (Beta)

Extensiones de funciones y ecosistema

Se mejoró la compatibilidad con el ecosistema ClickHouse. Esta versión agrega soporte para múltiples funciones de truncamiento de tiempo, incluidas toDayOfMonth, toDayOfYear y toHour. Estas funciones pueden mejorar el rendimiento hasta en un 50 % en comparación con la función original extract(field from timestamp).

Date and time functions

Serverless y elasticidad

• (Beta) Las instancias de virtual warehouse ahora admiten escalado elástico multiclúster. Un virtual warehouse consta de uno o más clústeres y escala horizontalmente de forma automática según la carga para lograr aislamiento de recursos y alta concurrencia.

• (Beta) Las instancias de virtual warehouse proporcionan un fuerte aislamiento de escritura. Cualquier virtual warehouse puede realizar escrituras por lotes sin depender del warehouse líder ni cargar un grupo de tablas.

• (Beta) Se mejoró la capacidad de actualización en caliente para instancias de virtual warehouse. Durante una actualización, la ejecución de SQL no tiene pérdidas y las conexiones se restablecen sin problemas tras una breve interrupción.

• Ahora puede cambiar el virtual warehouse de la conexión actual mediante SQL.

• Serverless Computing ahora admite lectura y escritura en tablas externas DLF.

• Multi-cluster and auto scaling (Beta)

• Virtual warehouse management

• Virtual warehouse instance architecture

• Manage user permissions for virtual warehouses

• Switch the virtual warehouse for the current connection using SQL

• Accelerate access to data lakes in OSS by using DLF

• Use Serverless Computing to run read and write tasks

Análisis de data lake

(Beta) El duplicado de datos de MaxCompute precarga datos en tablas internas duplicadas con cero ETL, igualando el rendimiento de consulta de las tablas internas de Hologres sin necesidad de trabajos de sincronización dedicados.

/

Funciones principales

Descripción

Documentos relacionados

Mejoras en el motor

• Admite reutilización adaptativa o inclusión en línea de expresiones CTE.

• Optimiza los cálculos de expresiones BETWEEN.

CTE reuse strategy optimization

Dynamic Table

• El modo de actualización incremental ahora admite funciones como ARRAY_AGG y STRING_AGG.

• DataWorks Data Map ahora admite análisis de linaje de Dynamic Tables.

• ARRAY_AGG

• STRING_AGG

Capacidades de servicio mejoradas

Fixed Plan ahora admite expresiones simples, lo que habilita consultas puntuales y escrituras de clave-valor con alto QPS en más escenarios.

Accelerate SQL execution using Fixed Plan

Extensiones de funciones y ecosistema

Agrega soporte para expresiones lambda y funciones de array de orden superior.

Lambda expressions and related functions

Capacidades Serverless

• Serverless Computing ahora admite lectura y escritura en tablas cifradas, incluidas tablas internas y tablas externas de MaxCompute.

• Query Queue se mejoró para clasificar sentencias SQL por tabla y enrutar automáticamente las solicitudes de tablas específicas hacia Serverless Computing.

• Serverless Computing user guide

• Query queue

Capacidades de análisis de data lake

• Admite duplicado de tablas de data lake para Paimon con el fin de acelerar consultas de data lake.

• Se integra con el sistema de gestión de metadatos DLF 2.5, y admite catálogos Paimon en el data lake mediante la API REST de DLF.

• Esta función utiliza cero ETL para precargar datos del data lake en tablas internas duplicadas, lo que mejora significativamente la eficiencia de las consultas.

• La función Time Travel para Paimon permite leer datos históricos al especificar una marca de tiempo o etiqueta.

• Admite lectura de datos de ramas desde tablas Paimon, incluida la lectura desde una rama específica y la lectura con comportamiento de respaldo.

• Ahora puede deshabilitar los escaneos completos de tabla en tablas particionadas para evitar un consumo excesivo de recursos.

• Mejora el rendimiento 2 veces en consultas sobre tablas Paimon en la prueba de referencia TPC-H de 1 TB.

• Data lake table mirroring

• Access Paimon data based on DLF catalog

Mejoras en el ecosistema

Agrega soporte para recortar y comprimir registros binarios con el fin de reducir el consumo de E/S.

/

Función

Descripción

Documentación

La instancia serverless de Hologres (Beta) está disponible como vista previa gratuita y solo por invitación.

Un nuevo tipo de instancia serverless, basado en una arquitectura cloud-native, ofrece capacidades de cómputo y almacenamiento de Hologres flexibles y escalables sin necesidad de adquirir recursos dedicados por adelantado ni incurrir en costos por inactividad.

Para solicitar una prueba, complete el formulario con su cuenta principal de Alibaba Cloud.

Serverless instance

Mejoras en funciones principales

Descripción

Documentación relacionada

Tabla dinámica

• Admite particionamiento dinámico basado en tablas particionadas lógicas para simplificar significativamente su uso.

• Incorpora un modo de actualización automática. Especifique la frescura de datos deseada y el motor optimizará automáticamente la estrategia de actualización para ofrecer mayor flexibilidad.

• La actualización incremental ahora admite escenarios JOIN de doble flujo, lo que mejora la flexibilidad en el procesamiento de datos en tiempo real.

• La actualización incremental ahora es compatible con funciones RoaringBitmap, lo que permite cálculos incrementales para escenarios complejos como el análisis de visitantes únicos (UV) y vistas de página (PV).

• El modo de actualización completa ahora admite Adaptive Execution (Beta), lo que mejora la estabilidad al reducir los errores OOM mediante la derivación dinámica de recursos y ajustes de plan, manteniendo una baja latencia.

• CREATE DYNAMIC TABLE

• Incremental refresh

Capacidades serverless

• Serverless Computing ahora admite escenarios DML más complejos, incluidos INSERT OVERWRITE, RESHARDING y CTAS, así como procedimientos almacenados, operaciones REBUILD y tablas cifradas.

• Introduce escalado sin pérdida de almacenes de datos virtuales (Beta) para garantizar la continuidad del negocio durante las operaciones de escalado.

• Admite limitación automática (Beta). Esta función limita dinámicamente la concurrencia de la cola de consultas según la carga de trabajo, lo que mejora significativamente la estabilidad del clúster.

• Agrega enrutamiento adaptativo para Serverless Computing, que dirige automáticamente las consultas grandes a recursos serverless para su ejecución.

• Permite establecer un límite de uso diario para Serverless Computing.

• Optimiza la reutilización de caché para Serverless Computing en escenarios de alta concurrencia con el fin de mejorar el rendimiento de las consultas.

• Admite el uso de un rol de RAM para escalar almacenes de datos virtuales.

• Serverless Computing User Guide

• Serverless Computing Release Notes

• Manage virtual warehouses

• Scheduled scaling (Beta)

• Automatic throttling (Beta)

• Daily usage limit

Optimización de rendimiento y mejoras en consultas

• El motor de consultas refactorizado (QEv2) admite computación sobre codificación ligera, lo que proporciona una mejora de rendimiento del 33 % en la prueba de referencia TPC-H de 1 TB.

• La optimización adaptativa del motor envía automáticamente planes de agregación hacia abajo basándose en un modelo de costos. Esto reduce el volumen de datos en las operaciones JOIN y disminuye significativamente tanto la latencia como la sobrecarga de CPU.

• El motor ahora infiere automáticamente el atributo NOT NULL para las claves JOIN y aplica la condición NOT NULL para filtrar los valores NULL de forma anticipada. También elimina automáticamente los campos constantes de la cláusula GROUP BY en las agregaciones.

• Incorpora la función Query Cache, que acelera las consultas al almacenar sus resultados en caché.

• Mejora las capacidades de diagnóstico de la vista hg_stats_missing al agregar nuevos campos, incluidos autovacuum_enabled (indica si AUTO ANALYZE está habilitado) y reason (explica por qué faltan estadísticas). Esto simplifica el diagnóstico y la completitud de las estadísticas faltantes.

• Se optimizó el sistema AUTO ANALYZE. La recopilación mejorada de estadísticas ahora recupera automáticamente el recuento de filas para tablas sin estadísticas, lo que mejora la calidad del plan de consultas. Además, las estadísticas son más persistentes porque ya no se borran por cambios de esquema que no afectan su validez estadística, como operaciones RENAME o movimientos de datos a almacenamiento en frío. Esto reduce la carga del sistema y mejora la calidad de los planes de ejecución.

• Benchmark Test Results

• Query Cache

• HG_STATS_MISSING View

Gestión de datos y optimización de escritura

• Optimización de almacenamiento e índices

  • Introduce nuevas tablas particionadas lógicas (Beta). Esta función ofrece mayor flexibilidad con gestión de metadatos ligera y administración de datos simplificada.

  • Agrega soporte para columnas generadas almacenadas (Beta), que simplifican el procesamiento de datos y aceleran las consultas mediante precomputación.

  • Introduce la herramienta REBUILD (Beta). Admite la modificación de índices ligeros (como clave de distribución, clave de agrupamiento y clave de segmento) y otros cambios en la estructura de la tabla.

• Mejoras en capacidades de escritura

  • El comando COPY para tablas de clave primaria ahora admite actualizaciones parciales de columnas, lo que reduce la necesidad de escenarios FIXED COPY. Cuando se utiliza un frontend (FE) fijo, sus conexiones no cuentan para el límite de conexiones del FE original.

  • Agrega soporte nativo para la sintaxis INSERT OVERWRITE, lo que permite operaciones de sobrescritura más flexibles tanto en tablas estándar como en tablas particionadas lógicas.

• Logical partitioned table (Beta)

• Generated columns

• REBUILD

• COPY

• Best Practices for Batch Data Writes in Hologres

• INSERT OVERWRITE

Extensiones de funciones y ecosistema

• Nuevas funciones integradas

  • Agrega funciones de embudo para asociación de propiedades y agrupamiento de dimensiones.

  • Amplía el conjunto de funciones compatibles con Spark y Presto para mejorar la eficiencia de desarrollo entre motores.

  • Algunas funciones de Roaring Bitmap ahora admiten enteros de 64 bits, lo que amplía sus casos de uso en el análisis de perfiles de usuario.

• Soporte para funciones remotas

  • Admite la invocación de una UDF remota a través de Function Compute, lo que proporciona una forma flexible de extender las capacidades de ETL.

• Property association funnel function (finder_funnel)

• Dimension grouping funnel function (finder_group_funnel)

• Spark-compatible functions

• Presto-compatible functions

• Data types summary

• RoaringBitmap functions

• User-defined functions (Remote UDF)

Actualizaciones de funciones empresariales

• Mejora la gestión de permisos a nivel empresarial. Ahora puede especificar un token de seguridad en las opciones de conexión del protocolo PostgreSQL para iniciar sesión con un rol de RAM mediante JDBC o PSQL.

• Introduce la papelera de reciclaje de tablas, que permite recuperar tablas y sus datos tras una eliminación accidental.

• Mejora el enmascaramiento de datos para admitir resultados de vistas y tipos de datos que no sean TEXT. Esto fortalece significativamente la protección de datos sensibles y ayuda a prevenir ataques de fuerza bruta.

• Table recycle bin

• Data masking

Capacidades de análisis de data lake

• Soporte para fuentes de datos externas

  • Mejora la integración con fuentes de datos externas y permite un acceso fluido desde herramientas BI principales como Quick BI, Tableau y Superset.

  • Ahora puede especificar un intervalo de actualización de metadatos para fuentes de datos externas.

  • Las operaciones ANALYZE y AUTO ANALYZE ahora son compatibles con fuentes de datos externas.

  • Admite la escritura de datos en tablas de clave primaria de Paimon mediante INSERT INTO, lo que facilita el flujo de datos entre el data lake y el almacén.

  • Admite la escritura de datos en tablas Iceberg mediante INSERT INTO, lo que amplía la compatibilidad con formatos abiertos de data lake.

• Aceleración transparente para MaxCompute

  • El acceso directo a datos de MaxCompute ahora es V2.0 (Beta). El mecanismo de lectura directa se rediseñó con base en el SDK nativo de C++ de MaxCompute, lo que mejora aún más el rendimiento y la experiencia de usuario al acceder a fuentes de datos de MaxCompute.

  • Admite la lectura directa de Delta Tables de MaxCompute (Beta).

  • Admite la lectura directa de datos enmascarados dinámicamente desde MaxCompute, lo que proporciona una experiencia integrada de enmascaramiento de datos (Beta).

  • Admite la lectura directa de tablas de MaxCompute con esquemas evolucionados. Las operaciones admitidas incluyen agregar, eliminar y reordenar columnas, así como modificar tipos de columna.

  • Ahora puede usar la nueva función de Desarrollo de Datos en DataWorks para asignar proyectos, esquemas y tablas de MaxCompute a Hologres con un solo clic.

  • Ahora puede usar la nueva función de Desarrollo de Datos en DataWorks para importar datos de tablas de MaxCompute a Hologres con un solo clic.

• ANALYZE and AUTO ANALYZE

• Accelerate access to MaxCompute

• Access MaxCompute Delta Tables from Hologres

• Map MaxCompute metadata to Hologres external tables

• Synchronize MaxCompute data to Hologres internal tables

Mejoras de funciones

Descripción

Documentación relacionada

Mejoras en las capacidades del motor

• Se introduce Dynamic Table con modos de actualización completa e incremental. Los datos fluyen y se actualizan automáticamente, lo que permite la estratificación de datos en tiempo real, el procesamiento unificado por lotes y en streaming, así como una flexibilidad mayor en la actualidad de los datos para análisis.

• Serverless Computing se actualiza para admitir operaciones SELECT y COPY. Esto proporciona una solución de recursos nativa de la nube para consultas temporales a gran escala.

• Los Virtual Warehouses ahora admiten escalado automático programado (Beta), lo que le permite ajustar los recursos de cómputo según un cronograma. Esta función ayuda a satisfacer demandas fluctuantes, evita interferencias entre cargas de trabajo y maximiza la utilización de recursos.

• Se agrega compatibilidad con colas de consultas:

  • Puede crear colas de consultas según los requisitos del negocio y configurar su concurrencia y longitud para mejorar la estabilidad de la instancia.

  • Se mejora la gobernanza de consultas grandes. Ahora puede establecer un tiempo de espera para consultas extensas en una cola y reducir su impacto en la instancia. Las consultas que superan el tiempo límite pueden ejecutarse nuevamente mediante recursos de Serverless Computing.

  • Es posible utilizar Serverless Computing para ejecutar todas las consultas de una cola.

• El rendimiento de escrituras, actualizaciones y consultas puntuales mediante Fixed Plan mejora aproximadamente un 10 % en comparación con la versión V2.2.

• Se admite la ejecución de INSERT OVERWRITE en tablas primarias particionadas.

• Se agregan procedimientos almacenados (Beta), que permiten definir SQL de uso frecuente para simplificar la lógica de la aplicación.

• La evolución de esquemas se mejora para admitir la modificación de tipos de datos de columnas.

• Se mejora el comando COPY. Al importar datos a una tabla con clave primaria, puede configurar una directiva de actualización de fila completa para evitar errores por conflicto de clave primaria.

• Se añade compatibilidad con cross join para mejorar el rendimiento de predicados de no igualdad, así como agregación parcial para limitar el uso de memoria y reducir riesgos de OOM en consultas con muchas claves GROUP BY.

• Se optimiza el motor de almacenamiento y mejora el rendimiento de actualización de tablas orientadas a columnas cuando una segment key se establece en una columna sin escritura secuencial.

• Se amplían las capacidades de las funciones:

  • La función TRY_CAST se mejora para admitir DATE, TIMESTAMP y TIMESTAMPTZ como tipos de datos destino.

  • Se admite la ejecución de las funciones ARRAY_AGG y STRING_AGG con cláusulas DISTINCT y ORDER BY en Hologres Query Engine (HQE) para mejorar el rendimiento de las consultas.

• Serverless Computing usage guide

• Scheduled auto scaling (Beta)

• Use Serverless Computing resources to execute queries in a query queue

• Best practices for stress testing data writes, updates, and point lookups

• INSERT OVERWRITE

• Stored procedures

• ALTER TABLE

• COPY

• EXPLAIN and EXPLAIN ANALYZE

• Troubleshoot common OOM issues

• Type conversion functions

• Function release history

Mejoras en operaciones y estabilidad

• Se introduce auditoría SQL en colaboración con SLS para monitorear, registrar y analizar actividades de la base de datos, con el fin de garantizar la seguridad de los datos y el cumplimiento de directivas.

• Se mejoran las capacidades de escalado horizontal de los Virtual Warehouses, de modo que las operaciones de lectura y escritura continúan sin interrupciones durante el proceso de escalado.

• Se admite el registro de operaciones DML y consultas con duración menor a 100 ms en la tabla del sistema de registros de consultas en formato agregado, lo que mejora la observability y el análisis de SQL.

• CloudLens for Hologres

• Manage Virtual Warehouses

• Scheduled auto scaling (Beta)

• View and analyze slow query logs

Integración con Lakehouse

• La nueva función External Database admite mapeo de metadatos a nivel de catálogo para orígenes de datos como Data Lake Formation (DLF) y MaxCompute, lo que mejora las capacidades de gestión de metadatos y datos en lagos de datos.

• Se admite la conexión a un metastore de Hive para mapear metadatos y acelerar de forma transparente clústeres de EMR.

• Se admite la escritura de datos en tablas de anexión de Paimon mediante la instrucción INSERT INTO.

• Se admite la lectura del formato de tabla Iceberg, lo que amplía aún más el ecosistema de lagos de datos.

• Se mejoran las capacidades de seguridad. De forma predeterminada, se utilizan roles vinculados al servicio para la transferencia de identidad al acceder a DLF 2.0. También puede acceder a DLF 2.0 mediante un rol de RAM.

• Se mejoran las capacidades de las tablas.

  • El lector para el formato Delta Lake se rediseña por completo, lo que mejora significativamente el rendimiento de lectura.

  • Se admite la optimización de vectores de eliminación de Paimon, lo que mejora el rendimiento de consultas en escenarios donde se ha eliminado una gran cantidad de datos pero aún no se han compactado.

• A partir de la versión V3.0.22, Hologres admite el acceso a MaxCompute Delta Tables.

• Access data in an OSS data lake by using a Hive metastore (Beta)

• Access MaxCompute Delta Tables from Hologres

Mejoras de funciones

Descripción

Documentación relacionada

Hologres Serverless Computing completa su fase Beta

Hologres Serverless Computing ha completado su fase Beta, ya está listo para producción y cuenta con cobertura de SLA. Su disponibilidad general comienza el 1 de julio de 2024 (UTC+8).

• Usage and billing

• Serverless Computing

Mejoras de funciones

Descripción

Documentación relacionada

Mejoras en las capacidades del motor

• El rendimiento general del motor mejora alrededor de un 15 % respecto a versiones anteriores, con enfoque en la evolución de HQE y Query Optimizer (QO):

  • Se optimiza Hologres Query Engine (HQE) y mejora el rendimiento en los siguientes escenarios:

    • Se mejora la capacidad de Runtime Filter para admitir escenarios de shuffle join, lo que incrementa la eficiencia de consultas en estos casos en aproximadamente un 30 %.

    • Se optimiza el mecanismo de conexión RPC de HQE. Los datos dentro de cada worker se fusionan antes de distribuirse a otros workers. Esto reduce significativamente la sobrecarga de red y mejora el rendimiento de consultas en un 8 % en escenarios con shuffles.

  • Se optimiza Query Optimizer (QO) y aumenta la velocidad de procesamiento de instrucciones SQL en la fase de planificación en un 40 %:

    • Se optimizan el mecanismo de asignación de memoria y el algoritmo de join para mejorar el rendimiento de consultas en escenarios con múltiples joins.

    • Se optimiza el comportamiento de la función DATE_PART para mejorar la eficiencia de consultas en campos relacionados con tiempo, como el año.

    • Se optimiza el comportamiento de comparación para campos de tipo DATE y TIMESTAMP con el fin de mejorar la eficiencia de consultas en columnas basadas en tiempo.

    • Se optimizan operaciones en funciones complejas con filtros. Esta optimización reordena múltiples filtros para reducir la cantidad de datos procesados y mejorar la eficiencia de las consultas.

• Se introduce Serverless Computing para ejecutar trabajos de larga duración (importación de datos, ETL) en un pool de recursos compartido, lo que reduce la contención de tareas y mejora la estabilidad de la instancia. Disponible solo en regiones seleccionadas.

• Auto Partition para particiones dinámicas ahora permite personalizar los horarios de creación y eliminación de particiones, así como el tiempo de migración para tablas de almacenamiento en frío, lo que mejora la usabilidad de la función.

• Se agrega compatibilidad con sintaxis de hints SQL. Puede usar hints para modificar el plan de ejecución de una instrucción SQL, lo que permite una optimización de rendimiento más detallada.

• Se optimiza la función hg_stat_activity para proporcionar métricas de CPU y memoria más precisas. También admite la visualización del progreso de importaciones de datos de MaxCompute a Hologres, lo que mejora significativamente la observability de consultas activas.

• Se añaden nuevas funciones de análisis de rutas. Puede analizar el tráfico y el tiempo empleado en cada nodo de una ruta para fundamentar estrategias de operación del producto y diseñar optimizaciones.

• Se amplían las capacidades de las funciones:

  • Se admite la función de conversión de tipos try_cast, que convierte automáticamente datos no válidos a NULL en lugar de generar un error, lo que simplifica el manejo de datos excepcionales.

  • Se agregan nuevas funciones de fecha y hora: dateadd, datediff y last_day.

  • Se admite la ejecución de más funciones de agregación de propósito general en Hologres Query Engine (HQE) para mejorar el rendimiento de las consultas.

• Serverless Computing usage guide

• Manage dynamic partitions

• HINT

• Manage queries

• Path analysis functions

• Type conversion functions

• Function release history

Mejoras en operaciones y estabilidad

• Se agrega compatibilidad con huellas digitales SQL y se reportan en registros de consultas lentas. La agrupación y análisis de huellas digitales SQL mejora las capacidades de diagnóstico de problemas y monitoreo de anomalías.

• Se exponen métricas de monitoreo para QE, FixedQE y binlogs con el fin de mejorar la observability y la mantenibilidad.

• HoloWeb ahora admite Query Insight, lo que permite recuperar información de ejecución de consultas, metadatos de tablas y detalles de resolución de bloqueos con un solo clic para mejorar aún más la eficiencia en la solución de problemas.

• Se agrega compatibilidad con recuperación ante desastres entre zonas de disponibilidad. (Esta función está disponible solo en regiones seleccionadas).

• Se optimizan los códigos y mensajes de error del motor para mejorar la eficiencia del análisis de registros de consultas lentas.

  • Se optimiza la lógica de cálculo de duración de DDL para mejorar la precisión de los tiempos de ejecución recopilados en operaciones DDL.

  • Se admite el registro de resultados de EXPLAIN ANALYZE en registros de consultas lentas, lo que proporciona datos detallados de ejecución para cada operador.

• Se optimiza la tecnología subyacente para actualizaciones de versión. Esta optimización utiliza la nueva tecnología Physical Restore para reducir significativamente el tiempo de actualización en instancias con grandes volúmenes de metadatos, lo que minimiza el impacto en el negocio.

• Los bloqueos de tabla en nodos FE se actualizan a bloqueos de corto plazo, lo que resuelve operaciones DDL detenidas y errores de inconsistencia de metadatos para mejorar la estabilidad del FE.

• Se actualizan las capacidades de OpenAPI con nuevas API para aceleración de lagos de datos y grupos de recursos con el fin de mejorar las operaciones y la gestión de instancias.

• View and analyze slow query logs

• Query Insight

• Common issues with Hologres SQL statements

• API overview

Extensiones del ecosistema

• La función Auto Load para tablas externas ahora admite el modelo de tres capas de MaxCompute. Puede usar el parámetro hg_experimental_auto_load_foreign_schema_mapping para especificar mapeos de esquemas. Esta función también admite evolución de esquemas para tablas externas de MaxCompute, incluida la adición o eliminación de columnas y la modificación de nombres u orden de columnas.

• La función Auto Load para tablas externas ahora admite carga automática mediante metadatos de DLF para acelerar consultas en tablas almacenadas en OSS.

• Se actualiza la arquitectura de lago de datos. Las tablas externas en formatos ORC y Parquet ahora admiten caché multinivel mediante discos de alta velocidad integrados y memoria, además de pushdown de predicados. Esto mejora significativamente el rendimiento de lectura.

• Acceda a tablas externas de MaxCompute mediante un rol vinculado al servicio para simplificar la configuración de permisos. Autorice con un solo clic en la consola de Hologres.

• HoloWeb ahora permite explorar visualmente datos en OSS y tablas dentro de esquemas especificados por el modelo de tres capas de MaxCompute.

• Auto Load for external tables

• Service-linked role for Hologres

• Create an OSS external table

• Create a MaxCompute external table

Función

Descripción

Documentación relacionada

Mejoras del motor

• Optimiza automáticamente el rendimiento en tiempo de ejecución para expresiones COUNT DISTINCT simples y múltiples, lo que mejora significativamente la eficiencia de las consultas en escenarios con COUNT DISTINCT.

• El filtro de grupo de filas para tablas orientadas a columnas registra los valores mínimos y máximos por grupo. Esto permite al optimizador descartar grupos completos sin leer datos, reduce la E/S y mejora el rendimiento de las consultas.

• Se optimizó la función Runtime Filter para admitir escenarios de unión multicolumna, lo que mejora notablemente la eficiencia de las uniones.

• Ahora puede desencadenar manualmente una compactación completa para fusionar archivos pequeños y mejorar la eficiencia de las consultas.

• Se agregaron funciones de análisis de embudo basadas en rangos para analizar y comparar la conversión de actividad de los usuarios.

• Se incorporó la extensión Bit-Sliced Index (BSI) para mejorar el rendimiento y la usabilidad en escenarios de etiquetas con alta cardinalidad, así como en consultas conjuntas sobre etiquetas de perfil de usuario y de comportamiento.

• La clustering key ahora admite orden descendente. Puede utilizar la clustering key en escenarios de ordenamiento para mejorar el rendimiento de las consultas.

• Se optimizó el mecanismo de caché para el almacenamiento de acceso poco frecuente con el fin de mejorar su rendimiento en consultas.

• Se añadieron las sintaxis CREATE TABLE WITH y ALTER TABLE SET para reemplazar la sintaxis original set_table_property, lo que simplifica el proceso de configuración de propiedades de tabla.

• Se optimizaron las escrituras en tablas sin clave primaria. Las escrituras por lotes en estas tablas ahora usan bloqueos a nivel de fila en lugar de bloqueos a nivel de tabla, lo que permite su ejecución simultánea con Fixed Plan.

• Proxima vector computing ahora permite crear una tabla e importar datos vectoriales antes de generar un índice vectorial. Esto reduce el tiempo de creación del índice y simplifica el uso de cómputo vectorial.

• Mejoras en funciones:

  • Varias funciones de arreglo ahora se ejecutan en HQE para mejorar su rendimiento.

  • Se agregó la función KeyValue para dividir cadenas.

  • Se incorporó la función IF para simplificar escenarios de verificación de tipos y reducir los costos de migración desde MySQL.

• Count distinct optimization

• Runtime Filter

• Compaction (Beta)

• Overview of funnel functions

• BSI functions

• Profile analysis - BSI optimization solution

• Clustering key

• Data tiered storage

• CREATE TABLE

• Locks and lock troubleshooting

• Proxima vector computing

• Function release notes

• KeyValue function

• IF

Mejoras en operación y estabilidad

• Se mejoró el diagnóstico de consultas lentas para lograr un análisis más eficiente.

  • Ahora es posible registrar los resultados de EXPLAIN ANALYZE en los registros de consultas lentas, lo que proporciona datos detallados de tiempo de ejecución para cada operador.

  • Se mejoró el diagnóstico de Fixed Plan. En escenarios de escritura, los datos de affected_rows se reportan al almacén de metadatos. En escenarios de consulta, los datos de result_rows y result_bytes se envían al almacén de metadatos.

• Se agregó la función hg_relation_size para consultar el uso detallado de almacenamiento de una tabla.

• Se añadió compatibilidad con el comportamiento nativo de PostgreSQL y soporte para balanceo de carga. Esto habilita el balanceo de carga y el failover automático en una arquitectura principal/secundaria, lo que mejora la disponibilidad del servicio.

• Se amplió OpenAPI con nuevas API para crear, renovar, escalar y liberar instancias, lo que facilita la operación y gestión de instancias.

• View and analyze slow query logs

• Accelerate SQL execution with fixed plans

• Table storage functions

• JDBC-based load balancing

• API overview

Expansión del ecosistema

La aceleración de data lake ahora es compatible con el formato de almacenamiento Paimon.

Accelerate access to data in OSS data lakes by using DLF

Función

Descripción

Documentación relacionada

Mejoras del motor

• Se introdujo Runtime Filter para optimizar el filtrado durante operaciones de unión. Esta función reduce la cantidad de datos escaneados y disminuye la sobrecarga de E/S, mejorando el rendimiento en más de un 20 % en escenarios típicos de unión de múltiples tablas.

• El motor de consultas incorpora un mecanismo de Lazy Create Fragment Instance. En escenarios de vista previa que utilizan una cláusula LIMIT N en tablas grandes, este mecanismo reduce la sobrecarga y mejora significativamente el rendimiento de las consultas.

• Se optimizó por completo el formato de visualización de los planes de ejecución (EXPLAIN y EXPLAIN ANALYZE) para mejorar su legibilidad y simplificar el ajuste de rendimiento de SQL.

• Se mejoró el soporte para transacciones distribuidas, que ahora incluye transacciones con múltiples sentencias DML.

• Compatible con DROP COLUMN.

• Admite la sintaxis CREATE TABLE AS para simplificar escenarios de iteración y optimización de esquemas.

• Soporta COPY en streaming, lo que mejora el throughput de escritura y elimina la necesidad de procesar por lotes.

• Permite configurar un índice bitmap en almacenamiento columnar JSONB para acelerar consultas con filtros de igualdad.

• Admite el tipo DATE como clave primaria y como clave de partición para una tabla particionada. El recorte de particiones se optimizó y funciona incluso cuando la longitud del arreglo IN para el campo de partición supera el umbral (valor predeterminado: 100).

• Más optimizaciones internas del motor:

  • El motor de almacenamiento optimiza el mecanismo Tablet Lazy Open, compatible tanto con instancias principales como secundarias. Las tablas sin acceso durante más de 24 horas se cierran automáticamente para liberar memoria. Cuando la cantidad de datos en tablas abiertas supera un umbral, se aplica una política de uso menos reciente (LRU) para seleccionar dinámicamente el tablet correspondiente y cerrarlo. Esto reduce la sobrecarga de memoria residente en escenarios con muchas tablas.

  • El motor de almacenamiento mejora el mecanismo de gestión de almacenamiento de esquemas. Un Meta Tablet administra ahora todos los esquemas, lo que reduce la sobrecarga de memoria residente en entornos con numerosas tablas y shards.

  • El motor de almacenamiento optimiza su capacidad de recuperación rápida. Ahora puede iniciarse en modo de reparación para una recuperación ágil si algunas tablas presentan problemas con la recuperación convencional. La gestión de metadatos admite de forma predeterminada la recuperación lógica, lo que acorta eficazmente el tiempo de recuperación en escenarios con muchas particiones. Para casos con decenas de miles de particiones, la recuperación es más de cinco veces más rápida.

• Mejoras en funciones:

  • Más funciones pueden ejecutarse ahora en HQE para mejorar su rendimiento.

    • El framework de soporte para Table Function se rediseñó para permitir la ejecución de generate_series (INT, BIGINT y NUMERIC) en HQE.

    • El framework de soporte para funciones PQE se reestructuró para admitir la ejecución de left, right, text::timestamp y timestamp::text en HQE.

  • Se agregaron funciones de arreglo, incluidas array_max, array_min, array_contains, array_except, array_distinct y array_union.

  • Se incorporaron las funciones de agregación max_by y min_by para simplificar operaciones ordenadas en escenarios de ventanas.

• Runtime Filter

• EXPLAIN and EXPLAIN ANALYZE

• SQL transaction capabilities

• Delete column (Beta)

• CREATE TABLE AS

• COPY

• Columnar JSONB

• CREATE PARTITION TABLE

• Function release notes

• ARRAY functions

• MAX_BY

• MIN_BY

Mejoras en operación y estabilidad

• Se introdujo hg_stat_activity sobre pg_stat_activity. Es compatible con la vista original, pero ofrece información de diagnóstico en tiempo de ejecución mucho más rica, como etapa de ejecución, tipo de motor de ejecución, uso de recursos e información de bloqueos en tiempo de ejecución.

• Se implementó replicación a nivel de shard. Esto admite alta disponibilidad y balanceo de carga para escalar el throughput dentro de una sola instancia. Tolera fallos parciales de máquinas y puntos calientes desequilibrados.

• Auto Analyze se rediseñó con una arquitectura distribuida y ahora admite tablas externas, clústeres de aceleración lakehouse y análisis incremental para tablas particionadas. Resuelve fallos de análisis en tablas muy grandes o anchas, lo que genera planes de ejecución más estables y menor sobrecarga.

• Se optimizó la configuración de cifrado de almacenamiento para admitir ajustes flexibles de cifrado por tabla.

• Se mejoró el mecanismo de linaje de datos. Ahora admite análisis de linaje entre motores para MaxCompute y Hologres en DataWorks, y puede analizar sintácticamente el linaje de expresiones como CTE.

• Query the hg_stat_activity view

• Single-instance shard-level multi-replica

• Table-level storage encryption settings

• Data lineage

Expansión del ecosistema

• Se actualizó el motor de aceleración de consultas para tablas externas de MaxCompute con el fin de mejorar la compatibilidad y la estabilidad.

• En escenarios de aceleración lakehouse con gestión integrada de metadatos de DLF, ahora puede usar catálogos de datos de DLF (Multi-Catalog) para el aislamiento de metadatos. Esto simplifica el aislamiento de metadatos entre clústeres de prueba, desarrollo y entre departamentos.

• En escenarios de aceleración lakehouse, esta versión añade soporte para acelerar datos almacenados en OSS-HDFS (también conocido como JindoFS). Esto atiende mejor los escenarios de cómputo de data lake en el ecosistema de big data Hadoop y en áreas de IA.

• Se añadieron funciones compatibles con ClickHouse para facilitar la migración de datos y trabajos.

• Accelerate access to data in OSS data lakes by using DLF

• Accelerate access to data in OSS-HDFS data lakes by using DLF

• Import data from ClickHouse

Función

Descripción

Referencias

Mejoras del motor

• Se añadió soporte para vistas materializadas en tiempo real con el fin de mejorar el rendimiento de consultas en escenarios de agregación en tiempo real (Beta).

• Se incorporó almacenamiento columnar para JSONB, lo que mejora significativamente la eficiencia de consultas estadísticas y aumenta la tasa de compresión de datos.

• Se agregó gestión dinámica de particiones para tablas particionadas, incluida la creación y eliminación automática de subtablas de partición.

• Se añadió la función de deduplicación precisa UNIQ, que mejora notablemente la eficiencia de deduplicación, optimiza escenarios con múltiples COUNT DISTINCT y reduce el uso de memoria.

• Optimizaciones del motor:

  • Se añadió soporte para escribir directamente en la tabla principal de una tabla particionada mediante sentencias INSERT que cumplen con Fixed Plan.

  • Se agregó soporte para filtrado en expresiones de agregación, incluidas string_agg() y array_agg().

  • Se incorporó soporte para el tipo de dato RowType y funciones relacionadas como row() y row_to_json().

  • Se añadió soporte para modificar el esquema de una tabla.

  • Se introdujo el operador CTE Reuse para mejorar el rendimiento de expresiones with.

• Se agregó soporte para leer el modelo de tres capas de MaxCompute (proyecto.esquema.tabla).

• Se mejoró la integración con MaxCompute: ahora puede leer y escribir en tablas transaccionales, leer tablas tras cambios de esquema (eliminación de columnas, reordenamiento o cambios de tipo) y escribir de vuelta datos ARRAY y DATE.

• Manage materialized views with SQL

• JSON and JSONB types

• CREATE PARTITION TABLE

• Optimize query performance

• INSERT

• Accelerate SQL execution with fixed plans

• String functions

• JSON functions

• ALTER TABLE

• CREATE FOREIGN TABLE

• IMPORT FOREIGN SCHEMA

• Accelerate queries on MaxCompute data using a foreign table

• Export to MaxCompute

Mejoras en operación y estabilidad

• Se introdujo la configuración de autoservicio para una instancia secundaria de almacenamiento compartido con el fin de mejorar la elasticidad y la alta disponibilidad.

• Se agregó la tabla table_info al almacén de metadatos para mejorar las capacidades de gobernanza de datos.

• Se redujo la huella de memoria de los metadatos mediante la optimización del uso de memoria.

• Se añadió soporte para copias de seguridad periódicas automáticas y manuales, lo que permite recuperar datos tras operaciones accidentales.

• Multi-instance high-availability deployment with read/write splitting (shared storage)

• Viewing and analysis of table statistics information

• Local backup and recovery

• Recover

Expansión del ecosistema

• Se añadió soporte de nivel productivo para la extensión PostGIS.

• Se incorporó el paquete de extensión Oracle, que proporciona numerosas funciones compatibles con Oracle.

• Mediante DLF, ahora puede leer tablas externas en formatos Hudi y Delta, y escribir datos en formatos CSV, Parquet, SequenceFile y ORC hacia tablas externas en OSS.

• Se mejoró la compatibilidad con BI y se alcanzó una tasa de aprobación superior al 99 % en la prueba de compatibilidad de Tableau (TDVT).

• PostGIS spatial functions

• Oracle-compatible functions

• Based on DLF to accelerate access to OSS data lakes

Función

Descripción

Documentación relacionada

Mejoras en operación y mantenimiento

• Se añade el aislamiento de resource group (Beta). Puede crear resource groups para aislar cargas de trabajo a nivel de hilo para distintos usuarios dentro de una instancia. Esta función ofrece mejor compatibilidad con escenarios multiusuario y multiescenario.

• Se admiten actualizaciones en caliente en línea para instancias de Hologres. Las operaciones de lectura (consulta) no se ven afectadas durante una actualización. Para utilizar esta función, solicite acceso uniéndose al grupo de la comunidad de Hologres.

• Isolate computing resources in a single instance (Beta)

• Para obtener información sobre cómo unirse al grupo, consulte Obtain online support.

Mejoras del motor

• Se admite el almacenamiento híbrido de filas y columnas, lo que permite que una sola copia de los datos atienda tanto consultas puntuales como cargas de trabajo OLAP.

• Se admite el consumo en tiempo real de registros binarios de Hologres mediante JDBC (Beta).

• Se admite la habilitación bajo demanda y la configuración dinámica de registros binarios.

• Se admite el cambio de nombre de columnas.

• Se añaden índices JSONB (Beta) para acelerar las consultas sobre datos JSON.

• Se optimiza la gestión de metadatos en memoria mediante la adición de caché y compresión para un uso más eficiente de la memoria.

• CREATE TABLE

• Consume Hologres binary logs by using JDBC

• Subscribe to Hologres binary logs

• ALTER TABLE

• JSON and JSONB data types

Mejoras en tablas externas

• Se admite la lectura de datos en formatos CSV, Parquet, SequenceFile y ORC desde Object Storage Service (OSS) mediante Data Lake Formation (DLF).

• Se admiten consultas entre bases de datos y consultas federadas en varias instancias de Hologres.

• Accelerate access to data in OSS data lakes based on DLF

• Cross-database queries (Beta)

Mejoras de seguridad

• Se admite el cifrado de almacenamiento de datos para tablas internas de Hologres (Beta) con el fin de mejorar la seguridad en el acceso a los datos.

• Se admite la lectura de datos cifrados desde MaxCompute (Beta) para mejorar la compatibilidad con el ecosistema de MaxCompute.

• Data storage encryption

• Query encrypted data in MaxCompute

Función

Descripción

Documentación relacionada

Mejoras del motor

• Se admite la recopilación automática de estadísticas de tablas. El sistema muestrea automáticamente las estadísticas de las tablas durante las escrituras y actualizaciones de datos para generar mejores planes de consulta, lo que elimina la necesidad de ejecutar manualmente ANALYZE TABLE.

• Alta fiabilidad a nivel de milisegundos para consultas puntuales (Beta) con configuraciones de múltiples réplicas a nivel de shard, failover en milisegundos y reintentos de consulta para escenarios de servicio.

• Se añade una extensión RoaringBitmap, que proporciona compatibilidad nativa para el tipo de datos Bitmap y funciones relacionadas.

• Se añaden las funciones bit_construct y bit_match. Estas funciones están optimizadas para escenarios como la segmentación de usuarios y el análisis de atribución, y proporcionan un filtrado más eficiente para condiciones agregadas basadas en ID de usuario.

• Se añaden las funciones range_retention_count y range_retention_sum para optimizar las consultas de rango de varios días en análisis de retención.

• Se introduce una herramienta de resharding con una función integrada que permite cambiar el recuento de shards sin recrear tablas, lo que simplifica el proceso de ajuste.

• Se optimiza el formato de compresión predeterminado para el almacén de columnas a AliORC, lo que mejora la tasa de compresión de almacenamiento entre un 30 % y un 50 %.

• ANALYZE and AUTO ANALYZE

• High-throughput reads from multiple replicas of a shard in a single instance (Beta)

• RoaringBitmap functions

• Functions for user segmentation

• Overview of funnel functions

• Manage Table Groups and shard counts

• Change the data storage format of a column-oriented table

Mejoras en consultas de tablas externas

• Mejora el rendimiento de las consultas para tablas externas de MaxCompute (Beta) entre un 30 % y un 100 % en comparación con la versión anterior, gracias a un nuevo motor de aceleración.

• Se añade integración con Data Lake Formation (DLF) (Beta) para leer datos desde Object Storage Service (OSS).

• Optimize query performance for MaxCompute foreign tables

• Accelerate access to data in OSS data lakes based on DLF

Optimizaciones de rendimiento

• Mejora el rendimiento de consultas puntuales, lo que aumenta el throughput total en un 100 % para el almacén de filas y en un 30 % para el almacén de columnas.

• Optimiza las operaciones de actualización y mejora el rendimiento de las operaciones UPDATE y DELETE en un 30 %.

• Optimiza la caché del plan de consulta para reducir la sobrecarga del optimizador.

/

Optimizaciones de O&M y seguridad de nivel empresarial

• Se introduce la identificación de consultas lentas. El historial integrado de estado de consultas permite consultar todas las consultas del último mes para identificar rápidamente las lentas o las que presentaron errores.

View and analyze slow query logs

Función

Descripción

Documentación relacionada

Mejoras del motor

• Se añade compatibilidad con una gama más amplia de tipos de datos.

  • Tipos JSON y JSONB.

  • Tipos de tiempo: interval, timetz, time.

  • Tipo de red: inet.

  • Tipo monetario: money.

  • Tipos de sistema de PostgreSQL: name, uuid, oid.

  • Otros tipos: bytea, bit, varbit.

• Se añade compatibilidad con más tipos de funciones, incluidas funciones compatibles con PostgreSQL y funciones de extensión de Hologres.

  • Funciones de matriz: Se añaden array_length y array_positions.

  • Funciones para consultar el tamaño de almacenamiento de tablas y bases de datos: pg_relation_size y pg_database_size.

• Se admite la exportación de datos de Hologres a MaxCompute para archivado mediante comandos SQL de Hologres.

• Se admite la suscripción a registros binarios de Hologres (Beta).

• Se admite la modificación dinámica de índices de mapa de bits de tablas y codificación de diccionario. También se admite la creación automática de codificación de diccionario según las características de los datos.

• Se lanza la biblioteca Holo Client, diseñada para escenarios de sincronización de datos a gran escala y consultas puntuales de alto QPS. Utiliza procesamiento por lotes automático para mejorar el throughput.

• Se optimizan el pipeline de escritura JDBC y el optimizador de consultas para mejorar significativamente la eficiencia de escritura del motor.

• Mejora la conectividad con el ecosistema de BI al añadir compatibilidad con más herramientas de BI, como Tableau Server y Superset, para satisfacer diversas necesidades de análisis empresarial.

• JSON and JSONB data types

• Data types

• ARRAY functions

• Table storage functions

• Export data to MaxCompute

• Subscribe to Hologres binary logs

• ALTER TABLE

• Holo Client

Mejoras de seguridad

• Se admite el inicio de sesión en Hologres con una cuenta STS al asumir un rol, lo que proporciona una opción de inicio de sesión más segura y flexible que el uso de cuentas de Alibaba Cloud.

RAM role-based authorization

Mejoras de funciones principales

Descripción

Documentación relacionada

Mejoras del motor

• Utilice la instrucción CREATE VIEW para crear una vista. Una vista puede basarse en una sola tabla, en varias tablas (incluidas tablas internas y externas) o en otras vistas.

• Hologres ahora admite los siguientes tipos de datos: SERIAL, DATE, TIMESTAMP, VARCHAR(n) y CHAR(n). Además, las tablas externas de MaxCompute ahora admiten la asignación de tipos de datos Array.

• Hologres ahora admite INSERT ON CONFLICT. Esta función le permite actualizar u omitir filas duplicadas según la clave principal al insertar datos.

• Hologres ahora admite la instrucción TRUNCATE.

• Hologres ahora incluye el motor Proxima integrado para admitir búsquedas vectoriales en conjuntos de datos masivos. Esta función se encuentra actualmente en fase Beta.

• VIEW

• Data types

• INSERT ON CONFLICT (UPSERT)

• Proxima vector search

Mejoras de seguridad

• Hologres ahora admite el enmascaramiento de datos. Puede configurar diversas directivas de enmascaramiento para ocultar información confidencial, como números de teléfono, direcciones y números de identificación.

• Hologres ahora se integra con CloudMonitor para admitir el monitoreo de métricas personalizadas y alertas con un solo clic.

• Data masking

Restricciones y limitaciones de consultas en tablas externas de MaxCompute

• Al consultar tablas particionadas de MaxCompute, puede escanear hasta 512 particiones, un aumento respecto a las 50 de versiones anteriores.

• Ahora puede escanear hasta 200 GB de datos subyacentes por consulta, independientemente del número de tablas externas y columnas (anteriormente 100 GB).

Constraints and limitations