Hologres se integra con MaxCompute para ofrecer acceso bidireccional al almacenamiento y asignación de metadatos con un solo clic, lo que acelera la lectura y escritura de datos.
Contexto
MaxCompute es un almacén de datos a escala de exabytes, totalmente administrado y diseñado para el almacenamiento por lotes y el cómputo de datos estructurados. Para obtener más información, consulte What is MaxCompute?
Hologres es un almacén de datos en tiempo real para escribir, actualizar, procesar y analizar grandes volúmenes de datos. Permite consultar datos de MaxCompute directamente mediante bases de datos externas y tablas externas sin necesidad de importar datos, y se conecta a las principales herramientas de BI a través del protocolo PostgreSQL. Para obtener más información, consulte Supported BI analysis tools.
-
A partir de Hologres V3.1, la capacidad de lectura directa se actualizó a la versión 2.0, reconstruida sobre el SDK nativo de C++ de MaxCompute. La versión 2.0 lee directamente desde Apsara Distributed File System, lo que elimina los costos de cómputo y las limitaciones de tasa en MaxCompute, y ofrece un rendimiento de lectura superior al doble respecto al método de Storage API.
NotaPara usar la nueva ruta de enrutamiento, agregue el siguiente GUC en el nivel de sesión. Coloque el comando
SET hg_experimental_external_catalog_routing = 'odps:common_table';antes de su consulta SQL y ejecútelos juntos.
Escenarios
Consulta de datos de MaxCompute con bases de datos externas o tablas externas
Las bases de datos externas y las tablas externas eliminan el movimiento de datos, lo que permite que un solo sistema de almacenamiento admita flujos de trabajo de cómputo tanto sin conexión como en tiempo real.
Ejecute la instrucción CREATE EXTERNAL DATABASE para crear una base de datos externa que asigne esquemas y tablas en un proyecto de MaxCompute. Ejecute la instrucción IMPORT FOREIGN SCHEMA para crear varias tablas externas simultáneamente. Para acelerar consultas en tablas o campos específicos de MaxCompute, ejecute la instrucción CREATE FOREIGN TABLE.
A partir de Hologres V3.0, se eliminaron los límites de escaneo de 200 GB y 512 particiones por consulta de tabla externa. Las consultas grandes consumen más recursos. Aíslelas con Getting started with virtual warehouse instances o Overview of Serverless Computing.
Importación de datos de MaxCompute a Hologres
Importe datos a Hologres para aprovechar la indexación y la optimización del almacenamiento en análisis de BI en tiempo real, consultas puntuales de alta concurrencia y uniones de múltiples tablas. Para obtener más información, consulte Import data from MaxCompute using SQL.
Exportación de datos de Hologres a MaxCompute
Escriba datos en tiempo real y resultados agregados en MaxCompute para archivar historiales, implementar almacenamiento escalonado en caliente y frío, o reabastecer el almacén sin conexión mediante INSERT INTO o INSERT OVERWRITE. Para obtener más información, consulte Export data to MaxCompute.
Funciones
Capacidades de aceleración de MaxCompute según la versión de Hologres:
|
Versión de Hologres |
Capacidad compatible |
Descripción |
|
V3.1 |
La capacidad de lectura directa se actualizó a la versión 2.0, reconstruida sobre el SDK nativo de C++ de MaxCompute para mejorar el rendimiento y la experiencia del usuario. |
La versión 2.0 lee directamente desde Apsara Distributed File System, lo que elimina los costos de cómputo y las limitaciones de tasa en MaxCompute. El rendimiento de lectura supera el doble del método de Storage API. |
|
Lectura directa de datos de tablas Delta de MaxCompute. Solo se admite el acceso completo a la instantánea más reciente. |
Las tablas Delta son un formato de datos incrementales en MaxCompute que admite ingesta por minuto, semántica UPSERT y lecturas y escrituras incrementales en formato CDC mediante AliORC. Para obtener más información, consulte Access MaxCompute Delta tables. |
|
|
Lectura directa de datos de MaxCompute con enmascaramiento dinámico de datos habilitado. |
El enmascaramiento dinámico de datos oculta o reemplaza datos confidenciales en tiempo real durante el acceso. Para obtener más información, consulte Dynamic data masking. |
|
|
Lectura directa de tablas con evolución de esquema de MaxCompute. |
Operaciones admitidas: agregar columnas, eliminar columnas, modificar tipos de columna y reordenar columnas. |
|
|
Lectura directa de tablas agrupadas de MaxCompute, incluidas tablas agrupadas por rango con columnas de agrupación DATETIME, TIMESTAMP o DECIMAL. |
Ninguna. |
|
|
V3.0.7 |
Instrucción CREATE EXTERNAL DATABASE compatible para asignar esquemas y tablas en un proyecto de MaxCompute. |
Cree una base de datos externa para cargar metadatos de fuentes de datos externas en Hologres y gestionar los metadatos de forma centralizada con la arquitectura lakehouse. Para obtener más información, consulte CREATE EXTERNAL DATABASE. |
|
Se eliminaron los límites de escaneo de 200 GB y 512 particiones por consulta de tabla externa. |
Use instancias de almacén virtual o Serverless Computing para aislar consultas grandes de otras cargas de trabajo. |
|
|
V2.2.1 |
La función Auto Load admite proyectos de MaxCompute que usan el modelo de tres capas. |
Los esquemas de MaxCompute clasifican tablas, recursos y funciones dentro de un proyecto. Para obtener más información sobre los esquemas, consulte Schema. Para obtener más información sobre Auto Load, consulte Load foreign tables automatically. |
|
La función Auto Load admite actualizaciones automáticas de metadatos. |
Ninguna. |
|
|
La función Auto Load admite la evolución de esquema en tablas externas de MaxCompute. |
La evolución de esquema incluye eliminar columnas, reordenar columnas y cambiar los tipos de datos de las columnas. Para obtener más información, consulte Load foreign tables automatically. |
|
|
Rol vinculado al servicio de Hologres compatible para acceder a MaxCompute. |
Un rol vinculado al servicio es un rol de RAM que permite el acceso autorizado entre servicios. Para obtener más información, consulte Service-linked role for Hologres. |
|
|
V2.1 |
Escritura de datos en tablas de un esquema específico en un proyecto de MaxCompute con modelo de tres capas. |
Los esquemas de MaxCompute clasifican tablas, recursos y funciones dentro de un proyecto. Para obtener más información, consulte Schema. |
|
Acceso a tablas en un esquema específico del modelo de tres capas de MaxCompute desde la consola HoloWeb. |
Para obtener más información, consulte Create a MaxCompute foreign table in HoloWeb. |
|
|
V2.0 |
Motor de consulta actualizado a Hologres Query Engine (HQE) para mejorar la compatibilidad y la estabilidad. |
Ninguna. |
|
V1.3 |
Consultas de tablas externas en tablas transaccionales de MaxCompute. |
Ninguna. |
|
Lectura de datos de tablas de MaxCompute en estado de evolución de esquema. |
Una tabla se encuentra en estado de evolución de esquema cuando se eliminan columnas, se reordenan o se cambian sus tipos de datos. |
|
|
Autenticación de firma dual entre Hologres y MaxCompute. |
Para obtener más información, consulte Hologres external tables. |
|
|
Acceso a tablas de MaxCompute cifradas con Bring Your Own Key (BYOK). |
Para obtener más información, consulte Query encrypted MaxCompute data. |
|
|
V1.1.43 |
Función Auto Load compatible. Las tablas externas se crean automáticamente para las tablas de MaxCompute consultadas o para todas las tablas según sea necesario. |
Para obtener más información, consulte Load foreign tables automatically. |
Límites
Límites para el uso de bases de datos externas o tablas externas con el fin de acelerar consultas de MaxCompute:
Su instancia de Hologres debe estar en la misma región que el proyecto de MaxCompute.
Solo se admiten tablas internas de MaxCompute. No se admiten tablas externas ni vistas.
Los campos de partición de MaxCompute se asignan a campos normales de Hologres y pueden usarse como condiciones de filtro.
No se admiten los tipos de datos MAP y STRUCT.
No se admiten tablas agrupadas por rango con columnas clave de agrupación DATETIME, TIMESTAMP o DECIMAL.
Solo se admite el almacenamiento estándar. No se admiten el almacenamiento de acceso poco frecuente (IA) ni el almacenamiento a largo plazo.