Hologres:Data lake acceleration

Contexto

Conforme madura object storage, las soluciones de data lake migran hacia arquitecturas nativas de la nube. En la arquitectura de lakehouse de Alibaba Cloud, OSS funciona como almacenamiento unificado de data lake y proporciona una base segura, rentable, altamente confiable y escalable.

La solución de data lake en tiempo real se enfoca en el procesamiento de datos de streaming y en tiempo real dentro de la arquitectura de lakehouse. Hologres admite escrituras, actualizaciones y análisis en tiempo real. Al integrarse con DLF, HMS, OSS y diversas funciones del ecosistema, Hologres usa tablas externas para acelerar la lectura y escritura de datos en OSS sin necesidad de migrarlos. Las tablas externas mapean campos en lugar de almacenar datos, lo que reduce los costos de desarrollo y operación, además de eliminar los silos de información.

A continuación se muestran los servicios de Alibaba Cloud que utiliza la solución de data lake en tiempo real.

Arquitectura

La siguiente imagen muestra la arquitectura de data lake recomendada para Hologres. Abarca todo el ciclo de vida de los datos, desde la recolección y el almacenamiento hasta la gestión y la aplicación. Además, proporciona una solución de lakehouse integral con autoescalado flexible.

Gestión unificada de metadatos

• Admite los servicios de metadatos DLF y HMS.

• Permite mapear catálogos externos con un solo clic mediante bases de datos externas.

• Detecta y actualiza automáticamente los cambios de metadatos en el data lake.

• Crea bases de datos y tablas en el data lake mediante instrucciones DDL. Admite Paimon.

Recursos y modelo de cómputo unificados

• Utiliza Dynamic Table para organizar en capas y procesar los datos del lakehouse.

• Admite análisis OLAP de alto rendimiento y la reescritura de datos del data lake.

• Usa instancias de virtual warehouse para lograr elasticidad y aislamiento de recursos.

• Admite tareas serverless sin costo de propiedad y con facturación pay-as-you-go.

• Se integra con las principales herramientas de BI.

Compatibilidad con formatos abiertos de lakehouse

• Acelera las consultas de tablas de lago en formatos Paimon, Iceberg, Hudi, Delta, ORC y Parquet.

• Admite la reescritura de datos en formatos Paimon, Iceberg, ORC y Parquet.

Notas de uso

Hologres ofrece los siguientes métodos para mapear orígenes de datos externos.

Formatos de tabla y de archivo

Formatos de tabla

Formatos de archivo

Mapeo de tipos de datos

Para consultar el mapeo de tipos de datos entre DLF y Hologres, consulte Data types overview.

Descripción general de funciones

• En Hologres V1.1 y versiones posteriores, puede leer datos ORC, Parquet, CSV y SequenceFile desde OSS. A partir de Hologres V1.3, también es posible escribir datos en estos formatos hacia OSS y leer tablas de Apache Hudi o Delta Lake almacenadas allí.

  Nota

  Consulte la versión de su instancia de Hologres en la página de detalles de la instancia dentro de la consola de Hologres. Si la versión es anterior a la V1.1, actualícela desde la consola o contacte al grupo de DingTalk de Hologres. Para actualizarla manualmente, consulte Instance upgrades. Para unirse al grupo de DingTalk, consulte Get online support for Hologres.

• A partir de Hologres V1.3.25, la función de multicatálogo de DLF aísla los metadatos entre las instancias de prueba, desarrollo y entre departamentos. Esto ayuda a garantizar la seguridad de su negocio. Catalog.

• Desde Hologres V1.3.26, puede leer y escribir datos en OSS-HDFS. Hologres se integra con los motores de cómputo del ecosistema Hadoop para acelerar el análisis en tiempo real de los datos en OSS-HDFS, y admite consultas federadas entre data lakes para cargas de trabajo de big data e IA.

• En Hologres V2.1.0 y versiones posteriores, puede leer tablas externas de Apache Paimon. Esta plataforma unifica el almacenamiento de lago para el procesamiento por lotes y en streaming, admite escrituras de alto rendimiento y consultas de baja latencia, y habilita el flujo de datos en tiempo real dentro del data lake. Con Apache Paimon, los usuarios integran el procesamiento de datos en tiempo real y sin conexión. Apache Paimon.

• A partir de Hologres V2.2, la nueva arquitectura de tablas externas permite que HQE lea directamente archivos ORC y Parquet con aceleración de caché basada en SSD, lo que mejora el rendimiento más de cinco veces. También puede usar HMS para acceder a datos en OSS y OSS-HDFS. Access OSS data with Hive Metastore.

  Nota

  Si su instancia de Hologres es V2.1 o anterior, contacte al soporte técnico de Hologres para actualizarla.

• Hologres V3.0 y versiones posteriores incluyen las siguientes mejoras:

  • Las bases de datos externas admiten el mapeo de metadatos a nivel de catálogo para orígenes de datos DLF y MaxCompute, lo que mejora la gestión de metadatos y datos en los data lakes. CREATE EXTERNAL DATABASE.

  • Los esquemas y tablas externos permiten crear bases de datos y tablas en un catálogo de DLF para reescribir datos agregados. CREATE EXTERNAL SCHEMA y CREATE EXTERNAL TABLE.

  • Escrituras de alto rendimiento en tablas de solo anexión de Apache Paimon para transferir datos entre lagos y almacenes.

  • Optimización de vectores de eliminación en Paimon que mejora el rendimiento de las consultas cuando ocurren eliminaciones masivas antes de la compactación.

  • Lectores de Delta Lake reconstruidos que aumentan significativamente el rendimiento de lectura.

  • Lecturas de data lake basadas en Iceberg que amplían el ecosistema del data lake.

  • Mapeo de metadatos de HMS que acelera las consultas de datos en clústeres de EMR. Consulte Uso de HMS para acceder a datos en data lakes de OSS (beta).

  • Seguridad mejorada: el acceso a DLF 2.0 utiliza de forma predeterminada el rol vinculado al servicio, con acceso opcional mediante roles de RAM.