Data Lake Formation (DLF) es un servicio de lago de datos totalmente administrado. Proporciona gestión unificada de metadatos, permisos y almacenamiento, y se integra con los motores de cómputo de big data de Alibaba Cloud.
Elija un documento según su objetivo
Si ya sabe qué desea lograr, vaya directamente al documento correspondiente.
|
Objetivo |
Documentos recomendados |
|
Activar y comenzar a usar DLF |
|
|
Crear y gestionar catálogos, bases de datos o tablas |
|
|
Otorgar permisos de datos a usuarios o roles |
|
|
Acceder a DLF desde un motor de cómputo |
|
|
Optimizar los archivos y el almacenamiento de las tablas del lago |
|
|
Gestionar y recuperar datos multimodales |
|
|
Gestionar DLF mediante API o la CLI |
Si es la primera vez que usa DLF, configure primero el servicio y luego siga la guía de inicio rápido para completar su primera tarea.
Capacidades principales
Metadatos y almacenamiento unificados
DLF ofrece un único conjunto de metadatos y almacenamiento de lakehouse que comparten todos los motores de cómputo integrados. Los datos fluyen entre productos sin sincronización manual ni duplicación de esquemas.
Gestión unificada de permisos
Defina el control de acceso una sola vez en el nivel de catálogo, base de datos o tabla. Cada servicio integrado aplica los mismos permisos, lo que elimina configuraciones de permisos independientes por motor.
Optimización del almacenamiento
DLF automatiza el mantenimiento de las tablas del lakehouse mediante estrategias configurables:
|
Estrategia |
Efecto |
|
Compactación de archivos |
Fusiona archivos pequeños para mejorar el rendimiento de escaneo. |
|
Limpieza de instantáneas Expired |
Elimina las instantáneas obsoletas para recuperar almacenamiento. |
|
Limpieza de particiones Expired |
Borra los datos de las particiones Expired. |
|
Limpieza de archivos huérfanos |
Elimina los archivos que ninguna versión de tabla referencia. |
Gestión y recuperación de datos multimodales
DLF gestiona datos multimodales que contienen imágenes, vectores y documentos. Además, admite búsqueda de imágenes, búsqueda de texto completo y exploración visual.
Integración con motores de cómputo
Los motores de cómputo por lotes y de streaming de Alibaba Cloud pueden acceder a los datos gestionados en DLF y utilizarlos.
Arquitectura
La arquitectura de DLF consta de tres capas:
|
Capa |
Capacidades |
|
Gestión de metadatos |
Gestione catálogos, bases de datos, tablas y sus metadatos. |
|
Gestión de permisos |
Gestione los permisos de datos en los niveles de catálogo, base de datos y tabla. |
|
Optimización del almacenamiento |
Gestione las estrategias de compactación de archivos, limpieza de instantáneas Expired, limpieza de particiones Expired y limpieza de archivos huérfanos. |
Casos de uso
Lakehouse de datos
DLF proporciona gestión unificada de metadatos, almacenamiento y permisos para datos históricos, en tiempo real y multimodales. También permite que los motores de cómputo accedan a los datos gobernados.
Big data tradicional
DLF admite análisis sin conexión, análisis en tiempo real, aprendizaje automático y análisis de registros. La gestión unificada de metadatos y almacenamiento simplifica la construcción y gobernanza del lago de datos.
Siguientes pasos
|
Objetivo |
Siguiente paso |
|
Comprender los costos |
Consulte Billing. |
|
Comenzar a usar DLF |
Consulte Get started with DLF. |
|
Probar la recuperación multimodal |
|
|
Seguir una implementación integral |
Consulte Build a streaming lakehouse by using DLF and Flink. |