Data Lake Formation (DLF) est un service de lac de données entièrement géré qui assure la gestion unifiée des métadonnées, des autorisations et du stockage, et s'intègre aux moteurs de calcul Big Data d'Alibaba Cloud.
Choisissez une documentation en fonction de votre objectif
Si vous savez déjà ce que vous souhaitez accomplir, accédez directement à la documentation correspondante.
| Objectif | Documentation recommandée |
|---|---|
| Activer et commencer à utiliser DLF | Configurer DLF et Premiers pas avec DLF |
| Créer et gérer des catalogues, des bases de données ou des tables | Gérer les catalogues et Gérer les tables |
| Accorder des autorisations d'accès aux données aux utilisateurs ou aux rôles | Gérer les autorisations d'accès aux données |
| Accéder à DLF depuis un moteur de calcul | Intégration des moteurs de calcul |
| Optimiser les fichiers et le stockage des tables de lac | Optimisation du stockage |
| Gérer et extraire des données multimodales | Lac de données multimodales |
| Gérer DLF via les API ou la CLI | Guide utilisateur de l'API et Référence de la CLI |
Si vous débutez avec DLF, configurez d'abord le service, puis suivez le guide de démarrage pour effectuer votre première tâche.
Fonctionnalités principales
Métadonnées et stockage unifiés
DLF fournit un ensemble unique de métadonnées et de stockage de type lakehouse partagé par tous les moteurs de calcul intégrés. Les données circulent entre les produits sans nécessiter de synchronisation manuelle ni de duplication de schéma.
Gestion unifiée des autorisations
Définissez le contrôle d'accès une seule fois au niveau du catalogue, de la base de données ou de la table. Chaque service intégré applique les mêmes autorisations, ce qui élimine la nécessité de configurer séparément les droits d'accès pour chaque moteur.
Optimisation du stockage
DLF automatise la maintenance des tables de type lakehouse grâce à des stratégies configurables :
| Stratégie | Effet |
|---|---|
| Compactage des fichiers | Fusionne les petits fichiers pour améliorer les performances d'analyse |
| Nettoyage des snapshots expirés | Supprime les snapshots obsolètes pour libérer de l'espace de stockage |
| Nettoyage des partitions expirées | Supprime les données des partitions arrivées à expiration |
| Nettoyage des fichiers orphelins | Supprime les fichiers qui ne sont plus référencés par aucune version de table |
Gestion et extraction de données multimodales
DLF gère les données multimodales contenant des images, des vecteurs et des documents, et prend en charge la recherche d'images, la recherche en texte intégral ainsi que l'exploration visuelle.
Intégration des moteurs de calcul
Les moteurs de calcul par lots et en continu d'Alibaba Cloud peuvent accéder aux données et les exploiter lorsqu'elles sont gérées dans DLF.
Architecture
L'architecture de DLF repose sur trois couches :
| Couche | Fonctionnalités |
|---|---|
| Gestion des métadonnées | Gérer les catalogues, les bases de données, les tables et leurs métadonnées. |
| Gestion des autorisations | Gérer les autorisations d'accès aux données aux niveaux catalogue, base de données et table. |
| Optimisation du stockage | Gérer les stratégies de compactage des fichiers, de nettoyage des snapshots expirés, de nettoyage des partitions expirées et de nettoyage des fichiers orphelins. |
Cas d'utilisation
Lac de données moderne (Data Lakehouse)
DLF offre une gestion unifiée des métadonnées, du stockage et des autorisations pour les données historiques, en temps réel et multimodales, et permet aux moteurs de calcul d'accéder à des données gouvernées.
Big Data traditionnel
DLF prend en charge l'analytique hors ligne, l'analytique en temps réel, l'apprentissage automatique et l'analyse des journaux. La gestion unifiée des métadonnées et du stockage simplifie la construction et la gouvernance des lacs de données.
Étapes suivantes
| Objectif | Étape suivante |
|---|---|
| Comprendre les coûts | Consultez la section Facturation. |
| Commencer à utiliser DLF | Consultez la section Premiers pas avec DLF. |
| Tester l'extraction multimodale | Consultez la section Premiers pas avec l'extraction multimodale de DLF. |
| Suivre une implémentation de bout en bout | Consultez la section Créer un lac de données en continu avec DLF et Flink. |