Data Lake Formation (DLF) 1.0 est un service entièrement géré pour créer des data lakes et des lakehouses dans le cloud. DLF offre une gestion unifiée des métadonnées, des contrôles de sécurité et d'autorisations, ainsi qu'une exploration des données en un clic via plusieurs moteurs de calcul, afin de briser les silos de données.
Tarification
| Élément | Modèle de facturation | Niveau gratuit |
|---|---|---|
| Gestion des métadonnées | Paiement à l'utilisation | Premier million d'objets de métadonnées stockés par mois |
| Requêtes API | — | Premier million de requêtes API par mois |
| Exploration des données | Aperçu public gratuit | Non facturé |
| Gestion des autorisations | Aperçu public gratuit | Non facturé |
| Gestion du lac de données | Aperçu public gratuit | Non facturé |
Les objets de métadonnées et les requêtes API dépassant le niveau gratuit sont facturés. Consultez la rubrique Facturation pour plus de détails sur les tarifs.
Architecture
Catalogue de données
Consultez et gérez le Catalogue de données de votre data lake depuis la console.
Tables de base de données et fonctions
Consultez et gérez les tables de base de données et fonctions depuis la console. Les API CreateDatabase et CreateTable permettent de gérer les métadonnées et d'intégrer des services tiers. DLF prend en charge la gestion multiversion et génère automatiquement des métadonnées par extraction.
Gestion des autorisations de données
La gestion des autorisations de données contrôle l'accès aux données au niveau du lac selon cinq granularités : catalogue de données, base de données, table, colonne et fonction.
Gestion du lac de données
La gestion du lac de données fournit des analyses et des suggestions d'optimisation du stockage, gère le cycle de vie des données, aide à optimiser les coûts et simplifie l'exploitation et la maintenance.
Exploration des données
Interrogez et analysez vos données en un clic avec Spark 3.0 SQL. Enregistrez les requêtes précédentes, prévisualisez les données, exportez les résultats et générez des jeux de données de test TPC-DS en un clic.
Scénarios
Créer un data lake dans le cloud
Associez DLF à E-MapReduce et à Object Storage Service (OSS) pour créer un data lake dans le cloud.
Créer une architecture de type data lakehouse
Associez DLF à MaxCompute, à DataWorks et à E-MapReduce pour créer un data lakehouse.
Créer une architecture de data lakehouse entièrement gérée
Associez DLF à Databricks et à OSS pour créer un data lakehouse cloud entièrement géré.
Analyser les données dans OSS
Utilisez l'extraction de métadonnées et l'exploration des données pour analyser et explorer les données structurées et semi-structurées dans OSS.