Prise en main de Data Lake Formation (DLF) - Data Lake Formation

Prérequis

DLF stocke toutes les données du lac de données dans Object Storage Service (OSS). Spécifiez un compartiment ou un chemin OSS pour le stockage du lac. Pour plus d'informations, consultez la rubrique Créer un compartiment.

Page d'accueil

La page d'accueil de la console DLF propose un volet de navigation et des liens rapides vers toutes les fonctionnalités principales.

Fonctionnalités

DLF intègre la gestion des métadonnées, la gestion des autorisations, la gestion de la sécurité, la gestion du lac et l'exploration des données en un clic au sein d'une plateforme unifiée.

Gestion des métadonnées

Gérez les catalogues, les bases de données et les tables de votre lac de données. Une gestion centralisée des métadonnées accroît la valeur et la disponibilité des actifs de données.

Créer un catalogue

Connectez-vous à la console Data Lake Formation.
Dans le volet de navigation de gauche, choisissez Metadata > Metadata.
Cliquez sur l'onglet Catalogs, puis cliquez sur New Catalog.
Configurez les paramètres suivants et cliquez sur OK.
- Catalog ID : obligatoire. Identifiant unique du catalogue de données.
- Description : facultatif. Description du catalogue de données.
- Location : facultatif. Chemin de stockage par défaut. Seuls les chemins OSS sont pris en charge.

Pour plus d'informations sur les opérations réalisables sur les catalogues, consultez la rubrique Catalogue de données.

Créer une base de données

Connectez-vous à la console Data Lake Formation (DLF).
Dans le volet de navigation de gauche, sélectionnez Metadata > Metadata.
Cliquez sur l'onglet Database, sélectionnez le Catalogs cible, puis cliquez sur Create Database.

Configurez les paramètres de la base de données et cliquez sur OK.

Paramètre	Description
Catalog	Sélectionnez le catalogue de données dans lequel vous souhaitez créer la base de données.
Name	Saisissez un nom pour la base de données.
Description	Facultatif. Saisissez une description pour la base de données.
Select the path.	Spécifiez un chemin Object Storage Service (OSS) pour stocker les métadonnées. Le stockage des métadonnées dans OSS garantit la sécurité et la fiabilité des données, et simplifie la gestion et la maintenance. Remarque Seuls les compartiments OSS utilisant le Standard storage sont pris en charge. Si aucun compartiment de stockage standard n'existe dans la région actuelle, créez-en un dans la console OSS.

Créer une table

Une fois la base de données créée, cliquez sur l'onglet Data Table. Sélectionnez le Catalogs et le Database Name cibles, puis cliquez sur Create Table.

Configurez les paramètres de la table et cliquez sur OK.

Paramètre	Description
Table Name	Saisissez un nom pour la table.
Catalog	Sélectionnez le catalogue de données pour la table.
Database:	Sélectionnez une base de données au sein du catalogue de données.
Table Description	Facultatif. Saisissez une description pour la table.
Data Storage Location	Sélectionnez l'emplacement de stockage des données de la table. L'emplacement de stockage par défaut recommandé est `oss://[database_location]/[table_name]`.
Format and Serialization	Sélectionnez le format de données de la table. Les formats pris en charge incluent Avro, CSV, JSON, Parquet et ORC.
Delimiter	Facultatif. Si vous sélectionnez le format CSV, spécifiez un délimiteur.
Common Column	Définissez manuellement les colonnes et les clés de partition de la table. Spécifiez le nom, le type de données et la description pour chaque élément.
Partition Key Column

Pour plus d'informations sur les opérations réalisables sur les bases de données et les tables, consultez la rubrique Bases de données, tables et fonctions.

Extraire les métadonnées

L'extraction des métadonnées analyse les fichiers du lac de données et génère automatiquement les métadonnées. Pour plus d'informations, consultez la rubrique Découverte des métadonnées.

Migrer les métadonnées

Migrez rapidement les métadonnées d'un magasin de métadonnées Hive vers DLF. Pour plus d'informations, consultez la rubrique Migration des métadonnées.

Gestion des autorisations

DLF applique deux niveaux de contrôle d'accès : les autorisations RAM et les autorisations de données DLF. Les deux doivent être validées avant que vous puissiez accéder aux pages ou aux données.

Autorisations RAM : contrôlent l'accès aux opérations API DLF et aux pages de la console. Pour plus d'informations, consultez la rubrique Autorisations.
Autorisations de données DLF : contrôlent l'accès aux ressources DLF, y compris les bases de données, les tables, les colonnes, les fonctions et les catalogues.
- Gérez l'accès au niveau des ressources avec les Autorisations de données.
- Accordez l'accès via l'Autorisation de données.

Gestion du lac

La gestion du lac couvre l'hébergement d'emplacement, la vue d'ensemble du stockage, la gestion du cycle de vie, la gestion du format du lac et les autorisations de stockage. Configurez l'hébergement d'emplacement pour activer la gestion complète du lac de données.

Gérez et analysez les données stockées dans OSS avec l'Hébergement d'emplacement.
Surveillez l'utilisation des ressources de stockage et identifiez les opportunités d'optimisation avec la Vue d'ensemble du stockage.
Configurez les règles de gestion des données avec la Gestion du cycle de vie.
Optimisez les formats de lac avec la Gestion du format du lac.

Bonnes pratiques

DLF fonctionne avec E-MapReduce (EMR), Realtime Compute for Apache Flink et MaxCompute pour extraire et migrer les métadonnées et ingérer des données dans les lacs de données.