La gestion des métadonnées est essentielle à la construction d'un lac de données. Une gestion centralisée et efficace des métadonnées vous aide à maximiser la valeur de vos actifs de données. Cette rubrique décrit comment gérer les bases de données, les tables et les fonctions dans Data Lake Formation (DLF).
Bases de données
Créer une base de données
Connectez-vous à la console Data Lake Formation (DLF).
Dans le volet de navigation de gauche, sélectionnez .
Cliquez sur l'onglet Database, sélectionnez le Catalogs cible, puis cliquez sur Create Database.
-
Configurez les paramètres de la base de données et cliquez sur OK.
Paramètre
Description
Catalog
Sélectionnez le catalogue de données dans lequel créer la base de données.
Name
Saisissez un nom pour la base de données.
Description
Facultatif. Saisissez une description pour la base de données.
Select the path.
Spécifiez un chemin Object Storage Service (OSS) pour stocker les métadonnées. Le stockage des métadonnées dans OSS garantit la sécurité et la fiabilité des données, et simplifie la gestion et la maintenance.
RemarqueSeuls les compartiments OSS utilisant le Standard storage sont pris en charge. Si aucun compartiment Standard storage n'existe dans la région actuelle, créez-en un dans la console OSS.
Afficher les détails de la base de données
Cliquez sur l'onglet Database.
Dans la liste des bases de données, cliquez sur le nom d'une base de données pour afficher ses Basic Information.
Cliquez sur les onglets correspondants pour consulter les Tables, les Functions, les Data Permission, l'Overview et la Storage Rule de la base de données.
Modifier une base de données
Cliquez sur l'onglet Database et sélectionnez le Catalogs cible.
Dans la colonne Actions de la base de données, cliquez sur Modify.
-
Modifiez les informations et cliquez sur Update.
Description : saisissez une description pour la base de données.
Select the path. : saisissez l'emplacement de la base de données.
Supprimer une base de données
Cliquez sur l'onglet Database et sélectionnez le Catalogs cible.
Dans la colonne Actions de la base de données, cliquez sur Delete.
Dans la boîte de dialogue de confirmation, cliquez sur Delete.
DLF crée la base de données
default, qui ne peut pas être supprimée. Nous vous recommandons d'utiliser d'autres bases de données pour les environnements de production.La suppression d'une base de données dans la console DLF supprime ses métadonnées, mais ne supprime pas les données stockées dans OSS. Pour supprimer les données sous-jacentes, vous devez exécuter une opération
Drop Databasedepuis E-MapReduce ou MaxCompute.
Tables
Créer une table
Après avoir créé une base de données, cliquez sur l'onglet Data Table. Sélectionnez le Catalogs et le Database Name cibles, puis cliquez sur Create Table.
-
Configurez les paramètres de la table et cliquez sur OK.
Paramètre
Description
Table Name
Saisissez un nom pour la table.
Catalog
Sélectionnez le catalogue de données pour la table.
Database:
Sélectionnez une base de données au sein du catalogue de données.
Table Description
Facultatif. Saisissez une description pour la table.
Data Storage Location
Sélectionnez l'emplacement de stockage des données de la table.
L'emplacement de stockage par défaut recommandé est
oss://[database_location]/[table_name].Format and Serialization
Sélectionnez le format de données de la table. Les formats pris en charge incluent Avro, CSV, JSON, Parquet et ORC.
Delimiter
Facultatif. Si vous sélectionnez le format CSV, spécifiez un délimiteur.
Common Column
Définissez manuellement les colonnes et les clés de partition de la table. Spécifiez le nom, le type de données et la description pour chacune d'elles.
Partition Key Column
Afficher les détails de la table
Cliquez sur l'onglet Data Table.
Dans la liste des tables, cliquez sur le nom d'une table pour afficher ses Basic Information.
-
Cliquez sur les onglets correspondants pour consulter les Data Permission, l'Overview, la Version Management et la Storage Rule de la table.
Pour plus d'informations sur l'Overview d'une table, consultez la rubrique Table - aperçu des données.
Modifier une table
Cliquez sur l'onglet Data Table et sélectionnez le Catalogs et le Database Name cibles.
Dans la colonne Actions de la table, cliquez sur Modify.
Modifiez les informations de la table et cliquez sur Update.
Supprimer une table
Cliquez sur l'onglet Data Table et sélectionnez le Catalogs et le Database Name cibles.
Dans la colonne Actions de la table, cliquez sur Delete.
Dans la boîte de dialogue de confirmation, cliquez sur Delete.
La suppression d'une table dans la console DLF supprime ses métadonnées, mais ne supprime pas les données stockées dans OSS. Pour supprimer les données sous-jacentes, vous devez exécuter une opération Drop Table depuis E-MapReduce ou MaxCompute.
Fonctions
Créer une fonction
Dans le volet de navigation de gauche, sélectionnez .
Cliquez sur l'onglet Function. Sélectionnez le Catalogs et le Database Name cibles, puis cliquez sur Create Function.
-
Configurez les paramètres de la fonction et cliquez sur OK.
Paramètre
Description
Function Name
Saisissez un nom pour la fonction.
Function Type
Seul JAVA est pris en charge.
Catalog
Sélectionnez le catalogue de données pour la fonction.
Database:
Sélectionnez une base de données au sein du catalogue de données.
Class Name
Facultatif. Saisissez le nom de la classe.
Resource URI
Facultatif. Cliquez sur Add, puis saisissez le Type et l'URI. Les types de ressources pris en charge sont JAR, FILE et ARCHIVE.
Afficher les détails de la fonction
Cliquez sur l'onglet Function et sélectionnez le Catalogs et le Database Name cibles.
Dans la liste des fonctions, cliquez sur le nom d'une fonction pour afficher ses informations de base.
Modifier une fonction
Cliquez sur l'onglet Function et sélectionnez le Catalogs et le Database Name cibles.
Dans la colonne Actions de la fonction, cliquez sur Modify.
Modifiez le Class Name et cliquez sur OK.
Supprimer une fonction
Cliquez sur l'onglet Function et sélectionnez le Catalogs et le Database Name cibles.
Dans la colonne Actions de la fonction, cliquez sur Delete.
Dans la boîte de dialogue de confirmation, cliquez sur Delete.