Un catalogue est le conteneur de métadonnées de niveau supérieur dans DLF. Utilisez les catalogues pour organiser les bases de données et les tables de manière hiérarchique, isoler les métadonnées entre les équipes, gérer le stockage des données et simplifier la gouvernance.
Prérequis
Avant de commencer, assurez-vous d'avoir :
Configuré DLF (activation et autorisation uniques)
(Utilisateurs RAM) La stratégie d'autorisation
AliyunDLFFullAccessou une stratégie personnalisée incluant les actions liées aux catalogues. Pour plus d'informations, consultez la rubrique Gérer les autorisations API.(Utilisateurs RAM) Le rôle système
super_administratorouadminou un rôle personnalisé disposant des autorisations de données liées aux catalogues. Pour plus d'informations, consultez la rubrique Accorder des autorisations de données à un utilisateur.
Les utilisateurs RAM doivent disposer à la fois des autorisations API et des autorisations de données pour gérer les catalogues.
Limites
Vous pouvez créer au maximum 10 catalogues par compte et par région. Pour demander une augmentation de ce quota, soumettez un ticket.
Créer un catalogue
Connectez-vous à la console DLF.
Sur la page Catalogs, cliquez sur Create Catalog.
-
Configurez les paramètres suivants.
Paramètre
Obligatoire
Valeur par défaut
Description
Catalog Name
Oui
--
Nom unique du catalogue.
Description
Non
--
Description du catalogue.
Storage Type
Oui
Standard Storage
Fixé sur Standard Storage.
Storage Redundancy Type
Oui
LRS
Politique de redondance des données. Valeurs valides : LRS et ZRS.
Options disponibles pour le paramètre Storage Redundancy Type :
LRS (Locally Redundant Storage) : Stocke les données dans une seule zone. Si la zone devient indisponible, les données sont inaccessibles. Il s'agit de l'option par défaut.
ZRS (Zone-Redundant Storage) : Réplique les données sur plusieurs zones d'une même région pour offrir une disponibilité supérieure.
ImportantUne fois le catalogue créé, il est impossible de passer du type de redondance ZRS au type LRS.
Le type ZRS offre une meilleure disponibilité des données, mais engendre des coûts plus élevés que le type LRS.
Lisez et acceptez les Terms of Service, puis cliquez sur Create Catalog.
Consulter un catalogue
Dans le volet de navigation de gauche, cliquez sur Catalogs.
Cliquez sur le nom d'un catalogue pour afficher ses détails.
Sous l'onglet Details, consultez les informations de base du catalogue.
Sous l'onglet Permissions, accordez des autorisations au niveau du catalogue aux utilisateurs ou rôles DLF. Consultez la rubrique Gérer les autorisations de données.
Sous l'onglet Storage Optimization, configurez la hiérarchisation du stockage. Pour plus d'informations, consultez la section Configurer l'optimisation du stockage.
Sous l'onglet Catalog Configuration, configurez le cycle de vie des fragments de fichiers et les propriétés par défaut des tables Paimon. Pour plus d'informations, consultez la section Configurer les paramètres du catalogue.
Supprimer un catalogue
Avant de supprimer un catalogue, vérifiez que les conditions suivantes sont remplies. Sinon, la suppression échouera.
Supprimez toutes les tables et toutes les bases de données autres que
defaultprésentes dans le catalogue.Attendez 24 heures après la suppression de toutes les tables avant de supprimer le catalogue.
Sur la page Catalogs, localisez le catalogue cible et cliquez sur Delete dans la colonne Actions.
Dans la boîte de dialogue, cliquez sur OK.
Configurer l'optimisation du stockage
Sous l'onglet Storage Optimization, utilisez la fonction Intelligent Tiering pour hiérarchiser automatiquement les données chaudes et froides des tables du catalogue selon des règles de cycle de vie.
Comportement au niveau du catalogue et de la table
Niveau catalogue : Lorsqu'elle est activée, la fonction Intelligent Tiering s'applique à toutes les tables et hérite des paramètres du catalogue. Les remplacements au niveau de la table suppriment le statut « Hérité du catalogue ».
Niveau table : Vous pouvez activer la fonction Intelligent Tiering pour des tables individuelles, même si la hiérarchisation au niveau du catalogue est désactivée.
Stratégie de hiérarchisation
|
Stratégie |
Description |
|
Last Access Time |
Déclenche les règles en fonction de la date du dernier accès aux données de la table ou de la partition. |
|
Last Update Time |
Déclenche les règles en fonction de la date de la dernière mise à jour des données de la table ou de la partition. |
Règles de hiérarchisation
Configurez des règles pour faire transiter les données entre les classes de stockage. La durée minimale de stockage varie selon la classe.
|
Règle |
Par défaut (jours) |
Description |
|
Transition to Infrequent Access |
30 |
Déplace les données vers le stockage Infrequent Access (IA) après le nombre de jours spécifié. Les données IA restent accessibles par les moteurs de calcul, mais avec des performances réduites. |
|
Transition to Archive |
60 |
Déplace les données vers le stockage Archive après le nombre de jours spécifié. Les données archivées sont inaccessibles par les moteurs de calcul. |
|
Transition to Cold Archive |
180 |
Déplace les données vers le stockage Cold Archive après le nombre de jours spécifié. Les données archivées à froid sont inaccessibles par les moteurs de calcul. |
Les règles Transition to Infrequent Access et Transition to Archive prennent en charge une option supplémentaire :
Convert to Standard Storage Upon Access : Restaure automatiquement la partition ou la table non partitionnée vers le stockage Standard lors de son accès.
L'option Convert to Standard Storage Upon Access n'est disponible que lorsque la Tiering Strategy est définie sur Last Access Time.
Configurer les paramètres du catalogue
Sous l'onglet Catalog Configuration, configurez les paramètres suivants au niveau du catalogue.
File Fragment Lifecycle
Définissez la durée d'expiration des fragments de fichiers (minimum : 1 jour). Les fragments expirés sont supprimés automatiquement et ne peuvent pas être récupérés.
Advanced Settings
Définissez les propriétés par défaut des nouvelles tables Paimon. Format de la clé de configuration : table-default.<Paimon table property>. Pour obtenir le détail des propriétés, consultez la documentation de configuration d'Apache Paimon.
Par exemple, pour activer les vecteurs de suppression (Deletion Vectors) par défaut, configurez table-default.deletion-vectors.enabled=true. Lors de la création d'une table, le système supprime le préfixe table-default. et applique deletion-vectors.enabled=true en tant que propriété de table.
Les propriétés explicitement spécifiées lors de la création de la table sont prioritaires et ne sont pas remplacées par ce paramètre.
Étapes suivantes
Gérer les autorisations de données : Accordez des autorisations au niveau du catalogue aux utilisateurs et aux rôles.
Table Paimon : Créez et gérez des tables Paimon au sein d'un catalogue.