L'optimisation du stockage DLF simplifie la maintenance des tables Paimon grâce à la compaction adaptative, au nettoyage des snapshots expirés, à la gestion du cycle de vie des partitions et au nettoyage des fichiers orphelins. Cette rubrique présente les stratégies d'optimisation disponibles et explique comment DLF les exécute.
Stratégies d'optimisation du stockage
|
Type de stratégie |
Description |
Mécanisme d'exécution DLF |
|
Fusionne les petits fichiers en fichiers plus volumineux, réduisant ainsi le nombre de fichiers, la surcharge des métadonnées et les coûts de recherche de fichiers lors des requêtes. Améliore les performances des requêtes sur les tables Paimon. |
DLF déclenche automatiquement la compaction lorsque les écritures de données sont validées. |
|
|
Les snapshots protègent les fichiers de données référencés contre la suppression, préservant ainsi les états historiques. À mesure que les snapshots s'accumulent, la consommation de stockage augmente. L'expiration des snapshots inutiles libère de l'espace de stockage. |
DLF déclenche automatiquement le nettoyage des snapshots expirés lors des jobs d'optimisation du stockage. La durée d'expiration par défaut est d'une heure, ajustable via les paramètres de la table Paimon. Pour plus d'informations, consultez la rubrique Nettoyer les données expirées. |
|
|
Dans de nombreux scénarios, seules les données récentes sont nécessaires. Partitionnez les données par date et définissez des règles d'expiration pour supprimer automatiquement les anciennes partitions, libérant ainsi de l'espace de stockage. Configurez la hiérarchisation intelligente du stockage pour déplacer les données rarement consultées du stockage Standard vers des classes de stockage moins coûteuses (Infrequent Access, Archive ou Cold Archive). |
Configurez la durée d'expiration via les paramètres de la table Paimon dans la section Définir la durée d'expiration des partitions. Après configuration, le nettoyage se déclenche automatiquement lors des jobs d'optimisation du stockage DLF. Utilisez la hiérarchisation intelligente du stockage pour déplacer les données de partition éligibles vers des classes de stockage moins coûteuses, ou modifiez manuellement la classe de stockage sur la page Table Details. La page Storage Overview affiche la répartition de la hiérarchisation entre les catalogs, les bases de données et les tables. |
|
|
Les fichiers orphelins sont des fichiers qui existent dans le chemin de stockage de la table mais ne sont référencés par aucun snapshot. Ils résultent généralement de jobs d'écriture interrompus, de validations échouées ou de résidus laissés par des processus de nettoyage anormaux. Comme aucun snapshot ne les référence, l'expiration des snapshots ne peut pas les supprimer ; un nettoyage périodique est donc nécessaire. |
Vous pouvez déclencher manuellement le nettoyage des fichiers orphelins depuis la console ou activer le nettoyage automatique. Les fichiers orphelins nettoyés sont déplacés temporairement vers la corbeille ( |
Activer ou désactiver l'optimisation intelligente du stockage
L'onglet Storage Optimization s'affiche uniquement pour les tables Paimon.
Connectez-vous à la console DLF
Sur la page Catalogs, cliquez sur le nom du catalogue.
Dans l'onglet Database, cliquez sur le nom de la base de données cible pour afficher ses tables.
Dans la liste Tables, cliquez sur le nom de la table cible pour afficher les informations de son schéma.
Cliquez sur l'onglet Storage Optimization. L'interrupteur d'optimisation intelligente du stockage est activé par défaut. Pour le désactiver, cliquez sur l'interrupteur
.
Afficher et configurer les stratégies d'optimisation du stockage
Compaction
Dans l'onglet Storage Optimization, cliquez sur Compaction pour afficher l'état d'exécution, les enregistrements de redimensionnement et l'historique d'exécution.
Modifiez le mode de politique selon vos besoins :
Mode de ressources dynamiques (recommandé)
Le système met automatiquement à l'échelle les ressources de calcul en fonction de la charge de travail en temps réel, ce qui élimine la nécessité d'une planification manuelle de la capacité. Ce mode convient aux trafics fluctuants. Trois préférences de configuration sont disponibles :
Balanced : Équilibre la vitesse de compaction et la consommation de ressources (paramètre par défaut).
Low latency : Alloue davantage de ressources pour accélérer la compaction, réduisant ainsi le délai de visibilité des données.
-
Low resource usage : Limite l'utilisation des ressources pour réduire les coûts de calcul, au prix d'un temps de compaction plus long.
Mode de ressources fixes
Spécifiez manuellement les ressources de calcul pour la compaction. Ce mode convient aux trafics stables ou à un contrôle strict des coûts.
Exigences de configuration : 2 CU minimum.
Paramètres : Personnalisez l'intervalle de déclenchement de la compaction et le nombre de buckets.
Afficher l'état d'exécution
Consultez l'état d'exécution de l'optimisation pour la table actuelle et configurez les abonnements aux alertes CloudMonitor via Surveiller l'optimisation du lac de données.
Afficher les enregistrements de redimensionnement
Journalise les événements de redimensionnement des buckets pour une table ou des partitions spécifiques, reflétant les modifications de la structure de stockage physique. Le redimensionnement résout les problèmes de performance liés aux variations du volume de données. Utilisez ces enregistrements pour vérifier si une table subit un redimensionnement, ce qui empêche la compaction.
Afficher l'historique d'exécution
Consultez l'historique d'exécution de la compaction pour la table actuelle. Utilisez ces enregistrements pour :
Confirmer l'exécution des tâches : Vérifiez que les tâches de compaction en arrière-plan s'exécutent correctement et empêchez l'accumulation de petits fichiers.
Évaluer l'efficacité de la compaction : Comparez le nombre et la taille des fichiers avant et après la compaction pour évaluer l'efficacité de la stratégie.
Nettoyage des snapshots expirés
Dans l'onglet Storage Optimization, cliquez sur Expired Snapshot Cleanup pour configurer les règles de nettoyage et afficher les résultats.
-
Configurer les règles de nettoyage des snapshots
Cliquez sur Modify, définissez la Snapshot Retention Period (la valeur par défaut est de 1 heure) et cliquez sur Save.
-
Afficher les résultats du nettoyage des snapshots
Nombre actuel de snapshots : Nombre de snapshots restants.
Informations sur le snapshot le plus ancien : Détails du snapshot le plus ancien, y compris l'ID du snapshot, l'heure de validation, le type de validation, le nombre total de lignes et les lignes ajoutées lors de la validation.
Gestion du cycle de vie des partitions
Dans l'onglet Storage Optimization, cliquez sur Partition Lifecycle pour configurer les règles de nettoyage, afficher les résultats et définir la hiérarchisation du stockage.
Règles de nettoyage des partitions
Activez l'option en cliquant sur le commutateur
situé à côté de Expired Partition Cleanup.-
Configurez les règles de nettoyage suivantes, puis cliquez sur Save.
Vous pouvez également configurer ces paramètres via des paires clé-valeur d'options de table.
Paramètre
Description
Expiration Policy
(partition.expiration-strategy)
Vous pouvez sélectionner l'une des stratégies d'expiration suivantes :
-
Basé sur la dernière heure d'accès (access-time) : Expire les partitions en fonction de leur dernière heure d'accès.
-
Basé sur la valeur de partition (values-time) : Vous pouvez configurer le format et le modèle d'horodatage de la partition.
-
Format d'horodatage (partition.timestamp-formatter) : Vous pouvez configurer des formats tels que
yyyy-MM-dd,yyyyMdd,dd/MM/yyyyetdd.MM.yyyy. -
Modèle d'horodatage (partition.timestamp-pattern) : Par défaut, le premier champ de partition est utilisé. Vous pouvez configurer des modèles tels que
$dtou$year-$month-$day.
-
-
Basé sur la dernière heure de mise à jour (update-time) : Expire les partitions en fonction de leur dernière heure de mise à jour.
Partition Retention Period
(partition.expiration-time)
Unité : jours. Exemple :
30d. La valeur maximale est de 999 999 jours. La période de conservation commence en fonction de la stratégie d'expiration sélectionnée. -
(Facultatif) Après l'enregistrement, cliquez sur Cleanup Rule Settings à côté de Modify pour modifier les paramètres.
Pour conserver les partitions de manière permanente, ne configurez pas de règles d'expiration. Le système ne nettoie pas les données de partition par défaut.
Résultats du nettoyage des partitions
Cliquez sur View Partitions pour afficher la liste des partitions, y compris le nom de la partition, le nombre de lignes, les fichiers référencés, la taille des fichiers, le créateur, la classe de stockage, le dernier modificateur, les horodatages et les actions.
Hiérarchisation du stockage
|
Paramètre |
Description |
|
Intelligent Tiering |
Remarque
|
|
Tiering Strategy |
|
|
Tiering Rule |
Les exigences minimales de durée de stockage varient selon la classe de stockage. Configurez les règles de hiérarchisation :
|
Lorsque cette option est activée, le système hiérarchise automatiquement le stockage pour toutes les tables du catalogue en fonction des règles de cycle de vie configurées. Spécifiez la stratégie et les règles selon vos besoins.Au-delà de la hiérarchisation intelligente du stockage, vous pouvez modifier manuellement la classe de stockage sur la page des détails de la table. La page Storage Overview affiche la répartition de la hiérarchisation entre les catalogues, les bases de données et les tables.
Nettoyage des fichiers orphelins
Dans l'onglet Storage Optimization, cliquez sur Orphan file cleanup pour déclencher manuellement le nettoyage des fichiers orphelins.
Pour activer le nettoyage automatique, ajoutez auto-orphan-files-clean.enabled = true à la configuration du catalogue. Les fichiers orphelins nettoyés sont déplacés temporairement vers la corbeille (system.trash). Ajustez la durée de conservation des fichiers dans la corbeille avec la configuration de catalogue dlf.trashed-file-retained-days.
Modifier manuellement la classe de stockage
Dans la liste Database, cliquez sur le nom d'une base de données pour afficher la liste des tables.
Dans la liste Tables, cliquez sur le nom d'une table pour consulter son schéma.
-
Sélectionnez l'onglet Table Details afin de modifier manuellement la classe de stockage des tables partitionnées et non partitionnées.
Tables partitionnées
Depuis l'onglet Partitions, vous pouvez modifier la classe de stockage des partitions.
-
Pour les partitions dont la classe de stockage est Standard, Infrequent Access ou Archive :
Dans la colonne Actions, cliquez sur Modify Storage Class pour basculer vers n'importe quelle autre classe de stockage.
-
Pour les partitions dont la classe de stockage est Cold Archive :
Restaurez d'abord les données, puis modifiez la classe de stockage :
-
Cliquez sur Restore et configurez la durée Restored Copy Availability Duration. Vous pouvez sélectionner plusieurs partitions pour effectuer une restauration par lot.
Plage de valeurs : un entier compris entre 1 et 365 (unité : jours).
Valeur par défaut : 1 jour.
Lorsque les données passent à l'état restauré, cliquez sur Modify Storage Class dans la colonne Actions pour changer la classe de stockage.
-
Tables non partitionnées
Dans la section Basic Information de la table, vous pouvez modifier la Storage Class.
-
Pour les classes de stockage Standard, Infrequent Access ou Archive :
Cliquez sur Edit à côté de Storage Class pour basculer vers n'importe quelle autre classe de stockage.
-
Pour la classe de stockage Cold Archive :
Restaurez d'abord les données, puis modifiez la classe de stockage :
-
Cliquez sur Restore à côté de Storage Class et configurez la durée Restored Copy Availability Duration.
Plage de valeurs : un entier compris entre 1 et 365 (unité : jours).
Valeur par défaut : 1 jour.
Lorsque la Storage Class passe à Cold Archive (Restored), cliquez sur Edit à côté de Storage Class. Vous pouvez ensuite la modifier pour choisir n'importe quelle autre classe de stockage.
-
RemarqueDurée de restauration : Cold Archive prend uniquement en charge la priorité de restauration standard, qui nécessite de 2 à 5 heures.
Heure de début de l'état restauré : lorsque le premier objet Cold Archive d'une partition passe à l'état restauré après la fin de la restauration.
Durée de disponibilité de la copie restaurée : période pendant laquelle les données restent accessibles après leur restauration depuis Cold Archive. À l'expiration de ce délai, la partition revient à l'état figé. Soumettez une nouvelle demande de restauration pour y accéder à nouveau.
Procédure de restauration
L'objet se trouve initialement à l'état figé.
Après soumission d'une demande de restauration, l'objet passe à l'état de restauration. La durée de restauration varie.
-
Une fois la restauration terminée, l'objet passe à l'état restauré. Pour la hiérarchisation du stockage au niveau de la table, la partition devient accessible après la restauration de tous les objets.
Prolongez l'état restauré en ajustant la durée de disponibilité de la copie restaurée, dans la limite maximale autorisée pour la classe de stockage.
À l'expiration de la durée de disponibilité de la copie restaurée, l'objet revient à l'état figé. Soumettez une nouvelle demande de restauration pour y accéder à nouveau.
-