Lorsque les données s'accumulent dans une instance Enterprise Edition, les petits fichiers et les snapshots expirés dégradent les performances des requêtes et gaspillent de l'espace de stockage. La fonctionnalité Lake storage optimization compacte les petits fichiers, nettoie les fichiers orphelins et gère le cycle de vie des snapshots afin de maintenir une structure de stockage optimale.
Cette fonctionnalité est en phase de test sur invitation. Pour demander l'accès, soumettez un ticket.
Scope
|
Condition |
Requirement |
|
Instance edition |
Enterprise Edition. |
|
Database type |
Only databases and tables in AnalyticDB for MySQL lake storage. |
|
Visibility |
Only databases visible in Data Catalog can be configured. |
Three-level inheritance
La configuration se propage selon la hiérarchie Instance > Database > Table. Par défaut, chaque niveau hérite des paramètres de son parent, mais il est possible de les remplacer par des valeurs personnalisées.
Instance-level settings (global defaults)
├── Database A (inherits instance settings)
│ ├── Table 1 (inherits Database A settings)
│ └── Table 2 (custom: compaction frequency = high)
└── Database B (custom: lake storage optimization disabled)
└── Table 3 (inherits Database B → disabled)|
Policy |
Behavior |
Use case |
|
Inherit |
Follows parent-level changes automatically. |
Databases and tables that need uniform settings. |
|
Custom |
Uses independent settings, unaffected by parent-level changes. |
Objects with specific performance needs or that require optimization disabled. |
Priorité : Table-level > Database-level > Instance-level. Après avoir sélectionné Custom, ce niveau et ses enfants ne sont plus affectés par les modifications apportées au niveau parent.
La désactivation du commutateur Enable Lake Storage Optimization au niveau de l'instance désactive tous les paramètres définis aux niveaux database et table, et arrête l'optimisation sur l'ensemble de l'instance. Les paramètres configurés sont conservés et restaurés automatiquement lorsque vous réactivez l'optimisation.
Access the settings
Sur la page des détails de l'instance, accédez à dans le volet de navigation de gauche.
|
Level |
Entry point |
|
Instance |
Cliquez sur Edit dans la section Lake Storage Optimization située au-dessus de la liste des bases de données. |
|
Database |
Cliquez sur la base de données cible et accédez à l'onglet Lake Storage Optimization. |
|
Table |
Cliquez sur la table cible et accédez à l'onglet Lake Storage Optimization. |
Parameters
|
Parameter |
Description |
Valid values |
Default |
Instance |
Database |
Table |
|
Enable Lake Storage Optimization |
Commutateur global pour l'instance. |
On / Off |
Off |
✓ |
— |
— |
|
Policy |
Hériter des paramètres du niveau parent ou utiliser des valeurs personnalisées. |
Inherit / Custom |
Inherit |
— |
✓ |
✓ |
|
Status |
Activer ou désactiver l'optimisation à ce niveau. |
On / Off |
— |
— |
✓ |
✓ |
|
Resource Group |
Ressources de calcul pour l'exécution des tâches d'optimisation. |
Groupes de ressources existants. |
— |
✓ |
✓ |
✓ |
|
Small File Merge Frequency |
Fréquence de compactage des petits fichiers. |
low / normal / high |
normal |
✓ |
✓ |
✓ |
|
Snapshot Retention Period |
Durée de conservation des snapshots historiques. |
1 à 7 jours |
7 days |
✓ |
✓ |
✓ |
|
Orphan File Retention Period |
Durée de conservation des fichiers orphelins avant leur nettoyage. |
3 / 5 / 7 / 10 / 14 days |
3 days |
✓ |
✓ |
✓ |
Lorsque le commutateur au niveau de l'instance est désactivé, seul ce commutateur est visible. Les autres paramètres apparaissent après l'activation. Aux niveaux database et table, les paramètres s'affichent après la sélection de Custom et l'activation du statut.
Small file compaction frequency
Le compactage des petits fichiers fusionne les fichiers de données de petite taille en fichiers plus grands, réduisant ainsi le nombre de fichiers et améliorant l'efficacité des requêtes.
|
Level |
Use case |
|
low |
Tables de données froides avec un faible volume d'écriture et des modifications peu fréquentes. |
|
normal (default) |
Charges de travail généralistes. |
|
high |
Tables de données chaudes avec un débit d'écriture élevé et des requêtes fréquentes. |
Une fréquence de compactage plus élevée consomme davantage de ressources de calcul. Assignez un groupe de ressources dédié aux tâches d'optimisation pour éviter toute contention des E/S avec les charges de travail des requêtes.
Snapshot retention period
Les snapshots capturent l'état complet d'une table à un instant donné, permettant la restauration des données et les requêtes de type « time travel ». Un excès de snapshots augmente l'utilisation du stockage et la surcharge des métadonnées. La durée de conservation par défaut est de 7 jours ; le minimum est de 1 jour.
Orphan file retention period
Les fichiers orphelins sont des fichiers de données issus d'écritures, de mises à jour ou de compactages, qui ne sont référencés par aucun snapshot valide. Ils sont automatiquement nettoyés après la période de rétention afin de libérer de l'espace de stockage.
La réduction de la période de rétention permet d'économiser de l'espace de stockage, mais peut affecter les requêtes de longue durée en cours d'exécution. Le minimum est de 3 jours.
Execution history
Dans l'onglet Lake Storage Optimization au niveau de la table, consultez l'historique d'exécution des tâches de compactage, incluant les fichiers de données lus, les fichiers de données ajoutés, les octets lus, les fichiers de données ayant échoué, l'heure de début et le statut.
Recommended configurations
|
Scenario |
Recommended settings |
Reason |
|
High-frequency analytical tables. |
Compaction frequency = high, Orphan file retention = 3 days. |
Élimine rapidement les petits fichiers et maintient les performances des requêtes. |
|
Low-frequency archive tables. |
Compaction frequency = low, Orphan file retention = 14 days. |
Réduit la consommation de ressources et étend la fenêtre de récupération des données. |
|
Mixed-workload databases. |
Database-level = inherit, Hot tables = custom with high, Cold tables = custom with low. |
Permet une optimisation par table adaptée aux modèles de charge de travail. |
|
Development and test environments. |
Disable lake storage optimization at the instance level. |
Préserve les ressources de calcul. |