MaxCompute facture le stockage des données au volume. Les données inutilisées ou mal organisées alourdissent donc directement votre facture. Quelques mesures ciblées — partitionnement efficace des tables, définition de cycles de vie et suppression des tables obsolètes — suffisent à éliminer le gaspillage et à maîtriser vos coûts de stockage.
Cette rubrique présente les stratégies suivantes :
Partitionner efficacement vos tables
Dans MaxCompute, chaque valeur distincte d'une colonne de clé de partition génère une partition dédiée. Lorsque vous interrogez une table partitionnée en spécifiant une partition, le système ne lit que les données de cette partition, sans analyser l'intégralité de la table. Cette approche réduit le volume de données traitées ainsi que les coûts associés.
Vous pouvez combiner plusieurs colonnes pour créer un partitionnement multiniveau, semblable à une arborescence de répertoires. Le tableau suivant vous aide à choisir les colonnes de partition appropriées :
|
Fréquence de collecte des données |
Colonnes de partition recommandées |
Raison |
|
Quotidienne |
Date |
Les données de chaque jour sont routées vers leur propre partition. Les opérations ultérieures ne lisent que les partitions nécessaires. |
|
Horaire |
Date + Heure |
Les données de chaque heure sont routées vers leur propre partition. Si vous partitionnez les données horaires uniquement par date, toutes les heures s'accumulent dans la même partition. Les requêtes lisent alors de grandes quantités de données inutiles, ce qui augmente les coûts de stockage. |
|
Autre |
Toute colonne dont les valeurs énumérées sont relativement stables (canal, pays, province, etc.). Vous pouvez également combiner des colonnes temporelles avec d'autres colonnes. |
Les requêtes ne lisent que les partitions correspondant au filtre, ce qui réduit le volume de données analysées. |
Limitez chaque table à deux niveaux de partitions. Chaque table prend en charge un maximum de 60 000 partitions.
Définir des cycles de vie pour les tables
Un cycle de vie définit la durée de conservation des données par MaxCompute avant leur suppression automatique. En définissant un cycle de vie lors de la création d'une table, vous assurez le nettoyage des données obsolètes sans intervention manuelle, libérant ainsi de l'espace de stockage au fil du temps.
Définir un cycle de vie lors de la création d'une table
L'instruction suivante crée une table avec un cycle de vie de 100 jours. Si la table ou l'une de ses partitions n'a pas été modifiée depuis plus de 100 jours, MaxCompute la supprime :
CREATE TABLE test3 (key BOOLEAN) PARTITIONED BY (pt STRING, ds STRING) LIFECYCLE 100;Modifier le cycle de vie d'une table existante
Pour modifier le cycle de vie d'une table existante, exécutez l'instruction suivante. Pour plus d'informations, consultez Opérations de gestion du cycle de vie.
ALTER TABLE table_name SET lifecycle days;Pour les tables partitionnées, le cycle de vie s'applique au niveau de la partition, unité minimale. Les partitions ayant atteint le seuil du cycle de vie sont supprimées individuellement ; celles qui n'ont pas atteint ce seuil restent inchangées.
Choisissez un cycle de vie adapté à la durée réelle d'utilisation des données par les tâches en aval. Un délai trop court risque de supprimer des données encore utilisées ; un délai trop long annule les économies de coûts.
Supprimer régulièrement les tables obsolètes
Même avec des cycles de vie configurés, les tables inutilisées peuvent s'accumuler avec le temps. Examinez périodiquement votre projet et supprimez les tables obsolètes, c'est-à-dire celles qui n'ont pas été consultées depuis une période prolongée.
Une table est considérée comme obsolète si elle répond à l'un des critères suivants :
|
Critères |
S'applique à |
|
Aucun accès au cours des trois derniers mois |
Toutes les tables |
|
Aucun accès au cours du dernier mois |
Tables non partitionnées |
|
Ne consomme pas de ressources de stockage |
Toutes les tables |
La suppression de ces tables libère de l'espace de stockage et facilite la gestion de votre projet.