AnalyticDB:Tiered storage of hot and cold data

Lors de la création de la table

Spécifiez la politique à l'aide du paramètre storage_policy dans votre instruction CREATE TABLE :

CREATE TABLE your_table (
    ...
)
PARTITION BY ...
PROPERTIES (
    "storage_policy" = "MIXED",   -- HOT, COLD, or MIXED
    "hot_partition_count" = "5"   -- Required when storage_policy = MIXED
);

Pour une table existante

Utilisez l'instruction ALTER TABLE pour modifier la politique de stockage. Après l'exécution de cette commande, vous pouvez suivre la progression de la migration. Consultez la section Suivre la progression de la modification de la politique de stockage.

-- Switch to mixed storage with 5 hot partitions
ALTER TABLE your_table
SET PROPERTIES (
    "storage_policy" = "MIXED",
    "hot_partition_count" = "5"
);

Pour la référence complète de la syntaxe, consultez les rubriques CREATE TABLE et ALTER TABLE.

Lors de l'insertion d'une nouvelle partition

Toutes les partitions sont retriées afin de conserver exactement N partitions chaudes. La partition dont la valeur de clé est la plus faible passe du statut chaud au statut froid.

Exemple : Le paramètre hot_partition_count est défini sur 5. Une nouvelle partition 20241226 (valeur de clé la plus élevée) est insérée. Après l'exécution d'une tâche BUILD, le système promeut 20241226 au statut chaud et déplace 20241221 (la précédente partition chaude ayant la valeur de clé la plus faible) vers le stockage froid.

Lors de la modification du nombre de partitions chaudes

• Augmentation de N à M (M > N) : Les M - N partitions froides possédant les valeurs de clé les plus élevées sont promues au statut chaud.

• Diminution de N à M (M < N) : Les N - M partitions chaudes possédant les valeurs de clé les plus faibles sont rétrogradées au statut froid.

Exemple — augmentation de 5 à 6 : La partition 20241220 (clé de partition froide la plus élevée) passe du stockage froid au stockage chaud.

Exemple — diminution de 5 à 4 : La partition 20241221 (clé de partition chaude la plus faible) passe du stockage chaud au stockage froid.

Requête pour toutes les tables

SELECT * FROM information_schema.table_usage;

Requête pour une table spécifique

SELECT * FROM information_schema.table_usage
WHERE table_schema = '<schema_name>' AND table_name = '<table_name>';

Paramètres de réponse

Remarques d'utilisation :

• Toutes les valeurs de taille (rt_*, hot_*, cold_*) évoluent au fil des opérations INSERT, UPDATE, DELETE et BUILD.

• Si hot_total_size et cold_total_size valent tous deux 0 après l'écriture des données, celles-ci sont synchronisées en temps réel. La valeur rt_total_size reflète alors la taille actuelle. Exécutez une instruction BUILD pour convertir les données en temps réel en données historiques ; les champs hot_total_size et cold_total_size seront alors renseignés.

• Le paramètre hot_partition_count configuré indique le nombre de partitions chaudes par shard. La valeur hot_partition_count renvoyée par la requête correspond à l'union sur l'ensemble des shards et peut être supérieure si la distribution des partitions diffère d'un shard à l'autre.

Exemple — différence entre la valeur hot_partition_count interrogée et la valeur configurée :

La table A comporte deux shards et le paramètre hot_partition_count est configuré sur 2.

• Shard 1 : P4 et P5 sont chaudes ; P1, P2 et P3 sont froides.

• Shard 2 : P3 et P4 sont chaudes ; P1 et P2 sont froides.

La valeur interrogée correspond à l'union : {P4, P5} ∪ {P3, P4} = {P3, P4, P5}, donc hot_partition_count renvoie 3.

Requête pour toutes les tables

SELECT * FROM information_schema.storage_policy_modify_progress;

Requête pour une table spécifique

SELECT * FROM information_schema.storage_policy_modify_progress
WHERE table_schema = '<schema_name>' AND table_name = '<table_name>';

Paramètres de réponse