AnalyticDB:Armazenamento em camadas de dados quentes e frios

Na criação da tabela

Especifique a política usando o parâmetro storage_policy na instrução CREATE TABLE:

CREATE TABLE your_table (
    ...
)
PARTITION BY ...
PROPERTIES (
    "storage_policy" = "MIXED",   -- HOT, COLD, or MIXED
    "hot_partition_count" = "5"   -- Required when storage_policy = MIXED
);

Para uma tabela existente

Use ALTER TABLE para alterar a política de armazenamento. Após executar essa instrução, acompanhe o progresso da migração em Consultar o progresso da alteração da política de armazenamento.

-- Switch to mixed storage with 5 hot partitions
ALTER TABLE your_table
SET PROPERTIES (
    "storage_policy" = "MIXED",
    "hot_partition_count" = "5"
);

Para a referência completa da sintaxe, consulte CREATE TABLE e ALTER TABLE.

Quando uma nova partição é inserida

O sistema reclassifica todas as partições para manter exatamente N partições quentes. A partição com o menor valor de chave passa de quente para fria.

Exemplo: hot_partition_count é 5. Uma nova partição 20241226 (maior valor de chave) é inserida. Após um job BUILD, o sistema promove 20241226 para quente e move 20241221 (anterior menor partição quente) para fria.

Ao alterar a contagem de partições quentes

• Aumento de N para M (M > N): M - N partições frias (aquelas com os maiores valores de chave) são promovidas para quentes.

• Redução de N para M (M < N): N - M partições quentes (aquelas com os menores valores de chave) passam a ser frias.

Exemplo — aumento de 5 para 6: A partição 20241220 (maior chave de partição fria) passa de fria para quente.

Exemplo — redução de 5 para 4: A partição 20241221 (menor chave de partição quente) passa de quente para fria.

Consulta para todas as tabelas

SELECT * FROM information_schema.table_usage;

Consulta para uma tabela específica

SELECT * FROM information_schema.table_usage
WHERE table_schema = '<schema_name>' AND table_name = '<table_name>';

Parâmetros de resposta

Notas de uso:

• Todos os valores de tamanho (rt_*, hot_*, cold_*) variam conforme a execução de operações INSERT, UPDATE, DELETE e BUILD.

• Se hot_total_size e cold_total_size forem ambos 0 após a gravação de dados, significa que os dados estão sincronizados em tempo real. O valor de rt_total_size reflete o tamanho atual. Execute uma instrução BUILD para converter dados em tempo real em dados históricos. Somente então hot_total_size e cold_total_size serão preenchidos.

• O parâmetro hot_partition_count configurado especifica o número de partições quentes por shard. Já o valor consultado de hot_partition_count representa a união entre todos os shards e pode ser maior se a distribuição de partições diferir entre eles.

Exemplo — hot_partition_count consultado vs. valor configurado:

A Tabela A possui dois shards e hot_partition_count está configurado como 2.

• Shard 1: P4 e P5 são quentes; P1, P2 e P3 são frias.

• Shard 2: P3 e P4 são quentes; P1 e P2 são frias.

O valor consultado corresponde à união: {P4, P5} ∪ {P3, P4} = {P3, P4, P5}, portanto hot_partition_count retorna 3.

Consulta para todas as tabelas

SELECT * FROM information_schema.storage_policy_modify_progress;

Consulta para uma tabela específica

SELECT * FROM information_schema.storage_policy_modify_progress
WHERE table_schema = '<schema_name>' AND table_name = '<table_name>';

Parâmetros de resposta