Lindorm:Separar dados quentes e frios com base em uma coluna de tempo personalizada

Pré-requisitos

Antes de começar, verifique se você atende aos seguintes requisitos:

• Armazenamento frio ativado na sua instância. Para mais detalhes, consulte Instâncias Lindorm otimizadas para armazenamento

• LindormTable versão 2.4.3 ou posterior. Para verificar ou atualizar sua versão, consulte Guia de versões do LindormTable e Executar uma atualização de versão secundária

• Conexão com o LindormTable via Lindorm-cli. Para mais detalhes, consulte Conectar-se e usar o LindormTable com o Lindorm-cli

• A política STORAGE_POLICY da tabela ou família de colunas de destino não deve estar definida como COLD. Uma tabela de armazenamento frio não pode ser usada para separação de dados quentes e frios. Para modificar as propriedades de armazenamento, consulte Configurar armazenamento frio

Restrições

• Este recurso é suportado apenas para Lindorm SQL. Operações compatíveis com HBase não são suportadas.

• Quando o valor de uma linha na coluna de tempo personalizada cruza o limite de dados quentes, a linha inteira é arquivada no armazenamento frio.

• A coluna de tempo personalizada deve atender a todas as condições abaixo:

  • Deve ser uma coluna de chave primária.

  • Não pode ser a primeira coluna da chave primária.

  • O tipo de dados deve ser BIGINT ou TIMESTAMP. Se a coluna não existir, não tiver dados ou contiver dados de tipo incorreto, todos os dados serão gravados no armazenamento quente.

Configurar a separação de dados quentes e frios para uma tabela

-- Default time unit: milliseconds (ms)
CREATE TABLE dt (p1 integer, p2 bigint, p3 bigint, c1 varchar, constraint pk PRIMARY KEY(p1, p2, p3))
WITH(COMPRESSION = 'ZSTD', CHS ='86400', CHS_L2 = 'storagetype=COLD', CHS_COLUMN = 'COLUMN=p2');

-- Set time unit to seconds (s)
CREATE TABLE dt (p1 integer, p2 bigint, p3 bigint, c1 varchar, constraint pk PRIMARY KEY(p1, p2, p3))
WITH(COMPRESSION = 'ZSTD', CHS ='86400', CHS_L2 = 'storagetype=COLD', CHS_COLUMN = 'COLUMN=p2|TIMEUNIT=SECONDS');

-- Set time unit to minutes (min)
CREATE TABLE dt (p1 integer, p2 bigint, p3 bigint, c1 varchar, constraint pk PRIMARY KEY(p1, p2, p3))
WITH(COMPRESSION = 'ZSTD', CHS ='86400', CHS_L2 = 'storagetype=COLD', CHS_COLUMN = 'COLUMN=p2|TIMEUNIT=MINUTES');

-- Enable hot and cold data separation with a one-day boundary, using p2 (default unit: milliseconds)
ALTER TABLE dt SET 'CHS' ='86400', 'CHS_L2' = 'storagetype=COLD', 'CHS_COLUMN' = 'COLUMN=p2';

-- Use p2 with time unit set to seconds
ALTER TABLE dt SET 'CHS' ='86400', 'CHS_L2' = 'storagetype=COLD', 'CHS_COLUMN' = 'COLUMN=p2|TIMEUNIT=SECONDS';

-- Use p2 with time unit set to minutes
ALTER TABLE dt SET 'CHS' ='86400', 'CHS_L2' = 'storagetype=COLD', 'CHS_COLUMN' = 'COLUMN=p2|TIMEUNIT=MINUTES';

ALTER TABLE dt SET 'CHS'='1000';

ALTER TABLE dt SET 'CHS_COLUMN'='COLUMN=p3';

ALTER TABLE dt SET 'CHS'='', 'CHS_L2' = '', 'CHS_COLUMN'='';

Configurar a separação de dados quentes e frios para um índice secundário

Um índice secundário é armazenado dentro da tabela base, portanto a configuração segue o mesmo processo. Os exemplos abaixo utilizam a tabela dt criada na seção anterior.

CREATE INDEX idx ON dt (c1) WITH(CHS = '86400', CHS_L2 = 'storagetype=COLD', CHS_COLUMN='COLUMN=p2');

-- Enable hot and cold data separation on an existing index
ALTER TABLE `dt.idx` SET 'CHS' = '86400', 'CHS_L2' = 'storagetype=COLD', 'CHS_COLUMN'='COLUMN=p2';

ALTER TABLE `dt.idx` SET 'CHS'='10000';

ALTER TABLE `dt.idx` SET 'CHS_COLUMN'='COLUMN=p2';

ALTER TABLE `dt.idx` SET 'CHS'='', 'CHS_L2' = '', 'CHS_COLUMN'='';

Gravar dados

A gravação de dados em uma tabela com separação de dados quentes e frios ativada funciona da mesma forma que em uma tabela padrão. Inicialmente, os dados ficam no armazenamento quente (Medium ou Compute-optimized). Uma linha é arquivada no armazenamento frio durante a compactação quando a seguinte condição é atendida:

Current time - Value of the time column > Value of CHS

Consultar dados

Dados quentes e frios residem na mesma tabela. Todas as consultas têm como alvo essa única tabela. Ao filtrar pela coluna de tempo personalizada com um intervalo de tempo, o LindormTable determina se deve varrer o armazenamento quente, o frio ou ambos — assim, a consulta lê apenas a camada relevante. Sem um filtro de intervalo de tempo, a consulta pode acessar dados frios, e o throughput fica limitado pela capacidade do armazenamento frio. Para mais detalhes, consulte Instâncias Lindorm otimizadas para armazenamento.

Para consultar apenas dados quentes quando não for possível filtrar pela coluna de tempo personalizada, utilize a dica _l_hot_only_.

-- p2 is the custom time column
SELECT * FROM dt WHERE p1 = 10 AND p2 = 10;

-- p2 is the custom time column
SELECT * FROM dt WHERE p2 > 10 AND p2 < 1000;

SELECT /*+ _l_hot_only_(true) */ * FROM dt WHERE p1 > 1;

Exemplo: Cenário de Internet dos Veículos

Em cenários de Internet dos Veículos (IoV), a chave primária geralmente consiste em vin (Número de Identificação do Veículo) e ts (timestamp). Defina ts como a coluna de tempo personalizada. Ao consultar dados de um veículo específico dentro de um intervalo de tempo, o LindormTable determina automaticamente se deve acessar o armazenamento quente ou frio com base nas condições da consulta.

USE test;
CREATE TABLE dt (
  vin varchar, ts bigint, c1 varchar, c2 varchar,
  constraint pk primary key(vin, ts)
) WITH (COMPRESSION = 'ZSTD', CHS ='86400', CHS_L2 = 'storagetype=COLD', CHS_COLUMN = 'COLUMN=ts');

-- Query data for a specific vehicle within a time range
SELECT * FROM dt WHERE vin = 'xxxx' AND ts > 1675065122000 AND ts < 1675975222000;

Perguntas frequentes

Se eu atualizar dados frios existentes, os dados atualizados permanecem frios?

Sim, desde que a atualização não altere o valor na coluna de tempo personalizada. Caso o valor mude, o LindormTable reavalia o status quente/frio da linha com base no novo valor.

Por exemplo: uma tabela possui as colunas de chave primária p1 e p2, e as colunas fora da chave primária c1 e c2. Uma linha tem os valores p1=row1, p2=Jan-28-2023, c1="c1", c2="c2". Com um limite de 1 dia (CHS) e data atual de Jan-30-2023, a linha é considerada fria. Atualizar c1 ou c2 mantém a linha fria. Já atualizar p2 para Jan-30-2023 torna a linha quente, e ela volta a ser fria em Feb-01-2023.

Se uma linha não tiver valor na coluna de tempo personalizada, os dados são separados?

Não. Linhas sem valor na coluna de tempo personalizada permanecem no armazenamento quente.