Lindorm:Partition index

CREATE TABLE IF NOT EXISTS search_table (
  user_id BIGINT,
  storeId VARCHAR,
  goodsId VARCHAR,
  goodsPrice SMALLINT,
  orderTime BIGINT,
  info VARCHAR,
  PRIMARY KEY (user_id ASC)
);

Dimensione as partições corretamente

Cada partição deve armazenar entre 50 milhões e 100 milhões de registros, com tamanho de armazenamento entre 30 GB e 50 GB. A quantidade padrão de partições corresponde ao dobro do número de nós de busca.

Crie um índice com partição por hash

Padrão (particionamento pela chave primária)

Sem a cláusula PARTITION BY, o índice particiona os dados pela chave primária da tabela larga.

CREATE INDEX IF NOT EXISTS idx USING SEARCH ON search_table (storeId, goodsId, goodsPrice);

Particionamento por uma coluna específica

Particione por storeId com 64 partições. Use esta opção quando as consultas sempre incluírem uma condição de igualdade em storeId.

CREATE INDEX IF NOT EXISTS idx USING SEARCH ON search_table (storeId, goodsId, goodsPrice)
PARTITION BY hash(storeId) PARTITIONS 64;

Use o particionamento multinível para corrigir distorção de dados

Se a chave primária de partição causar distribuição desigual dos dados (pontos críticos), adicione uma chave secundária de partição para distribuir os dados uniformemente entre as partições.

Como funciona

Cada chave de partição recebe um salt_factor — um inteiro pequeno que controla a granularidade do hash dessa chave. O número total de partições deve ser uma potência de 2 (2^N), e a soma de todos os valores de salt_factor deve ser igual a N.

Por exemplo, com 2 bilhões de registros e uma meta de 50 milhões de registros por partição, são necessárias aproximadamente 40 partições. Arredonde para cima para 64 (2^6), de modo que N = 6 e a soma dos fatores de salt seja 6.

Compromisso: Aumentar o salt_factor de uma chave melhora a distribuição dos dados nessa dimensão, mas reduz a precisão da poda ao consultar por uma chave diferente. Por exemplo, se storeId tiver salt_factor=2, consultas apenas em storeId reduzem a varredura a 1/4 (1/2^2) de todas as partições. Aumentar para salt_factor=3 reduz a varredura a 1/8 de todas as partições, mas deixa menos espaço para outras chaves contribuírem com a distribuição.

Exemplo de partição por hash multinível

Particione por storeId (salt_factor=2) e goodsId (salt_factor=4), com 64 partições no total. Linhas com o mesmo valor de storeId, mas valores diferentes de goodsId, são distribuídas por 1/4 de todas as partições.

CREATE INDEX IF NOT EXISTS idx USING SEARCH ON search_table (storeId, goodsId, goodsPrice)
PARTITION BY hash(storeId(salt_factor=2), goodsId(salt_factor=4)) PARTITIONS 64;

Use _id como chave secundária de partição

Se nenhuma coluna secundária de negócio adequada estiver disponível, use _id (a chave primária composta da tabela larga) como chave secundária de partição para eliminar pontos críticos.

CREATE INDEX IF NOT EXISTS idx USING SEARCH ON search_table (storeId, goodsId, goodsPrice)
PARTITION BY hash(storeId(salt_factor=2), _id(salt_factor=4)) PARTITIONS 64;

Crie um índice com partição por tempo

Partições semanais, retenção de 90 dias

As partições começam 30 dias antes da criação do índice. O sistema cria uma nova partição a cada 7 dias e exclui automaticamente dados com mais de 90 dias.

CREATE INDEX idx USING SEARCH ON search_table (storeId, goodsId, goodsPrice, orderTime)
PARTITION BY RANGE time(orderTime) PARTITIONS 4
WITH (
  indexState=ACTIVE,
  RANGE_TIME_PARTITION_START='30',
  RANGE_TIME_PARTITION_INTERVAL='7',
  RANGE_TIME_PARTITION_TTL='90'
);

Partições mensais, retenção de 6 meses, timestamps com precisão de segundos

As partições começam 180 dias antes da criação do índice. O sistema cria uma nova partição a cada 30 dias e exclui automaticamente dados com mais de 180 dias. A coluna orderTime armazena timestamps Unix em segundos (valores de 10 dígitos).

CREATE INDEX idx USING SEARCH ON search_table (storeId, goodsId, goodsPrice, orderTime)
PARTITION BY RANGE time(orderTime) PARTITIONS 4
WITH (
  indexState=ACTIVE,
  RANGE_TIME_PARTITION_START='180',
  RANGE_TIME_PARTITION_INTERVAL='30',
  RANGE_TIME_PARTITION_TTL='180',
  RANGE_TIME_PARTITION_FIELD_TIMEUNIT='s'
);

Parâmetros de particionamento por tempo