Lindorm:Partition index

Dimensionner correctement les partitions

Chaque partition doit contenir entre 50 millions et 100 millions d'enregistrements, pour une taille de stockage comprise entre 30 Go et 50 Go. Le nombre de partitions par défaut est le double du nombre de nœuds de recherche.

Créer un index partitionné par hachage

Par défaut (partition par clé primaire)

Sans clause PARTITION BY, l'index partitionne les données selon la clé primaire de la table large.

CREATE INDEX IF NOT EXISTS idx USING SEARCH ON search_table (storeId, goodsId, goodsPrice);

Partition par colonne spécifique

Partitionnez par storeId avec 64 partitions. Utilisez cette option lorsque les requêtes incluent toujours une condition d'égalité sur storeId.

CREATE INDEX IF NOT EXISTS idx USING SEARCH ON search_table (storeId, goodsId, goodsPrice)
PARTITION BY hash(storeId) PARTITIONS 64;

Utiliser le partitionnement multiniveau pour corriger la dissymétrie des données

Si la clé de partition principale entraîne une distribution inégale des données (points chauds), ajoutez une clé de partition secondaire pour répartir les données plus uniformément entre les partitions.

Fonctionnement

Chaque clé de partition reçoit un salt_factor — un petit entier qui contrôle la finesse du hachage de cette clé. Le nombre total de partitions doit être une puissance de 2 (2^N), et la somme de toutes les valeurs salt_factor doit être égale à N.

Par exemple, avec 2 milliards d'enregistrements et une cible de 50 millions d'enregistrements par partition, vous avez besoin d'environ 40 partitions. Arrondissez à 64 (2^6), donc N = 6 et les facteurs de salage doivent totaliser 6.

Compromis : Augmenter le salt_factor pour une clé améliore la distribution des données selon cette dimension, mais réduit la précision de l'élimination lors des requêtes basées sur une autre clé. Par exemple, si storeId a un salt_factor=2, les requêtes sur storeId seul éliminent 1/4 (1/2^2) de toutes les partitions. L'augmenter à salt_factor=3 permet d'éliminer 1/8 de toutes les partitions, mais laisse moins de place aux autres clés pour contribuer à la distribution.

Exemple de partitionnement par hachage multiniveau

Partitionnez par storeId (salt_factor=2) et goodsId (salt_factor=4), avec 64 partitions au total. Les lignes ayant le même storeId mais des valeurs goodsId différentes sont distribuées sur 1/4 de toutes les partitions.

CREATE INDEX IF NOT EXISTS idx USING SEARCH ON search_table (storeId, goodsId, goodsPrice)
PARTITION BY hash(storeId(salt_factor=2), goodsId(salt_factor=4)) PARTITIONS 64;

Utiliser `_id` comme clé de partition secondaire

Si aucune colonne métier secondaire appropriée n'est disponible, utilisez _id (la clé primaire composite de la table large) comme clé de partition secondaire pour résoudre les points chauds.

CREATE INDEX IF NOT EXISTS idx USING SEARCH ON search_table (storeId, goodsId, goodsPrice)
PARTITION BY hash(storeId(salt_factor=2), _id(salt_factor=4)) PARTITIONS 64;

Créer un index partitionné temporellement

Partitions hebdomadaires, conservation de 90 jours

Les partitions commencent 30 jours avant la création de l'index. Une nouvelle partition est créée tous les 7 jours. Les données datant de plus de 90 jours sont supprimées automatiquement.

CREATE INDEX idx USING SEARCH ON search_table (storeId, goodsId, goodsPrice, orderTime)
PARTITION BY RANGE time(orderTime) PARTITIONS 4
WITH (
  indexState=ACTIVE,
  RANGE_TIME_PARTITION_START='30',
  RANGE_TIME_PARTITION_INTERVAL='7',
  RANGE_TIME_PARTITION_TTL='90'
);

Partitions mensuelles, conservation de 6 mois, horodatages à la seconde près

Les partitions commencent 180 jours avant la création de l'index. Une nouvelle partition est créée tous les 30 jours. Les données datant de plus de 180 jours sont supprimées automatiquement. La colonne orderTime stocke les horodatages Unix en secondes (valeurs à 10 chiffres).

CREATE INDEX idx USING SEARCH ON search_table (storeId, goodsId, goodsPrice, orderTime)
PARTITION BY RANGE time(orderTime) PARTITIONS 4
WITH (
  indexState=ACTIVE,
  RANGE_TIME_PARTITION_START='180',
  RANGE_TIME_PARTITION_INTERVAL='30',
  RANGE_TIME_PARTITION_TTL='180',
  RANGE_TIME_PARTITION_FIELD_TIMEUNIT='s'
);

Paramètres du partitionnement temporel