Hologres:Prise en main des index Hologres

Fonctionnement de Hologres

Hologres est un entrepôt de données distribué qui utilise le calcul parallèle et vectoriel pour fournir des réponses aux requêtes en quelques secondes. Cette architecture rend la distribution des données cruciale pour les performances. Cela inclut l'équilibrage des données entre les nœuds distribués, régi par la distribution key, ainsi que l'ordre des données au sein des fichiers sur un nœud unique, régi par la event time column (également appelée segment key). Par défaut, Hologres utilise un format de stockage en colonnes pour les scénarios OLAP (traitement analytique en ligne), ce qui rend l'ordre des données dans un fichier, défini par la clustering key, tout aussi essentiel. La maîtrise de ces trois concepts est la clé de l'optimisation des performances. Étant donné que ces propriétés de disposition des données sont définies lors de l'écriture des données et qu'il est coûteux de les modifier, nous vous recommandons de concevoir vos tables avec ces trois attributs dès le départ. Les attributs qui n'affectent pas directement la disposition des données, tels que les bitmap indexes et l'dictionary encoding, peuvent être ajustés ultérieurement selon les besoins.

Hologres utilise une structure de métadonnées à trois niveaux : Database > Schema > Table. Pour éviter les requêtes inter-bases de données, nous vous recommandons de regrouper les tables logiquement liées sous le même schéma. Une base de données constitue une unité de base pour l'isolation des métadonnées, et non pour l'isolation des ressources.

Principes de base de l'optimisation SQL

La conception de tables avec une stratégie de distribution des données appropriée permet aux requêtes SQL de localiser rapidement les données. Cette approche réduit les E/S, consomme moins de ressources de calcul et offre de meilleures performances de requête. Une distribution équilibrée des données garantit également une utilisation efficace des ressources concurrentes, évitant ainsi les goulots d'étranglement ponctuels. Le diagramme suivant illustre la manière dont une requête SQL récupère les données et réduit les E/S.

• Élimination des partitions (Partition pruning) : Lorsqu'une requête SQL cible une table partitionnée, l'optimiseur de requête utilise l'élimination des partitions pour localiser les partitions pertinentes. Si les conditions de filtre de la requête n'incluent pas la clé de partition, la requête doit analyser toutes les partitions, ce qui entraîne des E/S excessives. En règle générale, le partitionnement par jour est une bonne pratique. L'élimination des partitions est ignorée pour les tables non partitionnées.

• Élimination des shards (Shard pruning) : Utilisez la clé de distribution pour localiser rapidement le shard de données contenant les informations requises. Cela réduit la consommation de ressources pour une seule requête et prend en charge un débit plus élevé pour les requêtes concurrentes. Si un shard spécifique ne peut pas être localisé, le framework distribué planifie tous les shards pour participer au calcul. Cela augmente le parallélisme pour une seule requête, mais utilise davantage de ressources et réduit la concurrence globale. Certains opérateurs nécessitant une exécution centralisée peuvent également introduire une surcharge supplémentaire liée au brassage des données (shuffle). En tant que bonne pratique, choisissez des colonnes avec une distribution de données uniforme, telles que les ID de commande, les ID utilisateur ou les ID d'événement, comme clé de distribution. Si plusieurs tables devant être jointes partagent la même clé de distribution, les données connexes sont collocées sur le même shard. Cela permet des opérations de jointure locale efficaces.

• Élimination des segments (Segment key pruning) : Utilisez la clé de segment (colonne d'heure d'événement) pour localiser rapidement le fichier de données spécifique au sein d'un nœud, ce qui évite d'accéder à des fichiers inutiles. Si les données ne peuvent pas être filtrées à ce niveau, tous les fichiers doivent être analysés.

• Élimination basée sur la clé de clustering (Clustering key pruning) : Utilisez la clé de clustering pour localiser rapidement les segments de données au sein d'un seul fichier. Cela améliore l'efficacité des requêtes de plage et du tri des colonnes.

Optimisation SQL en pratique

Cette section utilise les requêtes TPC-H pour démontrer comment configurer les index Hologres afin d'améliorer les performances des requêtes. Pour plus d'informations sur TPC-H, consultez le Test plan overview.

--TPC-H Q1
SELECT
        l_returnflag,
        l_linestatus,
        SUM(l_quantity) AS sum_qty,
        SUM(l_extendedprice) AS sum_base_price,
        SUM(l_extendedprice * (1 - l_discount)) AS sum_disc_price,
        SUM(l_extendedprice * (1 - l_discount) * (1 + l_tax)) AS sum_charge,
        AVG(l_quantity) AS avg_qty,
        AVG(l_extendedprice) AS avg_price,
        AVG(l_discount) AS avg_disc,
        COUNT(*) AS count_order
FROM
        lineitem
WHERE
        l_shipdate <= DATE '1998-12-01' - INTERVAL '120' DAY
GROUP BY
        l_returnflag,
        l_linestatus
ORDER BY
        l_returnflag,
        l_linestatus;

Résultats des tests de performance

Cette section compare les performances des requêtes avant et après la configuration des propriétés de table recommandées (index).

• Environnement de test

  • Spécification de l'instance : 32 cœurs

  • Type de réseau : VPC

  • Exécutez chaque requête deux fois à l'aide d'un client PSQL et enregistrez la latence de la deuxième exécution.

• Conclusion

  • Pour les requêtes filtrées sur une seule table, la définition de la colonne de filtre comme clé de clustering accélère efficacement la requête.

  • Pour les requêtes de jointure multi-tables, la définition des colonnes de jointure comme clé de distribution améliore considérablement l'efficacité de la jointure.

  Query	Latency with indexes	Latency without indexes
  Q1	48 293 ms	59 483 ms
  Q4	822 389 ms	3027.957 ms

Références

• Hologres TPC-H performance test

• Hologres distribution key

• Hologres clustering key

Plus d'informations