PolarDB:Utiliser le MPP multi-nœud pour accélérer l'analyse de données massives

Clés de partitionnement

PolarDB prend en charge les partitions de niveau 1 et de niveau 2 via les stratégies de partitionnement HASH ou KEY. Le MPP multi-nœud repose sur une architecture « share-nothing » où chaque partition est attribuée à un seul nœud. Cela implique que :

• Chaque nœud met en cache uniquement ses propres partitions, ce qui optimise l'utilisation de la mémoire.

• Les opérations JOIN et GROUP BY portant sur les clés de partitionnement sont traitées localement sur chaque nœud, ce qui élimine les transferts de données inter-nœuds.

Pour tirer parti de cette architecture :

• Créez des partitions HASH ou KEY de niveau 1 ou 2 sur les colonnes les plus fréquemment utilisées dans les requêtes JOIN et GROUP BY.

• Maintenez un nombre de partitions identique pour toutes les tables HASH et KEY. Si deux tables possèdent un nombre de partitions différent, les opérations JOIN entre celles-ci nécessitent des transferts de données inter-nœuds et ne peuvent pas être traitées localement.

• Privilégiez un grand nombre premier comme nombre de partitions afin de réduire la distribution inégale des données et d'améliorer l'utilisation des ressources.

Clés de tri

Pour les requêtes filtrant de grands volumes de données, créez des partitions RANGE ou ajoutez des clés de tri au stockage en colonnes. Appliquez ces partitions RANGE et clés de tri aux colonnes présentes dans les prédicats de la clause WHERE.

Par exemple, pour la condition de requête WHERE date > '2024-10-01' AND date < '2024-10-07' AND customer_id = 'X231' :

• Créez des partitions RANGE sur la colonne date pour ignorer des plages entières de partitions lors de l'analyse.

• Ajoutez des clés de tri IMCI sur la colonne customer_id afin d'éviter le parcours des segments de lignes ne correspondant pas au prédicat.

La combinaison de ces techniques réduit le volume de données à analyser et améliore le temps de réponse des requêtes. Pour plus d'informations, consultez Présentation d'IMCI et Configurer les clés de tri pour les index columnstore.

Étape 1 : Vérifier la compatibilité d'une requête avec le MPP

Ajoutez l'indicateur SET_VAR(imci_plan_use_mpp=forced) pour forcer l'optimiseur à générer un plan d'exécution MPP. Si le plan résultant contient un opérateur Exchange, la requête prend en charge l'exécution MPP multi-nœud.

EXPLAIN SELECT /*+ SET_VAR(imci_plan_use_mpp=forced) */ COUNT(*) FROM nation;

Exemple de sortie :

+----+----------------------------+--------+---------------------------------------------------------------------------------+
| ID | Operator                   | Name   | Extra Info                                                                      |
+----+----------------------------+--------+---------------------------------------------------------------------------------+
|  1 | Select Statement           |        | IMCI Execution Plan (max_dop = 11, max_query_mem = 37438953472)                 |
|  2 | └─Compute Scalar           |        |                                                                                 |
|  3 |   └─Aggregation            |        |                                                                                 |
|  4 |     └─Consume              |        | Consume ProducerPipeId: 1                                                       |
|  5 |       └─Exchange           |        | PipeId: 1, Consumers: 23377031, Producers: 23377031,23377032, Part Type: Gather |
|  6 |         └─Aggregation      |        |                                                                                 |
|  7 |           └─Table Scan     | nation |                                                                                 |
+----+----------------------------+--------+---------------------------------------------------------------------------------+

La présence de l'opérateur Exchange à la ligne 5 confirme que la requête peut s'exécuter en parallèle sur plusieurs nœuds.

Étape 2 : Vérifier le choix automatique du MPP par l'optimiseur

Une fois confirmé qu'une instruction SQL peut bénéficier du MPP multi-nœud, examinez son plan d'exécution pour vérifier si ce mode sera effectivement utilisé. La présence de l'opérateur Exchange dans le plan indique que l'instruction SQL sera exécutée en parallèle via le MPP multi-nœud.