Hologres:Manage virtual warehouses

Mise à l'échelle verticale ascendante (Scale up)

La mise à l'échelle ascendante augmente l'allocation de CU par entrepôt virtuel. L'instance doit disposer de suffisamment de ressources non allouées avant que vous ne puissiez augmenter l'échelle d'un entrepôt virtuel. Augmentez d'abord l'échelle de l'instance si nécessaire.

Impact sur les requêtes et les écritures en cours d'exécution

L'augmentation des ressources de l'instance n'affecte pas les requêtes et les écritures actuellement en cours d'exécution. L'allocation de ressources aux entrepôts virtuels a les impacts suivants :

• À partir de la version V3.0.28 : les requêtes et les écritures ne sont pas interrompues lors de la mise à l'échelle ascendante et horizontale ascendante. Les tâches Flink peuvent échouer et être relancées.

• Versions V2.2 à V3.0.28 : les requêtes et les écritures sont interrompues pendant environ 15 secondes, en raison du rééquilibrage automatique.

• Avant la version V2.2 : les requêtes et les écritures sont interrompues pendant environ 15 secondes après le rééquilibrage manuel.

Les transactions DML multi-lignes sont interrompues lors de la mise à l'échelle ascendante, quelle que soit la version. Cela inclut les transactions avec hg_experimental_enable_transaction activé, les instructions natives INSERT OVERWRITE et les actualisations incrémentielles des Dynamic Tables .

-- Scale up the warehouse
CALL hg_alter_warehouse ('read_warehouse_1', 64);

-- Wait for the warehouse to be running
SELECT wait_until_warehouse_running ('read_warehouse_1');

-- Redistribute shards
SELECT hg_rebalance_warehouse ('read_warehouse_1');

-- Wait for rebalancing to complete
SELECT hg_wait_until_rebalance_warehouse_done ('read_warehouse_1');

Mise à l'échelle verticale descendante (Scale down)

La mise à l'échelle descendante déclenche d'abord le rééquilibrage des shards, en migrant les shards hors des pods qui seront mis hors ligne, puis supprime ces pods. Les ressources libérées retournent au pool de ressources non allouées de l'instance.

Impact sur les requêtes et les écritures en cours d'exécution

• À partir de la version V3.1 (Beta) :

  • Les requêtes et écritures principales ne sont pas interrompues.

  • Les connexions sur les pods mis hors ligne subissent une déconnexion transitoire de quelques secondes.

  • Les tâches Flink peuvent échouer et être relancées.

  • Si une requête ou une écriture volumineuse est en cours d'exécution sur l'entrepôt virtuel lorsque la mise à l'échelle descendante est déclenchée et doit se poursuivre pendant plus de 60 minutes, elle générera une erreur 60 minutes après le début de la mise à l'échelle descendante.

• Avant la version V3.1 : les requêtes et les écritures sont interrompues pendant environ 15 secondes lors du rééquilibrage.

Les transactions DML multi-lignes sont interrompues lors de la mise à l'échelle descendante, quelle que soit la version. Cela inclut les transactions avec hg_experimental_enable_transaction activé, les instructions natives INSERT OVERWRITE et les actualisations incrémentielles des Dynamic Tables .

Après la mise à l'échelle descendante, utilisez les ressources libérées pour créer de nouveaux entrepôts virtuels, augmenter l'échelle d'autres entrepôts ou libérer des ressources de l'instance.

Mise à l'échelle horizontale ascendante (Scale out)

La mise à l'échelle horizontale ascendante ajoute davantage de clusters à l'entrepôt virtuel. Les mêmes notes d'utilisation que pour la mise à l'échelle verticale ascendante s'appliquent.

Mise à l'échelle horizontale descendante (Scale in)

La mise à l'échelle horizontale descendante réduit le nombre de clusters dans l'entrepôt virtuel. Les mêmes notes d'utilisation que pour la mise à l'échelle verticale descendante s'appliquent.

Afficher les entrepôts virtuels

-- View all virtual warehouses in the current instance
SELECT * FROM hologres.hg_warehouses;

-- View the virtual warehouse currently in use
SELECT current_warehouse();

La table système hologres.hg_warehouses contient les colonnes suivantes :

Arrêter un entrepôt virtuel

Vous ne pouvez pas arrêter l'entrepôt virtuel par défaut (init_warehouse) ni un entrepôt virtuel principal dont le groupe de tables possède un entrepôt virtuel secondaire.

L'arrêt est asynchrone. Utilisez hg_get_warehouse_status pour vérifier que l'entrepôt est arrêté.

CALL hg_suspend_warehouse ('<warehouse_name>');

Reprendre un entrepôt virtuel

La reprise d'un entrepôt virtuel est asynchrone. Utilisez hg_get_warehouse_status pour vérifier que l'entrepôt est en cours d'exécution avant d'envoyer des requêtes.

CALL hg_resume_warehouse ('<warehouse_name>');

Redémarrer un entrepôt virtuel

Le redémarrage d'un entrepôt virtuel est asynchrone. Utilisez hg_get_warehouse_status pour vérifier que l'entrepôt est en cours d'exécution avant d'envoyer des requêtes.

CALL hg_restart_warehouse('<warehouse_name>');

Vérifier l'état de l'entrepôt virtuel

Toutes les opérations de création, de mise à l'échelle, d'arrêt, de reprise et de redémarrage sont asynchrones. Utilisez les fonctions suivantes pour surveiller l'état.

-- Get the current status of a virtual warehouse
select hg_get_warehouse_status('<warehouse_name>');

Pour bloquer l'exécution jusqu'à ce qu'un entrepôt virtuel atteigne l'état Running, utilisez wait_until_warehouse_running :

select wait_until_warehouse_running('<warehouse_name>', <timeout_seconds>);

Exemple : augmentez l'échelle de warehouse_1 avant un chargement de données, puis réduisez-la.

-- Scale up to 64 CUs
CALL hg_alter_warehouse ('warehouse_1', 64);

-- Wait until running
SELECT wait_until_warehouse_running('warehouse_1');

-- Run the data load
INSERT INTO res_data SELECT * FROM org_data;

-- Scale back down to 32 CUs
CALL hg_alter_warehouse ('warehouse_1', 32);

Renommer un entrepôt virtuel

CALL hg_rename_warehouse('<org_warehouse_name>', '<new_warehouse_name>');

Rééquilibrer un entrepôt virtuel

Dans des conditions normales, les nœuds de travail d'un entrepôt virtuel chargent uniformément les métadonnées des shards. Après une récupération rapide, une mise à l'échelle ascendante ou horizontale ascendante, les shards peuvent être répartis de manière inégale. Déclenchez un rééquilibrage pour redistribuer les shards afin que chaque nœud de travail charge un nombre approximativement égal de shards.

• À partir de la version V2.1 : Hologres déclenche automatiquement le rééquilibrage lorsqu'un entrepôt comporte des nœuds de travail vides.

• À partir de la version V2.2 : les requêtes SELECT exécutées pendant le rééquilibrage sont automatiquement relancées, ce qui évite des erreurs telles que ERROR: fail to execute query internal error: Get rundown is not allowed in recovering state.

Une opération de rééquilibrage prend généralement 2 à 3 minutes, selon le nombre de groupes de tables. Les opérations d'écriture sont interrompues pendant environ 15 secondes lors du rééquilibrage.

Syntaxe

SELECT hg_rebalance_warehouse ('<warehouse_name>');

Valeurs de retour

Lorsque la différence du nombre de shards chargés par chaque nœud de travail est inférieure ou égale à 1, cela signifie que le rééquilibrage est terminé. Par exemple :

• 2 nœuds de travail, 2 shards : chaque nœud charge 1 shard.

• 2 nœuds de travail, 3 shards : un nœud charge 1 shard et l'autre en charge 2.

Étant donné que le rééquilibrage est asynchrone, surveillez la progression avec :

SELECT hg_get_rebalance_warehouse_status('<warehouse_name>');

DOING signifie que le rééquilibrage est en cours. DONE signifie qu'il est terminé.

Définir le délai d'expiration des instructions pour un entrepôt virtuel

Le délai d'expiration au niveau de l'entrepôt virtuel a une priorité inférieure aux configurations au niveau de la session et de la base de données. Pour que le paramètre au niveau de l'entrepôt prenne effet, réinitialisez d'abord la configuration au niveau de la base de données.

-- Reset the database-level setting
ALTER DATABASE <db_name> RESET statement_timeout;

-- Set the timeout for the virtual warehouse (value in milliseconds)
CALL hg_alter_warehouse ('<warehouse_name>', <cu>, '{"configs":{"gucs":{"statement_timeout":"600000"}}}');

Pour plus d'informations sur statement_timeout et d'autres paramètres GUC, consultez Paramètres GUC.