Hologres:Gerencie virtual warehouses

Scale up (dimensionamento vertical)

O scale up aumenta a alocação de CUs por virtual warehouse. A instância deve ter recursos não alocados suficientes antes de realizar o scale up de uma virtual warehouse. Se necessário, dimensione a instância primeiro.

Impacto em consultas e gravações em execução

O aumento de recursos da instância não afeta consultas e gravações em execução no momento. No entanto, a alocação de recursos para virtual warehouses gera os seguintes impactos:

• A partir da V3.0.28: consultas e gravações não são interrompidas durante o scale-up e scale-out. Tarefas do Flink podem falhar e tentar novamente.

• Da V2.2 até a V3.0.28: consultas e gravações são interrompidas por cerca de 15 segundos devido ao rebalanceamento automático.

• Antes da V2.2: consultas e gravações são interrompidas por cerca de 15 segundos após o rebalanceamento manual.

Transações DML de múltiplas linhas são interrompidas durante o scale-up, independentemente da versão. Isso inclui transações com hg_experimental_enable_transaction ativado, instruções nativas INSERT OVERWRITE e atualizações incrementais de Dynamic Tables .

-- Scale up the warehouse
CALL hg_alter_warehouse ('read_warehouse_1', 64);

-- Wait for the warehouse to be running
SELECT wait_until_warehouse_running ('read_warehouse_1');

-- Redistribute shards
SELECT hg_rebalance_warehouse ('read_warehouse_1');

-- Wait for rebalancing to complete
SELECT hg_wait_until_rebalance_warehouse_done ('read_warehouse_1');

Scale down (dimensionamento vertical)

O scale down aciona primeiro o rebalanceamento de shards, migrando-os dos pods que serão desativados e, em seguida, removendo esses pods. Os recursos liberados retornam ao pool de recursos não alocados da instância.

Impacto em consultas e gravações em execução

• V3.1 e posterior (Beta): as principais consultas e gravações não são interrompidas. Erros ou desconexões transitórias ocorrem apenas nos seguintes casos:

  • Na V3.1, todas as conexões nos pods que estão sendo desativados são desconectadas por alguns segundos. Na V4.0 e posterior, apenas conexões que criaram tabelas temporárias e conexões que consomem binlogs são desconectadas.

  • Jobs do Flink e Holo Client podem falhar e tentar novamente.

  • Transações DML de múltiplas linhas são interrompidas. Isso inclui transações com hg_experimental_enable_transaction ativado, instruções nativas INSERT OVERWRITE e atualizações incrementais de Dynamic Tables.

  • Se uma consulta grande, gravação extensa ou transação de longa duração estiver em andamento quando o scale-down iniciar e precisar de mais de 60 minutos para concluir, ela falhará 60 minutos após o início do scale-down.

• Versões anteriores à V3.1: consultas e gravações são interrompidas por vários minutos durante o scale-down.

Após o scale-down, utilize os recursos liberados para criar novas virtual warehouses, dimensionar outras warehouses verticalmente ou liberar recursos da instância.

Scale out (dimensionamento horizontal)

O scale out adiciona mais clusters à virtual warehouse. Aplicam-se as mesmas observações de uso do scale-up.

Scale in (dimensionamento horizontal)

O scale in reduz o número de clusters na virtual warehouse. Aplicam-se as mesmas observações de uso do scale-down.

Visualize virtual warehouses

-- View all virtual warehouses in the current instance
SELECT * FROM hologres.hg_warehouses;

-- View the virtual warehouse currently in use
SELECT current_warehouse();

A tabela de sistema hologres.hg_warehouses contém as seguintes colunas:

Parar uma virtual warehouse

Não é possível parar a virtual warehouse padrão (init_warehouse) nem uma virtual warehouse primária cujo table group possua uma virtual warehouse secundária.

A parada é assíncrona. Use hg_get_warehouse_status para verificar se a warehouse parou.

CALL hg_suspend_warehouse ('<warehouse_name>');

Retomar uma virtual warehouse

A retomada de uma virtual warehouse é assíncrona. Use hg_get_warehouse_status para verificar se a warehouse está em execução antes de enviar consultas.

CALL hg_resume_warehouse ('<warehouse_name>');

Reiniciar uma virtual warehouse

A reinicialização de uma virtual warehouse é assíncrona. Use hg_get_warehouse_status para verificar se a warehouse está em execução antes de enviar consultas.

CALL hg_restart_warehouse('<warehouse_name>');

Verifique o status da virtual warehouse

Todas as operações de criação, dimensionamento, parada, retomada e reinicialização são assíncronas. Use as funções a seguir para monitorar o status.

-- Get the current status of a virtual warehouse
select hg_get_warehouse_status('<warehouse_name>');

Para bloquear a execução até que uma virtual warehouse atinja o estado Running, use wait_until_warehouse_running:

select wait_until_warehouse_running('<warehouse_name>', <timeout_seconds>);

Exemplo: Faça o scale up de warehouse_1 antes de carregar dados e, em seguida, faça o scale down.

-- Scale up to 64 CUs
CALL hg_alter_warehouse ('warehouse_1', 64);

-- Wait until running
SELECT wait_until_warehouse_running('warehouse_1');

-- Run the data load
INSERT INTO res_data SELECT * FROM org_data;

-- Scale back down to 32 CUs
CALL hg_alter_warehouse ('warehouse_1', 32);

Renomear uma virtual warehouse

CALL hg_rename_warehouse('<org_warehouse_name>', '<new_warehouse_name>');

Rebalancear uma virtual warehouse

Em condições normais, os nós worker em uma virtual warehouse carregam metadados de shards de forma equilibrada. Após uma recuperação rápida, scale-up ou scale-out, os shards podem ficar distribuídos de maneira desigual. Acione um rebalanceamento para redistribuir os shards, garantindo que cada nó worker carregue uma quantidade aproximadamente igual.

• A partir da V2.1: O Hologres aciona automaticamente o rebalanceamento quando uma warehouse possui nós worker vazios.

• A partir da V2.2: Consultas SELECT executadas durante o rebalanceamento são tentadas novamente automaticamente, evitando erros como ERROR: fail to execute query internal error: Get rundown is not allowed in recovering state.

Uma operação de rebalanceamento geralmente leva de 2 a 3 minutos, dependendo do número de table groups. As operações de gravação são interrompidas por aproximadamente 15 segundos durante o rebalanceamento.

Sintaxe

SELECT hg_rebalance_warehouse ('<warehouse_name>');

Valores de retorno

Quando a diferença no número de shards carregados por cada nó worker for igual ou inferior a 1, isso indica que o rebalanceamento terminou. Por exemplo:

• 2 workers, 2 shards: cada worker carrega 1 shard.

• 2 workers, 3 shards: um worker carrega 1 shard e o outro carrega 2 shards.

Como o rebalanceamento é assíncrono, monitore o progresso com:

SELECT hg_get_rebalance_warehouse_status('<warehouse_name>');

DOING significa que o rebalanceamento está em andamento. DONE indica que foi concluído.

Defina o tempo limite de instrução para uma virtual warehouse

O tempo limite no nível da virtual warehouse tem prioridade menor do que as configurações no nível de sessão e de banco de dados. Para tornar a configuração no nível da warehouse efetiva, primeiro redefina a configuração no nível do banco de dados.

-- Reset the database-level setting
ALTER DATABASE <db_name> RESET statement_timeout;

-- Set the timeout for the virtual warehouse (value in milliseconds)
CALL hg_alter_warehouse ('<warehouse_name>', <cu>, '{"configs":{"gucs":{"statement_timeout":"600000"}}}');

Para mais informações sobre statement_timeout e outros parâmetros GUC, consulte GUC parameters.