Hologres:Gerenciar virtual warehouses

Scale up (dimensionamento vertical)

O scale up aumenta a alocação de CUs por virtual warehouse. A instância deve ter recursos não alocados suficientes antes de realizar o scale up. Se necessário, dimensione a instância primeiro.

Impacto em consultas e gravações em execução

O aumento de recursos da instância não afeta consultas e gravações em execução no momento. No entanto, a alocação de recursos para virtual warehouses gera os seguintes impactos:

• A partir da V3.0.28: consultas e gravações não são interrompidas durante o scale-up e scale-out. Tarefas do Flink podem falhar e tentar nova execução.

• V2.2 a V3.0.28: consultas e gravações são interrompidas por cerca de 15 segundos devido ao rebalanceamento automático.

• Antes da V2.2: consultas e gravações são interrompidas por cerca de 15 segundos após o rebalanceamento manual.

Transações DML de múltiplas linhas são interrompidas durante o scale-up, independentemente da versão. Isso inclui transações com hg_experimental_enable_transaction ativado, instruções nativas de INSERT OVERWRITE e atualizações incrementais de Dynamic Tables .

-- Scale up the warehouse
CALL hg_alter_warehouse ('read_warehouse_1', 64);

-- Wait for the warehouse to be running
SELECT wait_until_warehouse_running ('read_warehouse_1');

-- Redistribute shards
SELECT hg_rebalance_warehouse ('read_warehouse_1');

-- Wait for rebalancing to complete
SELECT hg_wait_until_rebalance_warehouse_done ('read_warehouse_1');

Scale down (dimensionamento vertical)

O scale down aciona primeiro o rebalanceamento de shards, migrando-os dos pods que serão desativados e, em seguida, removendo esses pods. Os recursos liberados retornam ao pool de recursos não alocados da instância.

Impacto em consultas e gravações em execução

• A partir da V3.1 (Beta):

  • Consultas e gravações principais não são interrompidas.

  • Conexões nos pods que estão sendo desativados sofrem uma desconexão transitória de alguns segundos.

  • Tarefas do Flink podem falhar e tentar nova execução.

  • Se uma consulta ou gravação extensa estiver em execução na virtual warehouse quando o scale-down for acionado e precisar continuar por mais de 60 minutos, ela apresentará erro 60 minutos após o início do scale-down.

• Antes da V3.1: consultas e gravações são interrompidas por aproximadamente 15 segundos durante o rebalanceamento.

Transações DML de múltiplas linhas são interrompidas durante o scale-down, independentemente da versão. Isso inclui transações com hg_experimental_enable_transaction ativado, instruções nativas de INSERT OVERWRITE e atualizações incrementais de Dynamic Tables .

Após o scale-down, use os recursos liberados para criar novas virtual warehouses, dimensionar outras warehouses ou liberar recursos da instância.

Scale out (dimensionamento horizontal)

O scale out adiciona mais clusters à virtual warehouse. Aplicam-se as mesmas observações de uso do scale-up.

Scale in (dimensionamento horizontal)

O scale in reduz o número de clusters na virtual warehouse. Aplicam-se as mesmas observações de uso do scale-down.

Visualizar virtual warehouses

-- View all virtual warehouses in the current instance
SELECT * FROM hologres.hg_warehouses;

-- View the virtual warehouse currently in use
SELECT current_warehouse();

A tabela de sistema hologres.hg_warehouses contém as seguintes colunas:

Parar uma virtual warehouse

Não é possível parar a virtual warehouse padrão (init_warehouse) nem uma virtual warehouse primária cujo grupo de tabelas possua uma virtual warehouse secundária.

A parada é assíncrona. Use hg_get_warehouse_status para verificar se a warehouse parou.

CALL hg_suspend_warehouse ('<warehouse_name>');

Retomar uma virtual warehouse

A retomada de uma virtual warehouse é assíncrona. Use hg_get_warehouse_status para verificar se a warehouse está em execução antes de enviar consultas.

CALL hg_resume_warehouse ('<warehouse_name>');

Reiniciar uma virtual warehouse

A reinicialização de uma virtual warehouse é assíncrona. Use hg_get_warehouse_status para verificar se a warehouse está em execução antes de enviar consultas.

CALL hg_restart_warehouse('<warehouse_name>');

Verificar o status da virtual warehouse

Todas as operações de criação, dimensionamento, parada, retomada e reinicialização são assíncronas. Use as funções a seguir para monitorar o status.

-- Get the current status of a virtual warehouse
select hg_get_warehouse_status('<warehouse_name>');

Para bloquear a execução até que uma virtual warehouse atinja o estado Running, use wait_until_warehouse_running:

select wait_until_warehouse_running('<warehouse_name>', <timeout_seconds>);

Exemplo: Dimensionar warehouse_1 antes de um carregamento de dados e depois reduzir sua capacidade.

-- Scale up to 64 CUs
CALL hg_alter_warehouse ('warehouse_1', 64);

-- Wait until running
SELECT wait_until_warehouse_running('warehouse_1');

-- Run the data load
INSERT INTO res_data SELECT * FROM org_data;

-- Scale back down to 32 CUs
CALL hg_alter_warehouse ('warehouse_1', 32);

Renomear uma virtual warehouse

CALL hg_rename_warehouse('<org_warehouse_name>', '<new_warehouse_name>');

Rebalancear uma virtual warehouse

Em condições normais, os nós workers de uma virtual warehouse carregam metadados de shards de forma equilibrada. Após recuperação rápida, scale-up ou scale-out, os shards podem ficar distribuídos de maneira desigual. Acione um rebalanceamento para redistribuir os shards, garantindo que cada nó worker carregue uma quantidade aproximadamente igual.

• A partir da V2.1: O Hologres aciona automaticamente o rebalanceamento quando uma warehouse possui nós workers vazios.

• A partir da V2.2: Consultas SELECT executadas durante o rebalanceamento são tentadas novamente de forma automática, evitando erros como ERROR: fail to execute query internal error: Get rundown is not allowed in recovering state.

Uma operação de rebalanceamento geralmente leva de 2 a 3 minutos, dependendo do número de grupos de tabelas. As operações de escrita são interrompidas por aproximadamente 15 segundos durante o rebalanceamento.

Sintaxe

SELECT hg_rebalance_warehouse ('<warehouse_name>');

Valores de retorno

Quando a diferença no número de shards carregados por cada nó worker for igual ou inferior a 1, isso indica que o rebalanceamento terminou. Por exemplo:

• 2 workers, 2 shards: cada worker carrega 1 shard.

• 2 workers, 3 shards: um worker carrega 1 shard e o outro carrega 2 shards.

Como o rebalanceamento é assíncrono, monitore o progresso com:

SELECT hg_get_rebalance_warehouse_status('<warehouse_name>');

DOING significa que o rebalanceamento está em andamento. DONE indica que foi concluído.

Definir o tempo limite de instrução para uma virtual warehouse

O tempo limite no nível da virtual warehouse tem prioridade menor do que as configurações no nível de sessão e de banco de dados. Para tornar efetiva a configuração no nível da warehouse, redefina primeiro a configuração no nível do banco de dados.

-- Reset the database-level setting
ALTER DATABASE <db_name> RESET statement_timeout;

-- Set the timeout for the virtual warehouse (value in milliseconds)
CALL hg_alter_warehouse ('<warehouse_name>', <cu>, '{"configs":{"gucs":{"statement_timeout":"600000"}}}');

Para mais informações sobre statement_timeout e outros parâmetros GUC, consulte Parâmetros GUC.