Hologres:Automatic throttling for query queue (beta)

Casos de uso

Use a limitação automática nas seguintes situações:

• Consultas de alta simultaneidade e tamanho similar: Quando muitas consultas são executadas simultaneamente e cada solicitação consome recursos comparáveis, a limitação automática mantém a utilização da CPU estável abaixo de 100%.

  Se a simultaneidade de linha de base já for baixa, os ajustes dinâmicos podem fazer com que o uso da CPU oscile em um padrão de dente de serra, reduzindo a eficiência. Em casos extremos — como uma única consulta grande monopolizando o grupo de computação — a limitação automática não surte efeito.

• Tempo de espera na fila aceitável: As consultas que excedem o limite de simultaneidade ficam retidas na fila. Ative este recurso apenas se um aumento no tempo de resposta for tolerável.

• Picos de tráfego imprevisíveis: Caso não seja possível antecipar aumentos repentinos no volume de consultas ou provisionar previamente recursos adicionais de computação, a limitação automática reduz os riscos à estabilidade sem necessidade de intervenção manual.

Pré-requisitos

Antes de começar, verifique se você tem:

• Uma fila de consulta. Consulte Fila de consulta.

• Uma instância de grupo de computação executando Hologres V3.1 ou posterior. Instâncias de uso geral não suportam este recurso.

  Para usar este recurso em uma instância de uso geral, converta-a primeiro para uma instância de grupo de computação. Consulte Converter uma instância de uso geral em uma instância de grupo de computação .

Observações de uso

• A limitação automática aplica-se apenas a consultas roteadas por uma fila de consulta. Tipos de mecanismo afetados: HQE, PQE, SQE e HiveQE. Tipos de consulta afetados: SELECT, INSERT, UPDATE, DELETE e instruções INSERT geradas por COPY e CTAS.

• Consultas que usam um plano fixo ignoram a fila de consulta e não estão sujeitas aos limites de simultaneidade da limitação automática. Consulte Acelerar a execução de SQL com plano fixo. Para isolar consultas de plano fixo de outras cargas de trabalho, atribua-as a um grupo de computação dedicado. Consulte Guia de início rápido para instâncias de grupo de computação.

Configure a limitação automática

Configure a limitação automática primeiro no nível do grupo de computação e, opcionalmente, substitua-a no nível da fila de consulta.

-- Enable automatic throttling at the compute group level
CALL hg_set_warehouse_adaptive_concurrency_limiting ('<warehouse_name>', true);

-- Disable automatic throttling at the compute group level
CALL hg_set_warehouse_adaptive_concurrency_limiting ('<warehouse_name>', false);

-- Enable automatic throttling for a query queue (enabled by default when compute group level is on)
CALL hg_set_query_queue_property ('<warehouse_name>', '<query_queue_name>', 'enable_adaptive_concurrency_limiting', 'true');

-- Disable automatic throttling for a query queue (exempts this queue from throttling)
CALL hg_set_query_queue_property ('<warehouse_name>', '<query_queue_name>', 'enable_adaptive_concurrency_limiting', 'false');

-- Set the minimum concurrency floor (default: 1, minimum: 1)
CALL hg_set_query_queue_property ('<warehouse_name>', '<query_queue_name>', 'adaptive_concurrency_limiting_min_concurrency', '<min_concurrency>');

Monitorar a limitação automática

No Hologres Management Console, clique em ID da sua instância e acesse a página Monitoring Information. Visualize a métrica Compute Group CPU Utilization (%) para observar como a limitação automática ajusta a simultaneidade em resposta às mudanças de carga.

Exemplo

Este exemplo utiliza o pgbench, ferramenta nativa de benchmark do PostgreSQL, para demonstrar o efeito de ativar e desativar a limitação automática durante um teste de carga sustentada.

1. Crie tabelas de teste e carregue dados:

   CREATE TABLE tbl_1 (col1 INT, col2 INT, col3 TEXT);
   CREATE TABLE tbl_2 (col1 INT, col2 INT, col3 TEXT);
   INSERT INTO tbl_1 SELECT i, i+1, md5(RANDOM()::TEXT) FROM GENERATE_SERIES (0, 500000) AS i;
   INSERT INTO tbl_2 SELECT i, i+1, md5(RANDOM()::TEXT) FROM GENERATE_SERIES (0, 500000) AS i;

2. Defina a simultaneidade máxima da fila de consulta como 100. Este exemplo usa o grupo de computação init_warehouse e a fila de consulta default_queue:

   CALL hg_set_query_queue_property ('init_warehouse', 'default_queue', 'max_concurrency', '100');

3. No diretório bin do cliente pgbench, crie um arquivo SQL de benchmark chamado select.sql com a seguinte instrução:

   EXPLAIN ANALYZE SELECT * FROM tbl_1 LEFT JOIN tbl_2 ON tbl_1.col3 = tbl_2.col3 ORDER BY 1;

4. Defina sua senha como variável de ambiente no arquivo de configuração do servidor:

   export PGPASSWORD='<AccessKey_Secret>'

5. No diretório bin do cliente pgbench, execute o benchmark:

   ./pgbench \
     -c 30 \
     -j 30 \
     -f select.sql \
     -d <Database> \
     -U <AccessKey_ID> \
     -h <Endpoint> \
     -p <Port> \
     -T 1800

   Para obter detalhes sobre os parâmetros de conexão, consulte Conectar ao Hologres e desenvolver.

6. Enquanto o benchmark estiver em execução, alterne a limitação automática e observe a utilização da CPU no Hologres Management Console:

   -- Enable automatic throttling
   CALL hg_set_warehouse_adaptive_concurrency_limiting ('init_warehouse', true);
   
   -- Disable automatic throttling
   CALL hg_set_warehouse_adaptive_concurrency_limiting ('init_warehouse', false);

Resultados:

Com a limitação automática ativada, o sistema forma uma fila curta (~17 consultas pendentes) e estabiliza a CPU em ~80%, reduzindo significativamente o risco de exaustão de recursos em comparação à execução a 100% sem limitação.

Próximos passos

• Fila de consulta

• Guia de início rápido para instâncias de grupo de computação

• Guia do usuário do Serverless Computing