Hologres:Run read and write tasks with serverless computing

Configuração no nível de sessão

Defina hg_computing_resource no nível de sessão para direcionar todo o SQL da conexão atual para recursos serverless. Redefina o parâmetro imediatamente após a conclusão da tarefa para evitar o direcionamento não intencional de consultas subsequentes.

Utilize este método para:

• Tarefas pontuais, como backfills de dados históricos ou modificações de esquema/propriedades de tabela (via REBUILD).

• Tarefas periódicas de importação em lote (M+1, T+1 ou H+1).

• Cenários que exigem controle flexível de roteamento de recursos por sessão.

-- Route the current session to Serverless Computing resources.
-- Default value is local (uses instance resources).
SET hg_computing_resource = 'serverless';

-- Run your DML statement.
INSERT INTO sink_tbl SELECT * FROM source_tbl;

-- Reset after the task. This prevents subsequent SQL from using serverless resources unintentionally.
RESET hg_computing_resource;

Exemplo completo:

-- Data preparation
CREATE TABLE source_tbl (id int);
CREATE TABLE sink_tbl (id int);
INSERT INTO source_tbl SELECT * FROM generate_series(1, 99999999);

-- Route to serverless and run the task
SET hg_computing_resource = 'serverless';
INSERT INTO sink_tbl SELECT * FROM source_tbl;
RESET hg_computing_resource;

Configuração no nível de usuário

Configure todo o SQL iniciado por um usuário ou função específica para ser executado em recursos serverless por padrão. Este método tem prioridade sobre a configuração GUC no nível do banco de dados, mas cede à configuração no nível de sessão. Para mais detalhes, consulte Parâmetros GUC.

Este método é recomendado para:

• Superusuários ou outros usuários com altos privilégios cujas tarefas devem sempre utilizar recursos serverless.

• Contas de fonte de dados que alimentam painéis de alta prioridade.

-- Route all SQL from a specific user in a database to serverless resources.
ALTER USER "<role_name>" IN DATABASE <db_name> SET hg_computing_resource = 'serverless';

-- Revert the configuration.
ALTER USER "<role_name>" IN DATABASE <db_name> RESET hg_computing_resource;

Configuração no nível de Query Queue

Configure uma Query Queue inteira para direcionar todo o seu SQL para recursos serverless. Isso permite usar classificadores de Query Queue para atingir SQL específico por tipo, mecanismo, fingerprint SQL ou modo de armazenamento. Para mais detalhes, consulte Query Queue.

Exemplos de critérios de direcionamento:

• Por tipo de consulta: INSERT, SELECT, UPDATE, DELETE

• Por mecanismo de consulta: HQE, PQE, SQE, HiveQE. Por exemplo, direcione todas as tarefas SQE (consultas MaxCompute via FDW) para recursos serverless.

• Por fingerprint SQL: Se um padrão de consulta específico representar um risco à estabilidade, configure seu fingerprint SQL para sempre executar em recursos serverless.

• Por modo de armazenamento: Direcione todas as consultas de cold storage para recursos serverless.

Instância de uso geral:

-- Route all queries in the target queue to serverless resources.
CALL hg_set_query_queue_property('<query_queue_name>', 'computing_resource', 'serverless');

-- (Optional) Set the query priority for this queue when using serverless resources.
-- Valid values: 1-5. Default: 3.
CALL hg_set_query_queue_property('<query_queue_name>', 'query_priority_when_using_serverless_computing', '<priority>');

Instância de virtual warehouse:

-- Route all queries in the target queue to serverless resources.
CALL hg_set_query_queue_property('<warehouse_name>', '<query_queue_name>', 'computing_resource', 'serverless');

-- (Optional) Set the query priority for this queue when using serverless resources.
-- Valid values: 1-5. Default: 3.
CALL hg_set_query_queue_property('<warehouse_name>', '<query_queue_name>', 'query_priority_when_using_serverless_computing', '<priority>');

Serverless Computing adaptativo

O Hologres identifica automaticamente tarefas grandes e as direciona para recursos serverless, sem necessidade de configuração manual por consulta. Para mais detalhes, consulte Serverless Computing adaptativo.

Nova tentativa automática para tarefas grandes

Defina limiares para "consultas grandes", como consultas que excedem uma duração especificada ou causam erro OOM. O Hologres tenta automaticamente reexecutar essas consultas em recursos serverless. Essa abordagem reduz a carga nos serviços de produção, diminui a frequência de erros OOM e melhora a estabilidade do sistema. Para mais detalhes, consulte Controlar big queries.

SET hg_experimental_serverless_computing_query_priority = 5;
-- Run your task.
RESET hg_experimental_serverless_computing_query_priority;

ALTER USER "<role_name>" IN DATABASE <db_name> SET hg_experimental_serverless_computing_query_priority = 5;
-- Revert the configuration.
ALTER USER "<role_name>" IN DATABASE <db_name> RESET hg_experimental_serverless_computing_query_priority;

SET hg_computing_resource = 'serverless';
SET hg_experimental_serverless_computing_query_priority = 5;

INSERT INTO sink_tbl SELECT * FROM source_tbl;

RESET hg_computing_resource;
RESET hg_experimental_serverless_computing_query_priority;

SET hg_computing_resource = 'serverless';
EXPLAIN INSERT INTO sink_tbl SELECT * FROM source_tbl;
RESET hg_computing_resource;

                                        QUERY PLAN
------------------------------------------------------------------------------------------
 Gather  (cost=0.00..5.18 rows=100 width=4)
   ->  Insert  (cost=0.00..5.18 rows=100 width=4)
         ->  Redistribution  (cost=0.00..5.10 rows=100 width=4)
               ->  Local Gather  (cost=0.00..5.10 rows=100 width=4)
                     ->  Decode  (cost=0.00..5.10 rows=100 width=4)
                           ->  Seq Scan on source_tbl  (cost=0.00..5.00 rows=100 width=4)
 Computing Resource: Serverless
 Optimizer: HQO version 2.1.0
(8 rows)