PolarDB:Parallel refresh

Funcionamento

1. O PolarDB seleciona um nó remoto (nó somente leitura de índice column-store ou row-store) com base na política de offloading e estabelece uma conexão.

2. O nó primário (RW) envia a consulta de definição da materialized view ao nó remoto para execução.

3. O nó remoto transmite o conjunto de resultados de volta. Há suporte à transmissão de dados compactados.

4. O nó primário (RW) cria múltiplas threads de worker. Cada thread busca linhas em paralelo e as grava em diferentes partições da tabela contêiner.

Recursos

• A computação da consulta ocorre no nó remoto e não consome recursos de CPU no nó primário (RW).

• As operações de gravação ocorrem localmente no nó primário (RW) para garantir consistência transacional.

• Em cenários de tabelas largas, o comprimento da linha não afeta a eficiência paralela.

• Suporta multi-primary cluster (Limitless).

Uso

Após configurar os parâmetros, execute o seguinte comando para atualizar a materialized view:

-- Refresh the materialized view
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

Funcionamento (offloading MPP para nó somente leitura de índice column-store remoto quando a política de offloading é FORCE_IMCI)

1. O sistema agenda PQ Workers em um nó somente leitura de índice column-store remoto para realizar uma varredura SELECT.

2. Os PQ Workers enviam os resultados da varredura ao nó primário (RW) pela rede interna, que suporta compactação.

3. Múltiplos PQ Workers varrem os dados da tabela de source em paralelo no nó primário (RW).

4. Os PQ Workers gravam os resultados da varredura em paralelo nas partições da tabela contêiner.

5. Por fim, o nó primário (RW) conclui a gravação de dados localmente.

Recursos

• Paralelismo de ponta a ponta: Um único plano de execução paralela lida com varreduras e gravações.

• Dimensionamento quase linear para tabelas estreitas.

• Evita a limitação de transferência de rede de porta única do ETL.

• Atualmente sem suporte em clusters Limitless. A operação reverte automaticamente para execução serial.

Compactação de rede (cenário de offloading MPP)

Procedimento

-- Perform the refresh
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

-- 1. On the primary (RW) node, disable its ability to act as a PQ Worker resource.
-- In the console, set pq_mpp_allow_imci_node = OFF;

-- 2. On the primary (RW) node, allow scheduling to an IMCI node.
-- In the console, set pq_mpp_allow_dispatch_to_imci_node = ON;

-- 3. Connect to the IMCI node that should handle the offloaded query, and enable the scheduling entry point only on that node.
-- In the console, set pq_mpp_allow_dispatch_to_imci_node = ON;

-- 4. Return to the primary (RW) node and refresh with the IMCI offload policy.
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_IMCI;
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

A política determina o tipo de nó

Lógica de decisão para a política COST

Quando materialized_view_complete_refresh_offload_policy = COST, o sistema determina o nó alvo comparando o custo do otimizador da consulta com um limiar:

• Se o custo da consulta ≥ cost_threshold_for_imci: Offloading para um nó somente leitura IMCI. O IMCI é adequado para consultas de varredura e agregação de alto custo.

• Se o custo da consulta < cost_threshold_for_imci: Offloading para um nó somente leitura row-store. Nós somente leitura row-store são suficientes para consultas leves.

-- Set the cost threshold (default is 0, which means all queries tend to be offloaded to IMCI).
SET SESSION cost_threshold_for_imci = 100000;

-- Use the COST policy.
SET SESSION materialized_view_complete_refresh_offload_policy = COST;

Balanceamento de carga multi-nó

Se múltiplos nós do mesmo tipo estiverem disponíveis, o sistema usa uma abordagem Round-Robin para selecionar um nó:

• Cada tarefa de atualização seleciona o próximo nó com base em um contador global.

• Se a conexão com o nó selecionado falhar, o sistema tenta automaticamente o próximo nó na lista até tentar todos.

• O sistema distribui tarefas de atualização para diferentes materialized views uniformemente entre os nós.

Para descarregar tarefas ePQ + MPP para um nó IMCI, use um dos dois métodos a seguir:

1. Ative pq_mpp_allow_imci_node para permitir offloading para todos os nós somente leitura IMCI.

2. Primeiro, defina pq_mpp_allow_imci_node = OFF, depois use pq_mpp_allow_dispatch_to_imci_node para restringir os nós somente leitura IMCI candidatos:

   • No nó primário (RW), defina pq_mpp_allow_dispatch_to_imci_node = ON para permitir que o nó primário (RW) aceite o status de ponto de entrada de despacho de nós somente leitura IMCI remotos.

   • Em cada nó somente leitura IMCI que deve processar consultas descarregadas, defina pq_mpp_allow_dispatch_to_imci_node = ON.

   • Em cada nó somente leitura IMCI que não deve processar consultas descarregadas, mantenha pq_mpp_allow_dispatch_to_imci_node = OFF.

Políticas recomendadas

Em ambiente de produção, use FORCE_IMCI ou FORCE_TPRO. Evite políticas PREFER_*.

Motivo: Se o nó alvo estiver indisponível, uma política PREFER_* reverte silenciosamente para execução local no nó primário (RW). Essa reversão faz com que a instrução INSERT SELECT realize varredura completa e gravação no nó primário (RW). Isso cria uma transação grande e pode impactar o desempenho de cargas de trabalho online no nó primário (RW).

Exemplos de configuração

-- Recommended: Force the use of an IMCI node. If unavailable, the operation fails instead of falling back.
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_IMCI;

-- Use only row-store read-only nodes. If unavailable, the operation fails.
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_TPRO;

-- Automatically choose between IMCI and TPRO based on query cost.
SET SESSION materialized_view_complete_refresh_offload_policy = COST;
SET SESSION cost_threshold_for_imci = 50000;

Regras básicas

• **Parâmetros GLOBAL**: Defina-os apenas no console. Aplicam-se a todas as sessões e threads de atualização automática.

• **Parâmetros SESSION**: Defina-os para a sessão atual usando SET SESSION. Você também pode modificar seus valores padrão no console. Threads de atualização automática usam os valores padrão GLOBAL.

Escopos de parâmetros para o modo de gravação paralela ETL

Escopos de parâmetros para o modo de gravação paralela ePQ

Observações

• Se você usar apenas atualizações manuais, ajuste os parâmetros SESSION para cada sessão.

• Se depender de atualizações automáticas, defina valores padrão apropriados para todos os parâmetros SESSION no console.

• Defina parâmetros GLOBAL no console, independentemente do método de atualização. As alterações entram em vigor imediatamente para todas as tarefas subsequentes.

• As configurações SET SESSION não persistem após a reinicialização do cluster. Em contraste, parâmetros GLOBAL modificados no console são persistentes.

Parâmetros principais

Parâmetros de offloading de computação

Parâmetros de compactação de rede

Como funciona a compactação:

O parâmetro materialized_view_etl_compression_level entra em vigor apenas quando materialized_view_etl_compression_algorithm = ZSTD. Se definido como 0, o sistema usa o nível padrão ZSTD de 3. Se definido com um valor de 1 a 22, o sistema usa o nível especificado. Um nível mais alto fornece melhor taxa de compactação, mas aumenta a sobrecarga de CPU.

Política de offloading (parâmetro materialized_view_complete_refresh_offload_policy)