PolarDB：並行重新整理

工作原理

1. 根據卸載策略選擇遠程節點（列存索引唯讀節點或行存唯讀節點），建立串連。

2. 將物化視圖的定義查詢發送到遠程節點執行。

3. 遠程節點流式返回結果集（支援壓縮傳輸）。

4. 主（RW）節點建立多個 Worker 線程，各 Worker 並行擷取行並寫入容器表各分區。

特性

• 查詢計算在遠程節點完成，不佔用主（RW）節點CPU。

• 寫入在主（RW）節點本地執行，保證事務一致性。

• 寬表情境下並行效率不受行長影響。

• 支援多主叢集（Limitless）。

使用步驟

上述參數配置完成後，執行重新整理：

-- 執行重新整理
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

工作原理（MPP 卸載到遠程列存索引唯讀節點，卸載策略為FORCE_IMCI）

1. PQ Worker 被調度到遠程列存索引唯讀節點執行 SELECT 掃描。

2. 掃描結果通過內部網路傳回主（RW）節點（支援壓縮）。

3. 多個 PQ Worker 在主（RW）節點本地並行掃描源表資料。

4. 掃描結果並行寫入容器表各分區。

5. 主（RW）節點本地完成資料寫入。

特性

• 端到端並行：掃描和寫入在同一個並存執行計劃中完成。

• 窄表情境下近線性擴充。

• 不受 ETL 單連接埠網路傳輸限制。

• 多主叢集（Limitless）下暫不支援，自動回退到串列。

網路壓縮（MPP 卸載情境）

使用步驟

-- 執行重新整理
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

-- 1. 在主（RW）節點關閉 IMCI 作為 PQ Worker 資源的能力
-- 控制台配置 pq_mpp_allow_imci_node = OFF;

-- 2. 在主（RW）節點允許調度到 IMCI 節點
-- 控制台配置 pq_mpp_allow_dispatch_to_imci_node = ON;

-- 3. 串連到希望承接卸載查詢的 IMCI 節點，僅在該節點開啟調度入口
-- 控制台配置 pq_mpp_allow_dispatch_to_imci_node = ON;

-- 4. 回到主（RW）節點，使用 IMCI 卸載策略重新整理
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_IMCI;
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

策略決定節點類型

COST策略的代價決策

當 materialized_view_complete_refresh_offload_policy = COST 時，系統根據查詢的最佳化器代價與閾值比較來決定目標節點：

• 查詢代價 ≥ cost_threshold_for_imci：卸載到列存索引唯讀節點（列存索引適合大代價的掃描與彙總查詢）。

• 查詢代價 < cost_threshold_for_imci：卸載到行存唯讀節點（輕量查詢用行存唯讀節點即可）。

-- 設定代價閾值（預設 0，即所有查詢都傾向 IMCI）
SET SESSION cost_threshold_for_imci = 100000;

-- 使用代價策略
SET SESSION materialized_view_complete_refresh_offload_policy = COST;

多節點負載平衡

當同一類型有多個節點時，系統通過 Round-Robin 方式輪詢選擇節點：

• 每次重新整理任務按全域計數器順序選取下一個節點。

• 若選中的節點串連失敗，自動嘗試列表中的下一個節點，直到所有節點都嘗試過。

• 不同的物化視圖重新整理任務會被均勻分布到各節點上。

對於ePQ + MPP卸載到列存索引（IMCI）的情境，可以有兩種方式：

1. 開啟pq_mpp_allow_imci_node，支援卸載到全部的列存索引唯讀節點。

2. 先關閉pq_mpp_allow_imci_node = OFF，然後通過 pq_mpp_allow_dispatch_to_imci_node 縮小候選列存索引唯讀節點範圍：

   • 在主（RW）節點設定 pq_mpp_allow_dispatch_to_imci_node = ON，允許主（RW）節點接受遠端列存索引唯讀節點的調度入口狀態。

   • 在希望承接卸載查詢的列存索引唯讀節點上設定 pq_mpp_allow_dispatch_to_imci_node = ON。

   • 在不希望承接卸載查詢的列存索引唯讀節點上保持 pq_mpp_allow_dispatch_to_imci_node = OFF。

推薦策略

生產環境建議使用 FORCE_IMCI 或 FORCE_TPRO，避免使用 PREFER_* 策略。

原因： PREFER_*策略在目標節點不可用時會靜默回退到主（ RW）節點本地執行，此時INSERT SELECT將在主（ RW）節點上完成全量掃描和寫入，形成大事務，可能影響主（ RW）節點的線上業務效能。

配置樣本

-- 推薦：強制使用 IMCI 節點，不可用時報錯而非回退
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_IMCI;

-- 僅使用唯讀節點，不可用時報錯
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_TPRO;

-- 根據查詢代價自動選擇 IMCI 或 TPRO
SET SESSION materialized_view_complete_refresh_offload_policy = COST;
SET SESSION cost_threshold_for_imci = 50000;

基本規則

• GLOBAL 參數：僅能在控制台設定，對所有會話和自動重新整理線程統一生效。

• SESSION 參數：可通過SET SESSION針對當前會話設定，也可通過控制台修改預設值，自動重新整理線程使用的GLOBAL預設值。

ETL 並行寫入模式的參數範圍

ePQ 並行寫入模式的參數範圍

說明事項

• 若僅使用手動重新整理，SESSION參數可按會話靈活調整。

• 若依賴自動重新整理，所有SESSION參數都需要通過控制台設定合理的預設值。

• GLOBA參數無論哪種重新整理方式都必須在控制台設定，且修改後對所有後續任務立即生效。

• SET SESSION在叢集重啟後失效，而GLOBA參數在控制台修改會保持持久化。

核心參數

計算卸載參數

網路壓縮參數

壓縮生效方式：

materialized_view_etl_compression_level 僅在 materialized_view_etl_compression_algorithm = ZSTD 時生效。設定為 0 時使用 ZSTD 預設層級 3，設定為 1~22 時使用指定層級，層級越高通常壓縮率越高，但 CPU 開銷也更大。

卸載策略（materialized_view_complete_refresh_offload_policy參數）詳解