PolarDB:並列リフレッシュ

仕組み

1. PolarDB はオフロードポリシーに基づいてリモートノード（カラムストアインデックス読み取り専用ノードまたは行ストア読み取り専用ノード）を選択し、接続を確立します。

2. プライマリ（RW）ノードがマテリアライズドビューの定義クエリをリモートノードに送信して実行します。

3. リモートノードが結果セットをストリーミングで返します。圧縮データ転送がサポートされています。

4. プライマリ（RW）ノードが複数のワーカースレッドを作成します。各ワーカースレッドが並列で行をフェッチし、コンテナテーブルの異なるパーティションに書き込みます。

特徴

• クエリの計算はリモートノードで実行され、プライマリ（RW）ノードの CPU リソースを消費しません。

• 書き込み操作はプライマリ（RW）ノード上でローカルに実行され、トランザクションの一貫性が確保されます。

• ワイドテーブルのシナリオでは、行長によって並列効率が影響を受けません。

• マルチプライマリクラスター（Limitless） をサポートします。

使用方法

パラメーターを設定したら、次のコマンドを実行してマテリアライズドビューをリフレッシュします。

-- マテリアライズドビューをリフレッシュ
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

仕組み（オフロードポリシーが FORCE_IMCI の場合、リモートカラムストアインデックス読み取り専用ノードへの MPP オフロード）

1. システムは PQ ワーカーをリモートカラムストアインデックス読み取り専用ノードにスケジューリングし、SELECT スキャンを実行します。

2. PQ ワーカーがスキャン結果を内部ネットワーク経由でプライマリ（RW）ノードに送信します。圧縮がサポートされています。

3. 複数の PQ ワーカーがプライマリ（RW）ノード上でソーステーブルのデータを並列でスキャンします。

4. PQ ワーカーがスキャン結果をコンテナテーブルのパーティションに並列で書き込みます。

5. 最後に、プライマリ（RW）ノードがローカルでデータ書き込みを完了します。

特徴

• エンドツーエンドの並列処理：単一の並列実行プランでスキャンと書き込みの両方を処理します。

• ナローテーブルではほぼ線形のスケーリングを実現します。

• ETL のシングルポートネットワーク転送制限を回避します。

• 現在、Limitless クラスターではサポートされていません。操作は自動的にシリアル実行にフォールバックします。

ネットワーク圧縮（MPP オフロードシナリオ）

手順

-- リフレッシュを実行
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

-- 1. プライマリ（RW）ノードで、PQ ワーカーリソースとして機能する能力を無効化します。
-- コンソールで pq_mpp_allow_imci_node = OFF を設定します。

-- 2. プライマリ（RW）ノードで、IMCI ノードへのスケジューリングを許可します。
-- コンソールで pq_mpp_allow_dispatch_to_imci_node = ON を設定します。

-- 3. オフロードクエリを処理する IMCI ノードに接続し、そのノードでのみスケジューリングエントリポイントを有効化します。
-- コンソールで pq_mpp_allow_dispatch_to_imci_node = ON を設定します。

-- 4. プライマリ（RW）ノードに戻り、IMCI オフロードポリシーでリフレッシュを実行します。
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_IMCI;
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

ポリシーによるノードタイプの決定

COST ポリシーの決定ロジック

materialized_view_complete_refresh_offload_policy = COST の場合、システムはクエリのオプティマイザーのコストとしきい値を比較して対象ノードを決定します。

• クエリコスト ≥ cost_threshold_for_imci の場合：IMCI 読み取り専用ノードにオフロードします。IMCI は高コストのスキャンおよび集約クエリに適しています。

• クエリコスト < cost_threshold_for_imci の場合：行ストア読み取り専用ノードにオフロードします。行ストア読み取り専用ノードは軽量なクエリに十分です。

-- コストのしきい値を設定（デフォルトは 0 で、すべてのクエリが IMCI にオフロードされる傾向があります）。
SET SESSION cost_threshold_for_imci = 100000;

-- COST ポリシーを使用。
SET SESSION materialized_view_complete_refresh_offload_policy = COST;

複数ノードの負荷分散

同じタイプのノードが複数ある場合、システムはラウンドロビン方式でノードを選択します。

• 各リフレッシュタスクは、グローバルカウンターに基づいて次のノードを選択します。

• 選択されたノードへの接続が失敗した場合、システムはリスト内の次のノードを自動的に試行し、すべてのノードを試行するまで繰り返します。

• システムは、異なるマテリアライズドビューのリフレッシュタスクをノード間で均等に分散します。

ePQ + MPP タスクを IMCI ノードにオフロードするには、次の 2 つの方法のいずれかを使用します。

1. pq_mpp_allow_imci_node を有効にして、すべての IMCI 読み取り専用ノードへのオフロードをサポートします。

2. まず pq_mpp_allow_imci_node = OFF を設定し、次に pq_mpp_allow_dispatch_to_imci_node を使用して候補となる IMCI 読み取り専用ノードを絞り込みます。

   • マスター（RW）ノードで pq_mpp_allow_dispatch_to_imci_node = ON を設定し、マスター（RW）ノードがリモート IMCI 読み取り専用ノードからのディスパッチエントリポイントステータスを受け入れることを許可します。

   • オフロードクエリを処理させたい各 IMCI 読み取り専用ノードで pq_mpp_allow_dispatch_to_imci_node = ON を設定します。

   • オフロードクエリを処理させたくない各 IMCI 読み取り専用ノードでは、pq_mpp_allow_dispatch_to_imci_node = OFF のままにしておきます。

推奨ポリシー

本番環境では、FORCE_IMCI または FORCE_TPRO を使用してください。PREFER_* ポリシーは避けてください。

理由：PREFER_* ポリシーでは、対象ノードが利用できない場合、マスター（RW）ノードでのローカル実行に静かにフォールバックします。このフォールバックにより、INSERT SELECT 文がマスター（RW）ノードでフルスキャンおよび書き込みを実行します。これにより大規模トランザクションが発生し、マスター（RW）ノード上のオンラインワークロードのパフォーマンスに影響を与える可能性があります。

構成例

-- 推奨：IMCI ノードの使用を強制します。利用できない場合はフォールバックせずに失敗します。
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_IMCI;

-- 行ストア読み取り専用ノードのみを使用します。利用できない場合は失敗します。
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_TPRO;

-- クエリコストに基づいて IMCI と TPRO の間を自動選択します。
SET SESSION materialized_view_complete_refresh_offload_policy = COST;
SET SESSION cost_threshold_for_imci = 50000;

基本ルール

• GLOBAL パラメーター：コンソールでのみ設定でき、すべてのセッションおよび自動リフレッシュスレッドに適用されます。

• SESSION パラメーター：SET SESSION を使用して現在のセッションに設定できます。また、コンソールでデフォルト値を変更することも可能です。自動リフレッシュスレッドは GLOBAL デフォルト値を使用します。

ETL 並列書き込みモードのパラメータースコープ

ePQ 並列書き込みモードのパラメータースコープ

注記

• 手動リフレッシュのみを使用する場合、各セッションで SESSION パラメーターを調整できます。

• 自動リフレッシュに依存する場合、コンソールですべての SESSION パラメーターの適切なデフォルト値を設定する必要があります。

• GLOBAL パラメーターは、リフレッシュ方法に関係なくコンソールで設定する必要があります。変更は、その後のすべてのタスクに対して即座に有効になります。

• SET SESSION 設定はクラスターリスタート後に永続化されません。一方、コンソールで変更された GLOBAL パラメーターは永続化されます。

コアパラメーター

コンピュートオフロードパラメーター

ネットワーク圧縮パラメーター

圧縮の仕組み：

materialized_view_etl_compression_level パラメーターは、materialized_view_etl_compression_algorithm = ZSTD の場合にのみ有効です。0 に設定すると、ZSTD のデフォルトレベル 3 が使用されます。1～22 の値を設定すると、指定されたレベルが使用されます。レベルを高くすると圧縮率は向上しますが、CPU オーバーヘッドも増加します。

オフロードポリシー（materialized_view_complete_refresh_offload_policy パラメーター）