PolarDB:Pembaruan paralel

Cara kerja

1. PolarDB memilih node remote (node read-only indeks column-store atau node read-only row-store) berdasarkan kebijakan offload dan membuat koneksi.

2. Node primary (RW) mengirim kueri definisi Tampilan yang di-materialisasi ke node remote untuk dieksekusi.

3. Node remote mengalirkan set hasil kembali. Transmisi data terkompresi didukung.

4. Node primary (RW) membuat beberapa thread pekerja. Setiap thread pekerja mengambil baris secara paralel dan menulisnya ke partisi berbeda dari tabel kontainer.

Fitur

• Komputasi kueri dijalankan di node remote dan tidak mengonsumsi resource CPU di node primary (RW).

• Operasi penulisan dijalankan secara lokal di node primary (RW) untuk memastikan konsistensi transaksional.

• Dalam skenario tabel lebar, efisiensi paralel tidak terpengaruh oleh panjang baris.

• Mendukung kluster multi-primary (Limitless).

Penggunaan

Setelah mengonfigurasi parameter, jalankan perintah berikut untuk memperbarui Tampilan yang di-materialisasi:

-- Refresh the materialized view
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

Cara kerja (offloading MPP ke node read-only indeks column-store remote ketika kebijakan offload adalah FORCE_IMCI)

1. Sistem menjadwalkan PQ Worker ke node read-only indeks column-store remote untuk melakukan pemindaian SELECT.

2. PQ Worker mengirim hasil pemindaian kembali ke node primary (RW) melalui jaringan internal, yang mendukung kompresi.

3. Beberapa PQ Worker memindai data tabel sumber secara paralel di node primary (RW).

4. PQ Worker menulis hasil pemindaian secara paralel ke partisi tabel kontainer.

5. Akhirnya, node primary (RW) menyelesaikan penulisan data secara lokal.

Fitur

• Paralelisme end-to-end: Satu rencana eksekusi paralel menangani pemindaian dan penulisan.

• Skalabilitas hampir linear untuk tabel sempit.

• Menghindari batasan transfer jaringan single-port pada ETL.

• Saat ini tidak didukung di kluster Limitless. Operasi secara otomatis kembali ke eksekusi serial.

Kompresi jaringan (skenario offload MPP)

Prosedur

-- Perform the refresh
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

-- 1. Di node primary (RW), nonaktifkan kemampuannya untuk bertindak sebagai resource PQ Worker.
-- Di Konsol, atur pq_mpp_allow_imci_node = OFF;

-- 2. Di node primary (RW), izinkan penjadwalan ke node IMCI.
-- Di Konsol, atur pq_mpp_allow_dispatch_to_imci_node = ON;

-- 3. Hubungkan ke node IMCI yang harus menangani kueri offloaded, dan aktifkan titik masuk penjadwalan hanya di node tersebut.
-- Di Konsol, atur pq_mpp_allow_dispatch_to_imci_node = ON;

-- 4. Kembali ke node primary (RW) dan lakukan refresh dengan kebijakan offload IMCI.
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_IMCI;
REFRESH MATERIALIZED VIEW <schema_name>.<mview_name>;

Kebijakan menentukan jenis node

Logika keputusan untuk kebijakan COST

Ketika materialized_view_complete_refresh_offload_policy = COST, sistem menentukan node target dengan membandingkan biaya pengoptimal kueri terhadap ambang batas:

• Jika biaya kueri ≥ cost_threshold_for_imci: Lakukan offload ke node read-only IMCI. IMCI cocok untuk kueri pemindaian dan agregasi berbiaya tinggi.

• Jika biaya kueri < cost_threshold_for_imci: Lakukan offload ke node read-only row-store. Node read-only row-store cukup untuk kueri ringan.

-- Set the cost threshold (default is 0, which means all queries tend to be offloaded to IMCI).
SET SESSION cost_threshold_for_imci = 100000;

-- Use the COST policy.
SET SESSION materialized_view_complete_refresh_offload_policy = COST;

Penyeimbangan beban multi-node

Jika tersedia beberapa node dengan jenis yang sama, sistem menggunakan pendekatan Round-Robin untuk memilih node:

• Setiap tugas pembaruan memilih node berikutnya berdasarkan penghitung global.

• Jika koneksi ke node yang dipilih gagal, sistem secara otomatis mencoba node berikutnya dalam daftar hingga semua node telah dicoba.

• Sistem mendistribusikan tugas pembaruan untuk Tampilan yang di-materialisasi berbeda secara merata di seluruh node.

Untuk melakukan offload tugas ePQ + MPP ke node IMCI, gunakan salah satu dari dua metode berikut:

1. Aktifkan pq_mpp_allow_imci_node untuk mendukung offloading ke semua node read-only IMCI.

2. Pertama, atur pq_mpp_allow_imci_node = OFF, lalu gunakan pq_mpp_allow_dispatch_to_imci_node untuk mempersempit kandidat node read-only IMCI:

   • Di node master (RW), atur pq_mpp_allow_dispatch_to_imci_node = ON untuk mengizinkan node master (RW) menerima status titik masuk dispatch dari node read-only IMCI remote.

   • Di setiap node read-only IMCI yang ingin menangani kueri offloaded, atur pq_mpp_allow_dispatch_to_imci_node = ON.

   • Di setiap node read-only IMCI yang tidak ingin menangani kueri offloaded, pertahankan pq_mpp_allow_dispatch_to_imci_node = OFF.

Kebijakan yang direkomendasikan

Di lingkungan produksi, gunakan FORCE_IMCI atau FORCE_TPRO. Hindari kebijakan PREFER_*.

Alasan: Jika node target tidak tersedia, kebijakan PREFER_* diam-diam kembali ke eksekusi lokal di node master (RW). Fallback ini menyebabkan pernyataan INSERT SELECT melakukan pemindaian penuh dan penulisan di node master (RW). Hal ini menciptakan transaksi besar dan dapat memengaruhi performa workload online di node master (RW).

Contoh konfigurasi

-- Recommended: Force the use of an IMCI node. If unavailable, the operation fails instead of falling back.
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_IMCI;

-- Use only row-store read-only nodes. If unavailable, the operation fails.
SET SESSION materialized_view_complete_refresh_offload_policy = FORCE_TPRO;

-- Automatically choose between IMCI and TPRO based on query cost.
SET SESSION materialized_view_complete_refresh_offload_policy = COST;
SET SESSION cost_threshold_for_imci = 50000;

Aturan dasar

• Parameter GLOBAL: hanya diatur di Konsol dan berlaku untuk semua sesi serta thread pembaruan otomatis.

• Parameter SESSION: Anda dapat mengaturnya untuk sesi saat ini menggunakan SET SESSION. Anda juga dapat mengubah nilai default-nya di Konsol. Thread pembaruan otomatis menggunakan nilai default GLOBAL.

Ruang lingkup parameter untuk mode penulisan paralel ETL

Ruang lingkup parameter untuk mode penulisan paralel ePQ

Catatan

• Jika Anda hanya menggunakan pembaruan manual, Anda dapat menyesuaikan parameter SESSION untuk setiap sesi.

• Jika Anda mengandalkan pembaruan otomatis, Anda harus mengatur nilai default yang sesuai untuk semua parameter SESSION di Konsol.

• Parameter GLOBAL harus diatur di Konsol, terlepas dari metode pembaruan. Perubahan berlaku segera untuk semua tugas berikutnya.

• Pengaturan SET SESSION tidak bertahan setelah restart kluster. Sebaliknya, parameter GLOBAL yang diubah di Konsol bersifat persisten.

Parameter inti

Parameter offloading komputasi

Parameter kompresi jaringan

Cara kerja kompresi:

Parameter materialized_view_etl_compression_level hanya berlaku ketika materialized_view_etl_compression_algorithm = ZSTD. Jika diatur ke 0, sistem menggunakan level default ZSTD yaitu 3. Jika diatur ke nilai 1 hingga 22, sistem menggunakan level yang ditentukan. Level yang lebih tinggi memberikan rasio kompresi lebih baik tetapi meningkatkan overhead CPU.

Kebijakan offload (parameter materialized_view_complete_refresh_offload_policy)