PolarDB:Aktifkan dan gunakan In-Memory Column Index (IMCI)

Metode untuk mengaktifkan IMCI bervariasi tergantung pada versi mesin minor kluster PolarDB for PostgreSQL Anda:

CREATE EXTENSION polar_csi;

1. Buat indeks penyimpanan kolom

-- Buat indeks untuk kolom tertentu
CREATE INDEX [ CONCURRENTLY ] csi_index_name ON table_name USING CSI(column1,column2,...);
-- Buat indeks untuk semua kolom
CREATE INDEX [ CONCURRENTLY ] csi_index_name ON table_name USING CSI;

2. Lihat progres pembuatan indeks

Membuat indeks penyimpanan kolom pada tabel besar bisa memakan waktu lama. Anda dapat memantau progresnya dengan kueri berikut. Anda juga dapat menyesuaikan parameter terkait untuk meningkatkan kecepatan pembuatan indeks.

SELECT * FROM pg_stat_progress_create_index;

3. (Opsional) Batalkan pembuatan indeks

Jika pembuatan indeks memakan waktu lama dan proses tersebut memengaruhi layanan Anda, Anda dapat menggunakan pg_cancel_backend atau pg_terminate_backend untuk membatalkan pembuatan indeks. Dapatkan pid yang diperlukan seperti yang dijelaskan dalam Langkah 2. Lihat progres pembuatan indeks.

SELECT pg_cancel_backend(pid);
SELECT pg_terminate_backend(pid);

4. Lihat ukuran indeks

Gunakan fungsi pg_relation_size untuk melihat ukuran indeks. Anda dapat menggabungkannya dengan fungsi pg_size_pretty untuk menampilkan ukuran dalam format yang lebih mudah dibaca.

SELECT * FROM pg_size_pretty(pg_relation_size('csi_index_name'));

Sebagai contoh, lihat storage space yang digunakan oleh indeks penyimpanan kolom yang sebelumnya dibuat.

SELECT * FROM pg_size_pretty(pg_relation_size('idx_csi_sales'));

5. (Opsional) Sinkronisasi data real-time

Kluster PolarDB for PostgreSQL tidak hanya mendukung pembuatan indeks penyimpanan kolom pada data historis tetapi juga secara otomatis menyinkronkan data baru dari tabel penyimpanan baris ke indeks penyimpanan kolom. Setelah Anda menggunakan pernyataan CREATE INDEX untuk membuat indeks penyimpanan kolom pada suatu tabel, data baru ditulis ke indeks penyimpanan kolom secara real-time, dan tidak diperlukan operasi tambahan.

IMCI menggunakan mekanisme replikasi logis PolarDB for PostgreSQL untuk menyinkronkan data dengan mendekode log WAL dan menerapkan perubahan ke mesin penyimpanan kolom. Dengan konfigurasi default, mekanisme ini dapat menangani throughput tulis sekitar 200.000 QPS (berdasarkan pengujian standar Sysbench oltp_insert).

• Periksa latensi sinkronisasi data saat ini

  SELECT active_pid, database, slot_name, pg_size_pretty(pg_current_wal_lsn() - confirmed_flush_lsn) AS size FROM pg_replication_slots WHERE slot_name LIKE 'csi_sync_%';

  Jika size tetap di bawah 50 MB, data penyimpanan kolom biasanya diperbarui dalam hitungan detik.

• Tingkatkan efisiensi sinkronisasi data

  Untuk memenuhi persyaratan real-time antara data penyimpanan baris dan penyimpanan kolom dalam skenario bisnis tertentu, Anda dapat menyesuaikan parameter polar_csi.update_interval dan polar_csi.update_batch_count untuk meningkatkan performa real-time indeks penyimpanan kolom.

1. Konfigurasikan parameter

Setelah membuat indeks penyimpanan kolom, Anda dapat menggunakan parameter berikut untuk mengontrol apakah kueri SQL menggunakan indeks penyimpanan kolom.

SET polar_csi.enable_query = on;

SET polar_csi.cost_threshold = 0;

2. Konfigurasikan cakupan parameter

SET polar_csi.enable_query = ON;

3. Periksa penggunaan indeks

Anda dapat menggunakan EXPLAIN atau EXPLAIN ANALYZE untuk melihat rencana kueri. Jika rencana tersebut mencakup kata kunci CSI Executor, berarti kueri tersebut menggunakan indeks penyimpanan kolom.

EXPLAIN SELECT COUNT(*) FROM sales;

Hasil berikut dikembalikan:

  QUERY PLAN  
--------------
 CSI Executor
(1 row)

4. (Opsional) Konfigurasikan konsistensi kueri IMCI

PolarDB for PostgreSQL menawarkan dua tingkat konsistensi kueri untuk memenuhi kebutuhan bisnis yang berbeda.

• Konsistensi akhir (default): Cocok untuk workload intensif tulis dengan persyaratan data real-time yang rendah.

• Konsistensi kuat: Memastikan hasil kueri dikembalikan hanya setelah data di penyimpanan kolom sepenuhnya konsisten dengan data di penyimpanan baris.

PolarDB for PostgreSQL biasanya memiliki latensi dalam orde detik. Namun, latensi data meningkat di bawah beban tulis yang tinggi. Tingkat konsistensi default adalah konsistensi akhir. Oleh karena itu, jika beban tulis tinggi dan kueri SQL menggunakan indeks penyimpanan kolom, kueri tersebut mungkin tidak mengambil data terbaru.

Untuk skenario bisnis yang memerlukan konsistensi kuat antara data penyimpanan baris dan penyimpanan kolom, Anda dapat mengatur parameter polar_csi.forward_replay_wait ke on. Hal ini mengaktifkan pembacaan konsistensi kuat. Saat kueri dijalankan, kueri tersebut menunggu hingga data indeks penyimpanan kolom konsisten dengan data penyimpanan baris sebelum dieksekusi.

Tingkatkan kecepatan pembuatan indeks

Kecepatan pembuatan indeks bergantung pada parameter berikut:

Tingkatkan performa real-time

Dengan menyesuaikan parameter berikut, Anda dapat meningkatkan kecepatan transformasi baris-ke-kolom dan meningkatkan performa real-time data indeks penyimpanan kolom.

Tingkatkan kecepatan kueri

Performa kueri terutama bergantung pada parameter berikut. Anda dapat menyesuaikan nilainya untuk meningkatkan performa kueri: