PolarDB：Lakukan pengambilan vektor menggunakan protokol MySQL

Cakupan

Sebelum menggunakan fitur ini, pastikan kluster Anda memenuhi persyaratan versi berikut: Versi kernel harus MySQL 8.0.2, dan versi revisi harus 8.0.2.2.30 atau lebih baru.

Riwayat pembaruan versi

Fitur bervariasi tergantung pada versi kernel. Kami menyarankan Anda meningkatkan kluster ke versi terbaru.

Tipe vektor

-- Contoh berikut mendefinisikan dimensi vektor kolom v1 pada tabel t1 sebagai 4.
CREATE TABLE t1 (id INT PRIMARY KEY, v1 VECTOR(4));

SELECT STRING_TO_VECTOR('[1,2,3,4]');
+-------------------------------+
| STRING_TO_VECTOR('[1,2,3,4]') |
+-------------------------------+
|   ?   @  @@  @              |
+-------------------------------+

SELECT HEX(STRING_TO_VECTOR('[1,2,3,4]'));
+------------------------------------+
| HEX(STRING_TO_VECTOR('[1,2,3,4]')) |
+------------------------------------+
| 0000803F000000400000404000008040   |
+------------------------------------+

SELECT VECTOR_TO_STRING(0x0000803F000000400000404000008040);
+------------------------------------------------------+
| VECTOR_TO_STRING(0x0000803F000000400000404000008040) |
+------------------------------------------------------+
| [1.00000e+00,2.00000e+00,3.00000e+00,4.00000e+00]    |
+------------------------------------------------------+

Contoh operasi terkait

CREATE TABLE t1 (id INT PRIMARY KEY, v1 VECTOR(4));

ALTER TABLE t1 ADD COLUMN v1 VECTOR(4);

INSERT INTO t1 VALUES (1, STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]')) ON DUPLICATE KEY UPDATE v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]');

UPDATE t1 SET v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]') WHERE id = 1;

DELETE FROM t1 WHERE v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]');

Menggunakan indeks vektor

PolarDB membuat indeks vektor dengan mendefinisikan string berformat khusus dalam atribut COMMENT kolom.

Prasyarat

Sebelum dapat menggunakan indeks vektor, Anda harus menambahkan node read-only untuk In-Memory Column Index (IMCI) dan membuat IMCI untuk kolom tersebut atau seluruh tabel. Hanya node read-only IMCI yang dapat membangun indeks vektor untuk mendukung pencarian vektor.

COMMENT 'imci_vector_index=vector_index_algorithm(index_parameter_list) [other_comments]'

-- Metode 1: Aktifkan penyimpanan kolom untuk seluruh tabel, lalu definisikan indeks vektor pada kolom v1.
CREATE TABLE t1 (
    id INT PRIMARY KEY,
    v1 VECTOR(4) COMMENT 'imci_vector_index=HNSW(metric=COSINE, max_degree=16)'
) COMMENT 'COLUMNAR=1';

-- Metode 2: Aktifkan penyimpanan kolom dan indeks vektor hanya untuk kolom v1.
CREATE TABLE t1 (
    id INT PRIMARY KEY,
    description TEXT,
    v1 VECTOR(4) COMMENT 'COLUMNAR=1, imci_vector_index=HNSW(metric=COSINE)'
);

-- Asumsikan tabel yang sudah ada adalah t1.
CREATE TABLE t1 (
    id int auto_increment PRIMARY KEY,
    v1 vector(4)
);

-- Metode 1: Tambahkan indeks penyimpanan kolom tingkat tabel dan modifikasi COMMENT kolom VECTOR untuk menentukan algoritma dan parameter indeks vektor.
ALTER TABLE t1 comment "COLUMNAR=1", MODIFY COLUMN v1 vector(4) COMMENT "imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)";


-- Metode 2: Buat indeks penyimpanan kolom hanya untuk kolom v1. Saat indeks penyimpanan kolom diinisialisasi, indeks vektor akan dibuat otomatis berdasarkan COMMENT kolom v1.
ALTER TABLE t1 MODIFY COLUMN v1 vector(4) COMMENT "COLUMNAR=1 imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)";

Kueri vektor

SELECT VECTOR_TO_STRING(v1) FROM t1;

DISTANCE(vector1, vector2, '<metric>')

SELECT DISTANCE(v1, STRING_TO_VECTOR('[1.2,2.3,3.4,4.5]'), 'COSINE') FROM t1;

-- Temukan 10 catatan paling mirip dengan target
SELECT id, VECTOR_TO_STRING(v1)
FROM t1
ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[...]'), 'COSINE')
LIMIT 10;

SELECT id, VECTOR_TO_STRING(v1) FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[1.2,2.3,3.4,4.5]'), 'COSINE') LIMIT 1;

Kueri vektor dengan predikat

Anda dapat menggunakan kolom tambahan sebagai predikat untuk memfilter hasil kueri vektor. Contohnya:

SELECT * FROM t1 WHERE id < 10 ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[1.2, 2.3, 3.4, 4.5]'), 'COSINE') LIMIT 2;

Untuk kueri vektor yang mencakup predikat, Anda dapat menyesuaikan parameter tertentu untuk mengontrol urutan pengambilan indeks vektor dan pemfilteran predikat.

Strategi eksekusi

Pencarian vektor sering melibatkan pemfilteran berdasarkan properti lain. Pengoptimal secara cerdas memilih strategi eksekusi berdasarkan selektivitas kondisi filter:

• Prefilter (prefilter): Ketika kondisi filter dapat secara signifikan mengurangi jumlah data (misalnya, ketika jumlah baris yang cocok kurang dari imci_vector_search_prefilter_rows, yang default-nya 10.000), sistem terlebih dahulu menerapkan filter predikat ke seluruh tabel untuk mengambil catatan yang cocok, mengurutkan catatan tersebut, lalu mengembalikan jumlah catatan yang ditentukan oleh klausa LIMIT.

• Post-filtering (postfilter): Ketika kondisi filter memiliki selektivitas rendah (misalnya, jika tingkat kecocokan lebih tinggi dari imci_vector_search_filter_pct, yang default-nya 20%), sistem terlebih dahulu menggunakan indeks vektor untuk mengambil hasil lalu melakukan pemfilteran predikat pada hasil yang diambil. Jika jumlah hasil yang difilter kurang dari jumlah yang ditentukan oleh klausa LIMIT, prosedur ini diulang.

• Inline filter: Jika pengoptimal tidak memilih strategi prefilter atau postfilter, sistem menggunakan strategi inline filter. Sistem terlebih dahulu memfilter seluruh tabel menggunakan predikat dan membangun filter bitmap dari RowID catatan yang cocok. Kemudian, sistem menggunakan indeks vektor untuk pengambilan. Selama proses pengambilan indeks vektor, sistem menggunakan filter bitmap untuk memastikan catatan paling mirip yang dikembalikan memenuhi kondisi predikat.

Optimasi eksekusi adaptif

Estimasi pengoptimal terhadap jumlah baris yang cocok dengan filter predikat dapat memiliki bias. Hal ini dapat menyebabkan pemilihan strategi eksekusi yang suboptimal. Mekanisme eksekusi adaptif secara dinamis mengganti strategi eksekusi selama runtime berdasarkan jumlah baris yang cocok sebenarnya.

Saat menjalankan kueri vektor dengan predikat menggunakan strategi inline filter, jika jumlah catatan yang cocok sebenarnya kurang dari imci_vector_search_prefilter_rows setelah predikat diterapkan ke seluruh tabel, sistem secara dinamis beralih ke strategi prefilter.

Optimasi partisi

Kueri vektor sering mencakup kondisi predikat seperti ID penyewa atau tag. Untuk kueri ini, Anda dapat menggunakan metode partisi LIST DEFAULT HASH. Anda dapat membuat partisi LIST terpisah untuk penyewa atau tag dengan volume data besar, dan partisi DEFAULT HASH untuk penyewa atau tag lainnya. Pengoptimal dapat mendeteksi kueri ini. Berdasarkan hasil pemangkasan partisi, pengoptimal memilih strategi postfilter untuk kueri vektor pada penyewa atau tag besar. Untuk penyewa lainnya, pengoptimal menggunakan strategi prefilter atau inline filter. Hal ini membantu memilih strategi eksekusi optimal untuk penyewa atau tag dengan ukuran berbeda.

Deskripsi parameter

Pantau status indeks vektor

Pembuatan data indeks vektor dan pemajuan snapshot indeks penyimpanan kolom adalah tugas latar belakang terpisah. Dengan penulisan berkelanjutan, offset snapshot indeks vektor mungkin tertinggal dari snapshot data penyimpanan kolom. Sebelum menjalankan pencarian vektor, Anda harus memastikan indeks vektor tersedia. Status indeks vektor ditampilkan dalam tampilan sistem. Ini mencakup offset snapshot dan status indeks pada kolom vektor.

Contoh

1. Untuk memastikan indeks vektor dapat dibangun secara normal dengan jumlah data kecil, Anda harus mengatur parameter imci_vector_index_dump_rows_threshold ke 1 di Konsol PolarDB.

2. Buat tabel uji dan masukkan data:

   CREATE TABLE t1 (
       id int auto_increment PRIMARY KEY,
       v1 vector(4) COMMENT "imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)"
   ) comment "COLUMNAR=1";
   
   INSERT INTO t1 VALUES(1, STRING_TO_VECTOR('[1.1,1.2,1.3,1.4]')), (2, STRING_TO_VECTOR('[2,2.2,2.4,2.6]'));

3. Periksa status snapshot indeks dan status indeks vektor:

   SELECT schema_name,table_name,row_id FROM information_schema.imci_indexes;
   +-------------+------------+--------+
   | schema_name | table_name | row_id |
   +-------------+------------+--------+
   | test        | t1         |      2 |
   +-------------+------------+--------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,vector_rows FROM information_schema.imci_index_stats;
   +-------------+------------+-------------+
   | schema_name | table_name | vector_rows |
   +-------------+------------+-------------+
   | test        | t1         |           2 |
   +-------------+------------+-------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       2 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

4. Masukkan lebih banyak data:

   INSERT INTO t1 VALUES(3, STRING_TO_VECTOR("[8.8,8.88,8.888,8.8888]"));

   Nilai kolom VECTORS dalam hasil kueri untuk INFORMATION_SCHEMA.IMCI_VECTOR_INDEX_STATS sekarang menjadi 3, meningkat sebesar 1. Hal ini menunjukkan bahwa tugas latar belakang telah menulis data yang dimasukkan ke indeks vektor:

   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       3 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

5. Restart node read-only indeks penyimpanan kolom dan periksa status indeks:

   Penting

   Me-restart node read-only indeks penyimpanan kolom membuat node saat ini tidak tersedia untuk waktu singkat.

   SELECT schema_name,table_name,row_id,state FROM information_schema.imci_indexes;
   +-------------+------------+--------+-----------+
   | schema_name | table_name | row_id | state     |
   +-------------+------------+--------+-----------+
   | test        | t1         |      3 | COMMITTED |
   +-------------+------------+--------+-----------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,vector_rows FROM information_schema.imci_index_stats;
   +-------------+------------+-------------+
   | schema_name | table_name | vector_rows |
   +-------------+------------+-------------+
   | test        | t1         |           3 |
   +-------------+------------+-------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       0 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

   Hasil menunjukkan bahwa VECTORS bernilai 0 dalam tampilan sistem IMCI_VECTOR_INDEX_STATS, sedangkan offset snapshot indeks vektor adalah 3. Anda dapat menggunakan rencana eksekusi untuk memastikan indeks vektor tersedia. Kemudian, Anda dapat menjalankan kueri hampiran dan memeriksa status indeks vektor lagi:

   SET cost_threshold_for_imci = 0;
   
   
   EXPLAIN SELECT * FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR("[1.2, 2.3, 3.4, 4.5]"), "COSINE") LIMIT 1;
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   | ID | Operator              | Name | E-Rows | E-Cost | Extra Info                                                                            |
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   |  1 | Select Statement      |      |        |        | IMCI Execution Plan (max_dop = 4, max_query_mem = 858993459)                          |
   |  2 | +-Compute Scalar      |      |        |        |                                                                                       |
   |  3 |   +-Limit             |      |        |        | Offset=0 Limit=1                                                                      |
   |  4 |     +-Sort            |      |        |        | Sort Key: VECTOR_DISTANCE(t1.v1,"[1.200000,2.300000,3.400000,4.500000]","COSINE") ASC |
   |  5 |       +-Vector Search | t1   |        |        |                                                                                       |
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   5 rows in set (0.00 sec)
   
   SELECT id, vector_to_string(v1) FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR("[1.2, 2.3, 3.4, 4.5]"), "COSINE") LIMIT 1;
   +----+---------------------------------------------------+
   | id | vector_to_string(v1)                              |
   +----+---------------------------------------------------+
   |  2 | [2.00000e+00,2.20000e+00,2.40000e+00,2.60000e+00] |
   +----+---------------------------------------------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       3 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

   Setelah kueri hampiran dijalankan, indeks vektor dimuat ke memori, dan jumlah vektor dipulihkan menjadi 3.

FAQ