PolarDB：使用MySQL協議進行向量檢索

適用範圍

使用本功能前，請確認您的叢集版本需滿足：核心版本為MySQL 8.0.2，且修訂版本需為8.0.2.2.30及以上版本。

版本更新記錄

不同核心版本支援的功能存在差異。建議升級至最新版本。

向量類型

-- 以下樣本表示在表t1中定義列v1的向量維度為4
CREATE TABLE t1 (id INT PRIMARY KEY, v1 VECTOR(4));

SELECT STRING_TO_VECTOR('[1,2,3,4]');
+-------------------------------+
| STRING_TO_VECTOR('[1,2,3,4]') |
+-------------------------------+
|   �?   @  @@  �@              |
+-------------------------------+

SELECT HEX(STRING_TO_VECTOR('[1,2,3,4]'));
+------------------------------------+
| HEX(STRING_TO_VECTOR('[1,2,3,4]')) |
+------------------------------------+
| 0000803F000000400000404000008040   |
+------------------------------------+

SELECT VECTOR_TO_STRING(0x0000803F000000400000404000008040);
+------------------------------------------------------+
| VECTOR_TO_STRING(0x0000803F000000400000404000008040) |
+------------------------------------------------------+
| [1.00000e+00,2.00000e+00,3.00000e+00,4.00000e+00]    |
+------------------------------------------------------+

相關操作樣本

CREATE TABLE t1 (id INT PRIMARY KEY, v1 VECTOR(4));

ALTER TABLE t1 ADD COLUMN v1 VECTOR(4);

INSERT INTO t1 VALUES (1, STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]')) ON DUPLICATE KEY UPDATE v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]');

UPDATE t1 SET v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]') WHERE id = 1;

DELETE FROM t1 WHERE v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]');

使用向量索引

PolarDB通過在列的COMMENT中定義特殊格式的字串來建立向量索引。

前置條件

在使用向量索引之前，需先添添加列存索引唯讀節點，並為該列或整個表建立列存索引。即只有列存索引唯讀節點才能構建向量索引，以支援向量檢索。

COMMENT 'imci_vector_index=向量索引演算法(索引參數列表) [其他備忘]'

-- 方案一：為整個表開啟列存，然後在v1列上定義向量索引
CREATE TABLE t1 (
    id INT PRIMARY KEY,
    v1 VECTOR(4) COMMENT 'imci_vector_index=HNSW(metric=COSINE, max_degree=16)'
) COMMENT 'COLUMNAR=1';

-- 方案二：僅為v1列開啟列存和向量索引
CREATE TABLE t1 (
    id INT PRIMARY KEY,
    description TEXT,
    v1 VECTOR(4) COMMENT 'COLUMNAR=1, imci_vector_index=HNSW(metric=COSINE)'
);

-- 假設現有表為t1
CREATE TABLE t1 (
    id int auto_increment PRIMARY KEY,
    v1 vector(4)
);

-- 方案一：添加表級列存索引同時修改VECTOR列備忘資訊指定向量索引演算法及參數
ALTER TABLE t1 comment "COLUMNAR=1", MODIFY COLUMN v1 vector(4) COMMENT "imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)";


-- 方案二：僅為v1列建立列存索引，列存索引初始化時會自動根據v1列上的備忘資訊建立向量索引
ALTER TABLE t1 MODIFY COLUMN v1 vector(4) COMMENT "COLUMNAR=1 imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)";

向量查詢

SELECT VECTOR_TO_STRING(v1) FROM t1;

DISTANCE(vector1, vector2, '<metric>')

SELECT DISTANCE(v1, STRING_TO_VECTOR('[1.2,2.3,3.4,4.5]'), 'COSINE') FROM t1;

-- 尋找與目標最相似的10條記錄SELECT id, VECTOR_TO_STRING(v1)FROM t1
ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[...]'), 'COSINE')LIMIT 10;

SELECT id, VECTOR_TO_STRING(v1) FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[1.2,2.3,3.4,4.5]'), 'COSINE') LIMIT 1;

包含謂詞的向量查詢

您可以使用額外的列作為謂詞，來過濾向量查詢結果。例如：

SELECT * FROM t1 WHERE id < 10 ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[1.2, 2.3, 3.4, 4.5]'), 'COSINE') LIMIT 2;

在使用包含謂詞的SQL語句進行向量查詢時，可以通過調整相關參數的值來控制向量索引召回和謂詞過濾的先後順序。

執行方式

向量檢索通常伴隨其他屬性的過濾。最佳化器會根據過濾條件的選擇性，智能選擇執行策略：

• 前置過濾（prefilter）：當過濾條件能大幅減少資料量時（如匹配行數小於imci_vector_search_prefilter_rows，預設10000），系統將首先對全表進行謂詞過濾，以擷取匹配的記錄，然後對這些記錄進行排序，最終按順序返回由LIMIT指定的數量的記錄。

• 後置過濾 （postfilter）：當過濾條件選擇性較差時（如匹配率高於imci_vector_search_filter_pct，預設20%），系統將首先應用向量索引進行結果召回，然後對召回的結果進行謂詞過濾。如果過濾後的結果數量少於LIMIT指定的數量，則需重複上述過程。

• 內聯過濾（inline filter）：如果最佳化器未選擇前置過濾或後置過濾的執行方式，那麼將選擇使用內聯過濾的方式執行。系統將首先通過謂詞對全表進行過濾，利用匹配記錄的RowID構建bitmap過濾器。隨後，將採用向量索引進行召回。在向量索引的檢索過程中，通過bitmap過濾器進行篩選，以確保返回的最相似記錄滿足謂詞條件。

自適應執行最佳化

由於最佳化器對謂詞過濾所匹配行數的預估可能存在偏差，導致執行方式的選擇可能並非最優。因此，採用自適應執行機制，在執行過程中根據實際匹配行數動態切換執行方式。

在使用內聯過濾（inline filter）方式執行包含謂詞的向量查詢時，如果在進行謂詞過濾全表後，實際匹配的記錄數量低於imci_vector_search_prefilter_rows，則會動態切換為前置過濾方式進行執行。

分區最佳化

向量查詢通常包含租戶ID或標籤等謂詞條件。針對這類查詢，可以採用LIST DEFAULT HASH的分區方式，為資料量較大的租戶或標籤構建獨立的LIST分區，而為其他租戶或標籤構建DEFAULT HASH分區。最佳化器能夠識別這類查詢，並依據分區裁剪的結果，為較大租戶或標籤的向量查詢選擇後置過濾的執行方式，而為其他租戶的向量查詢則使用前置過濾或內聯過濾的執行方式，儘可能為不同規模的租戶或標籤選擇最優的執行方式。

參數說明

監控向量索引狀態

向量索引資料構建任務與列存索引資料快照推進屬於不同的背景工作。在持續寫入的情況下，向量索引快照位點可能會滯後於列存資料快照。在執行向量檢索之前，您需要確認向量索引的可用性。向量索引通過系統檢視表展示了向量索引的狀態，包括向量索引快照位點以及向量列上向量索引的狀態。

操作樣本

1. 為確保以下在少量資料的情況下能夠正常構建向量索引，需要在PolarDB控制台上將參數imci_vector_index_dump_rows_threshold設定為1。

2. 建立測試表並插入資料：

   CREATE TABLE t1 (
       id int auto_increment PRIMARY KEY,
       v1 vector(4) COMMENT "imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)"
   ) comment "COLUMNAR=1";
   
   INSERT INTO t1 VALUES(1, STRING_TO_VECTOR('[1.1,1.2,1.3,1.4]')), (2, STRING_TO_VECTOR('[2,2.2,2.4,2.6]'));

3. 檢查索引快照狀態以及向量索引狀態：

   SELECT schema_name,table_name,row_id FROM information_schema.imci_indexes;
   +-------------+------------+--------+
   | schema_name | table_name | row_id |
   +-------------+------------+--------+
   | test        | t1         |      2 |
   +-------------+------------+--------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,vector_rows FROM information_schema.imci_index_stats;
   +-------------+------------+-------------+
   | schema_name | table_name | vector_rows |
   +-------------+------------+-------------+
   | test        | t1         |           2 |
   +-------------+------------+-------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       2 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

4. 再執行如下寫入資料：

   INSERT INTO t1 VALUES(3, STRING_TO_VECTOR("[8.8,8.88,8.888,8.8888]"));

   可以觀察到INFORMATION_SCHEMA.IMCI_VECTOR_INDEX_STATS的相關查詢返回結果中VECTORS欄位的值為3（增加了1），表示上述INSERT的資料已被背景工作寫入向量索引中：

   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       3 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

5. 接著重啟列存索引唯讀節點後檢查索引狀態：

   重要

   重啟列存索引唯讀節點會導致當前節點在短暫時間內不可用。

   SELECT schema_name,table_name,row_id,state FROM information_schema.imci_indexes;
   +-------------+------------+--------+-----------+
   | schema_name | table_name | row_id | state     |
   +-------------+------------+--------+-----------+
   | test        | t1         |      3 | COMMITTED |
   +-------------+------------+--------+-----------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,vector_rows FROM information_schema.imci_index_stats;
   +-------------+------------+-------------+
   | schema_name | table_name | vector_rows |
   +-------------+------------+-------------+
   | test        | t1         |           3 |
   +-------------+------------+-------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       0 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

   可以看到，IMCI_VECTOR_INDEX_STATS系統檢視表中VECTORS為0，同時向量索引快照位點為3。通過執行計畫來確認向量索引的可用性，並在執行近似查詢後再次檢查向量索引狀態：

   SET cost_threshold_for_imci = 0;
   
   
   EXPLAIN SELECT * FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR("[1.2, 2.3, 3.4, 4.5]"), "COSINE") LIMIT 1;
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   | ID | Operator              | Name | E-Rows | E-Cost | Extra Info                                                                            |
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   |  1 | Select Statement      |      |        |        | IMCI Execution Plan (max_dop = 4, max_query_mem = 858993459)                          |
   |  2 | +-Compute Scalar      |      |        |        |                                                                                       |
   |  3 |   +-Limit             |      |        |        | Offset=0 Limit=1                                                                      |
   |  4 |     +-Sort            |      |        |        | Sort Key: VECTOR_DISTANCE(t1.v1,"[1.200000,2.300000,3.400000,4.500000]","COSINE") ASC |
   |  5 |       +-Vector Search | t1   |        |        |                                                                                       |
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   5 rows in set (0.00 sec)
   
   SELECT id, vector_to_string(v1) FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR("[1.2, 2.3, 3.4, 4.5]"), "COSINE") LIMIT 1;
   +----+---------------------------------------------------+
   | id | vector_to_string(v1)                              |
   +----+---------------------------------------------------+
   |  2 | [2.00000e+00,2.20000e+00,2.40000e+00,2.60000e+00] |
   +----+---------------------------------------------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       3 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

   可以觀察到執行近似查詢後向量索引被載入到記憶體，向量個數也恢複為3。

常見問題