PolarDB:MySQL プロトコルを使用したベクトル検索の実行

適用範囲

この機能を使用する前に、クラスターが次のバージョン要件を満たしていることを確認してください: カーネルバージョンは MySQL 8.0.2、リビジョンバージョンは 8.0.2.2.30 以降である必要があります。

バージョン更新履歴

機能はカーネルバージョンによって異なります。クラスターを最新バージョンにアップグレードすることをお勧めします。

ベクトル型

-- 次の例では、テーブル t1 の列 v1 のベクトルディメンションを 4 として定義します。
CREATE TABLE t1 (id INT PRIMARY KEY, v1 VECTOR(4));

SELECT STRING_TO_VECTOR('[1,2,3,4]');
+-------------------------------+
| STRING_TO_VECTOR('[1,2,3,4]') |
+-------------------------------+
|   ?   @  @@  @              |
+-------------------------------+

SELECT HEX(STRING_TO_VECTOR('[1,2,3,4]'));
+------------------------------------+
| HEX(STRING_TO_VECTOR('[1,2,3,4]')) |
+------------------------------------+
| 0000803F000000400000404000008040   |
+------------------------------------+

SELECT VECTOR_TO_STRING(0x0000803F000000400000404000008040);
+------------------------------------------------------+
| VECTOR_TO_STRING(0x0000803F000000400000404000008040) |
+------------------------------------------------------+
| [1.00000e+00,2.00000e+00,3.00000e+00,4.00000e+00]    |
+------------------------------------------------------+

関連する操作例

CREATE TABLE t1 (id INT PRIMARY KEY, v1 VECTOR(4));

ALTER TABLE t1 ADD COLUMN v1 VECTOR(4);

INSERT INTO t1 VALUES (1, STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]')) ON DUPLICATE KEY UPDATE v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]');

UPDATE t1 SET v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]') WHERE id = 1;

DELETE FROM t1 WHERE v1 = STRING_TO_VECTOR('[1.0, 2.0, 3.0, 4.0]');

ベクトルインデックスの使用

PolarDB は、列の COMMENT に特別にフォーマットされた文字列を定義することで、ベクトルインデックスを作成します。

前提条件

ベクトルインデックスを使用する前に、インメモリ列インデックス (IMCI) の読み取り専用ノードを追加し、列またはテーブル全体に対して IMCI を作成する必要があります。IMCI 読み取り専用ノードのみが、ベクトル検索をサポートするためのベクトルインデックスを構築できます。

COMMENT 'imci_vector_index=vector_index_algorithm(index_parameter_list) [other_comments]'

-- 方法 1: テーブル全体で列ストアを有効にし、v1 列にベクトルインデックスを定義します。
CREATE TABLE t1 (
    id INT PRIMARY KEY,
    v1 VECTOR(4) COMMENT 'imci_vector_index=HNSW(metric=COSINE, max_degree=16)'
) COMMENT 'COLUMNAR=1';

-- 方法 2: v1 列に対してのみ列ストアとベクトルインデックスを有効にします。
CREATE TABLE t1 (
    id INT PRIMARY KEY,
    description TEXT,
    v1 VECTOR(4) COMMENT 'COLUMNAR=1, imci_vector_index=HNSW(metric=COSINE)'
);

-- 既存のテーブルが t1 であると仮定します。
CREATE TABLE t1 (
    id int auto_increment PRIMARY KEY,
    v1 vector(4)
);

-- 方法 1: テーブルレベルの列ストアインデックスを追加し、VECTOR 列の COMMENT を変更してベクトルインデックスのアルゴリズムとパラメーターを指定します。
ALTER TABLE t1 comment "COLUMNAR=1", MODIFY COLUMN v1 vector(4) COMMENT "imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)";


-- 方法 2: v1 列に対してのみ列ストアインデックスを作成します。列ストアインデックスが初期化されると、v1 列の COMMENT に基づいてベクトルインデックスが自動的に作成されます。
ALTER TABLE t1 MODIFY COLUMN v1 vector(4) COMMENT "COLUMNAR=1 imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)";

ベクトルクエリ

SELECT VECTOR_TO_STRING(v1) FROM t1;

DISTANCE(vector1, vector2, '<metric>')

SELECT DISTANCE(v1, STRING_TO_VECTOR('[1.2,2.3,3.4,4.5]'), 'COSINE') FROM t1;

-- ターゲットに最も類似した 10 件のレコードを検索
SELECT id, VECTOR_TO_STRING(v1)
FROM t1
ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[...]'), 'COSINE')
LIMIT 10;

SELECT id, VECTOR_TO_STRING(v1) FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[1.2,2.3,3.4,4.5]'), 'COSINE') LIMIT 1;

述語付きベクトルクエリ

追加の列を述語として使用して、ベクトルクエリの結果をフィルターできます。例:

SELECT * FROM t1 WHERE id < 10 ORDER BY DISTANCE(v1, STRING_TO_VECTOR('[1.2, 2.3, 3.4, 4.5]'), 'COSINE') LIMIT 2;

述語を含むベクトルクエリの場合、特定のパラメーターを調整して、ベクトルインデックスの取得と述語フィルタリングの順序を制御できます。

実行戦略

ベクトル検索には、多くの場合、他のプロパティによるフィルタリングが含まれます。オプティマイザーは、フィルター条件の選択性に基づいて実行戦略をインテリジェントに選択します:

• プレフィルター (prefilter): フィルター条件がデータ量を大幅に削減できる場合 (たとえば、一致する行数がデフォルトで 10,000 の imci_vector_search_prefilter_rows 未満の場合)、システムは最初にテーブル全体に述語フィルターを適用して一致するレコードを取得し、これらのレコードをソートしてから、LIMIT 句で指定されたレコード数を返します。

• ポストフィルター (postfilter): フィルター条件の選択性が低い場合 (たとえば、一致率がデフォルトで 20% の imci_vector_search_filter_pct よりも高い場合)、システムは最初にベクトルインデックスを使用して結果を取得し、次に取得した結果に対して述語フィルタリングを実行します。フィルター処理された結果の数が LIMIT 句で指定された数より少ない場合、この手順が繰り返されます。

• インラインフィルター: オプティマイザーがプレフィルターまたはポストフィルター戦略を選択しない場合、インラインフィルター戦略を使用します。システムは最初に述語を使用してテーブル全体をフィルター処理し、一致するレコードの RowID から bitmap フィルターを構築します。次に、ベクトルインデックスを使用して取得します。ベクトルインデックスの取得プロセス中、システムは bitmap フィルターを使用して、返された最も類似したレコードが述語条件を満たしていることを確認します。

適応実行最適化

述語フィルターによって一致する行数のオプティマイザーの推定には、バイアスが生じる可能性があります。これにより、最適でない実行戦略が選択される可能性があります。適応実行メカニズムは、実際の一致行数に基づいて、実行時に実行戦略を動的に切り替えます。

インラインフィルター戦略を使用して述語付きのベクトルクエリを実行しているときに、述語がテーブル全体に適用された後の実際の一致レコード数が imci_vector_search_prefilter_rows 未満の場合、システムは動的にプレフィルター戦略に切り替えます。

パーティション最適化

ベクトルクエリには、テナント ID やタグなどの述語条件が含まれることがよくあります。これらのクエリには、LIST DEFAULT HASH パーティション分割メソッドを使用できます。データ量の多いテナントやタグには個別の LIST パーティションを作成し、他のテナントやタグには DEFAULT HASH パーティションを使用できます。オプティマイザーはこれらのクエリを検出できます。パーティションプルーニングの結果に基づいて、オプティマイザーは大規模なテナントやタグのベクトルクエリに対してポストフィルター戦略を選択します。他のテナントには、プレフィルターまたはインラインフィルター戦略を使用します。これにより、さまざまなサイズのテナントやタグに最適な実行戦略を選択できます。

パラメーターの説明

ベクトルインデックスのステータスの監視

ベクトルインデックスデータの構築と列ストアインデックススナップショットの進行は、別々のバックグラウンドタスクです。継続的な書き込みにより、ベクトルインデックスのスナップショットオフセットが列ストアデータスナップショットより遅れる可能性があります。ベクトル検索を実行する前に、ベクトルインデックスが利用可能であることを確認する必要があります。ベクトルインデックスのステータスはシステムビューに表示されます。これには、スナップショットオフセットとベクトル列のインデックスのステータスが含まれます。

例

1. 少量のデータでもベクトルインデックスが正常に構築されるようにするには、PolarDB コンソールで imci_vector_index_dump_rows_threshold パラメーターを 1 に設定する必要があります。

2. テストテーブルを作成してデータを挿入します:

   CREATE TABLE t1 (
       id int auto_increment PRIMARY KEY,
       v1 vector(4) COMMENT "imci_vector_index=HNSW(metric=COSINE,max_degree=16,ef_construction=300)"
   ) comment "COLUMNAR=1";
   
   INSERT INTO t1 VALUES(1, STRING_TO_VECTOR('[1.1,1.2,1.3,1.4]')), (2, STRING_TO_VECTOR('[2,2.2,2.4,2.6]'));

3. インデックススナップショットのステータスとベクトルインデックスのステータスを確認します:

   SELECT schema_name,table_name,row_id FROM information_schema.imci_indexes;
   +-------------+------------+--------+
   | schema_name | table_name | row_id |
   +-------------+------------+--------+
   | test        | t1         |      2 |
   +-------------+------------+--------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,vector_rows FROM information_schema.imci_index_stats;
   +-------------+------------+-------------+
   | schema_name | table_name | vector_rows |
   +-------------+------------+-------------+
   | test        | t1         |           2 |
   +-------------+------------+-------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       2 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

4. さらにデータを挿入します:

   INSERT INTO t1 VALUES(3, STRING_TO_VECTOR("[8.8,8.88,8.888,8.8888]"));

   INFORMATION_SCHEMA.IMCI_VECTOR_INDEX_STATS のクエリ結果の VECTORS フィールドの値が 3 になり、1 増加しました。これは、バックグラウンドタスクが挿入されたデータをベクトルインデックスに書き込んだことを示しています:

   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       3 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

5. 列ストアインデックスの読み取り専用ノードを再起動し、インデックスのステータスを確認します:

   重要

   列ストアインデックスの読み取り専用ノードを再起動すると、現在のノードが短時間利用できなくなります。

   SELECT schema_name,table_name,row_id,state FROM information_schema.imci_indexes;
   +-------------+------------+--------+-----------+
   | schema_name | table_name | row_id | state     |
   +-------------+------------+--------+-----------+
   | test        | t1         |      3 | COMMITTED |
   +-------------+------------+--------+-----------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,vector_rows FROM information_schema.imci_index_stats;
   +-------------+------------+-------------+
   | schema_name | table_name | vector_rows |
   +-------------+------------+-------------+
   | test        | t1         |           3 |
   +-------------+------------+-------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       0 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

   結果は、IMCI_VECTOR_INDEX_STATS システムビューでは VECTORS が 0 であるのに対し、ベクトルインデックスのスナップショットオフセットは 3 であることを示しています。実行計画を使用して、ベクトルインデックスが利用可能であることを確認できます。次に、近似クエリを実行し、ベクトルインデックスのステータスを再度確認できます:

   SET cost_threshold_for_imci = 0;
   
   
   EXPLAIN SELECT * FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR("[1.2, 2.3, 3.4, 4.5]"), "COSINE") LIMIT 1;
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   | ID | Operator              | Name | E-Rows | E-Cost | Extra Info                                                                            |
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   |  1 | Select Statement      |      |        |        | IMCI Execution Plan (max_dop = 4, max_query_mem = 858993459)                          |
   |  2 | +-Compute Scalar      |      |        |        |                                                                                       |
   |  3 |   +-Limit             |      |        |        | Offset=0 Limit=1                                                                      |
   |  4 |     +-Sort            |      |        |        | Sort Key: VECTOR_DISTANCE(t1.v1,"[1.200000,2.300000,3.400000,4.500000]","COSINE") ASC |
   |  5 |       +-Vector Search | t1   |        |        |                                                                                       |
   +----+-----------------------+------+--------+--------+---------------------------------------------------------------------------------------+
   5 rows in set (0.00 sec)
   
   SELECT id, vector_to_string(v1) FROM t1 ORDER BY DISTANCE(v1, STRING_TO_VECTOR("[1.2, 2.3, 3.4, 4.5]"), "COSINE") LIMIT 1;
   +----+---------------------------------------------------+
   | id | vector_to_string(v1)                              |
   +----+---------------------------------------------------+
   |  2 | [2.00000e+00,2.20000e+00,2.40000e+00,2.60000e+00] |
   +----+---------------------------------------------------+
   1 row in set (0.00 sec)
   
   SELECT schema_name,table_name,column_name,vectors FROM information_schema.imci_vector_index_stats;
   +-------------+------------+-------------+---------+
   | schema_name | table_name | column_name | vectors |
   +-------------+------------+-------------+---------+
   | test        | t1         | v1          |       3 |
   +-------------+------------+-------------+---------+
   1 row in set (0.00 sec)

   近似クエリが実行されると、ベクトルインデックスがメモリにロードされ、ベクトル数が 3 に復元されます。

FAQ