ApsaraDB RDS:RabitQ インデックス

ステップ 1：pgvector 拡張の確認とアップグレード

対象データベースに接続後、次の SQL コマンドを実行して pgvector 拡張のバージョンを確認します。バージョンが 0.8.0.2 より古い場合は、アップグレードしてください。

postgres=# \dx vector
                           List of installed extensions
  Name  | Version | Schema |                     Description
--------+---------+--------+------------------------------------------------------
 vector | 0.8.0.2 | public | vector data type and ivfflat and hnsw access methods
(1 row)

postgres=# ALTER EXTENSION vector UPDATE TO "0.8.0.2";

ステップ 2：ivf-RabitQ インデックスの作成

次の SQL コマンドを実行して、ivf-RabitQ インデックスを作成します。

CREATE INDEX ON items USING ivfflat (embedding rabitq_vector_cosine_ops) WITH (lists=1000);

この例では、items は対象テーブル名、embedding はベクトルデータを格納するカラム名、rabitq_vector_cosine_ops は余弦類似度用の RabitQ 演算子です。lists は IVF クラスタリングにおける重心の数です。データサイズに応じて適切な値を選択することを推奨します。

ステップ 3：検索パラメーターの調整

ivfflat のインデックス構築およびクエリパラメーターに加え、ivf-RabitQ では以下の表に示す検索パラメーターが新たに導入されています。これらのパラメーターは、SET コマンドを使用してセッションレベルで調整できます。

テスト環境

インデックス構築の比較

以下の表は、同一のデータセットおよびパラメーターを使用して構築した ivf-RabitQ およびネイティブな pgvector ivfflat インデックスの構築時間とインデックスサイズを比較したものです。

結果から、ネイティブな pgvector ivfflat インデックスと比較して、ivf-RabitQ インデックスはインデックスサイズを 7820 MB から 248 MB に削減し、31 倍以上の圧縮率を達成していることがわかります。また、インデックス構築も高速化されています。

クエリパフォーマンスの比較

ネイティブな pgvector ivfflat インデックスと比較して、RabitQ インデックスは再現率の損失が 1 % 未満でありながら、検索パフォーマンスを数倍向上させることができます。詳細なテスト結果は以下のとおりです。

以下の図は、複数のインデックスタイプを比較した QPS－再現率曲線を示しています。

• pgvector：コミュニティ版のネイティブ HNSW インデックス。

• pgvector_ivfflat：コミュニティ版のネイティブ ivfflat インデックス。

• pgvector_ivfrabitq：ivf-RabitQ インデックス。

• pgvector_hnsw_rabitq：再ランキングステップを含む HNSW-RabitQ インデックス。

• pgvector_hnsw_rabitq_without_refine：再ランキングステップを省略し、量子化距離を直接使用することでクエリパフォーマンスをさらに高めた HNSW-RabitQ インデックス。