ApsaraDB RDS:pgvector ユーザーガイド

背景情報

RDS for PostgreSQL は pgvector 拡張機能をサポートしており、ベクトルデータの保存、ベクトル類似性検索の実行、AI プロダクトへのデータサポートの提供が可能です。

pgvector 拡張機能には、次の特徴があります：

• ベクトルデータを保存し、クエリするための vector データ型をサポートします。

• L2 距離 (ユークリッド)、コサイン類似度、内積など、複数の距離尺度を用いた完全および近似最近傍 (ANN) 検索をサポートします。インデックス構築では、HNSW インデックス、並列 IVFFlat インデックス、要素ごとのベクトル乗算、L1 距離関数、合計集約をサポートします。

• 最大 16,000 ディメンションのベクトルの作成と、最大 2,000 ディメンションのベクトルに対するインデックスの構築をサポートします。

概念と実装の原則

シナリオ

• ベクトルデータの保存

• ベクトル類似性検索の実行

前提条件

RDS for PostgreSQL インスタンスは、次の要件を満たす必要があります：

• インスタンスが PostgreSQL 14 以降のメジャーバージョンを実行していること。

• インスタンスのマイナーエンジンバージョンが 20230430 以降であること。PostgreSQL 17 を実行しているインスタンスの場合、マイナーエンジンバージョンは 20241030 以降である必要があります。

  説明

  メジャーバージョンのアップグレードまたはマイナーエンジンバージョンの更新方法の詳細については、「メジャーエンジンバージョンのアップグレード」または「マイナーエンジンバージョンの更新」をご参照ください。

• RDS for PostgreSQL インスタンスに対して特権アカウントが作成されていること。詳細については、「アカウントの作成」をご参照ください。

拡張機能の管理

使用例

以下に、pgvector の簡単な使用例を示します。詳細については、pgvector 公式ドキュメントをご参照ください。

1. ターゲットデータベースで、テーブル作成権限を持つアカウントを使用して、エンベディングを保存するための `items` という名前のテーブルを作成します。

   CREATE TABLE items (
     id bigserial PRIMARY KEY, 
     item text, 
     embedding vector(2)
   );

   説明

   この例では2次元ベクトルを使用しています。pgvector 拡張機能は、最大 16,000 ディメンションのベクトルの作成をサポートしています。

2. テーブルにベクトルデータを挿入します。

   INSERT INTO
     items (item, embedding)
   VALUES
     ('Apple', '[1, 1]'),
     ('Banana', '[1.2, 0.8]'),
     ('Cat', '[6, 0.4]');

3. コサイン距離演算子 <=> を使用して、バナナとリンゴ、およびバナナとネコの間の距離を計算します。

   SELECT
     item,
     embedding <=> '[1.2, 0.8]' AS cosine_distance
   FROM
     items
   ORDER BY
     cosine_distance;

   説明

   • この例では、<=> 演算子はコサイン距離を直接計算します。距離が小さいほど、類似度が高くなります。

   • L2 距離演算子 <-> または内積演算子 <#> を使用して類似度を計算することもできます。

   結果の例：

    item |  cosine_distance
   ------+----------------------
    Banana  |                    0
    Apple  | 0.019419362524530137
    Cat    | 0.13289443670962842

   結果の例について：

   • バナナの結果は 0 です。これは完全一致 (距離が 0) を示します。

   • リンゴの結果は 0.019 です。これは、リンゴがバナナに非常に近く、類似度が高いことを示します。

   • ネコの結果は 0.133 です。これは、ネコがバナナから遠く、類似度が低いことを示します。

   説明

   アプリケーションで適切な類似度のしきい値を設定して、類似度の低い結果を除外できます。

4. 類似度クエリのパフォーマンスを向上させるために、pgvector はベクトルデータに対するインデックスの構築をサポートしています。次の文を実行して、embedding フィールドにインデックスを構築します。

   HNSW インデックスを作成する

   CREATE INDEX ON items USING hnsw (embedding vector_cosine_ops) WITH (m = 16, ef_construction = 64);

   パラメーターの説明：

   パラメーター	説明
   m	HNSW インデックスを構築する際に、各レイヤーの各ノードの最大近傍数。 値を大きくするとグラフの密度が高まり、通常は取得率が向上します。ただし、インデックスの構築とクエリに必要な時間も増加します。
   ef_construction	HNSW インデックスを構築する際の候補セットのサイズ。これは、最適な接続を選択するために検索プロセス中に保持する候補ノードの数です。 値を大きくすると通常は取得率が向上しますが、インデックスの構築とクエリに必要な時間も増加します。

   IVF インデックスを作成する

   CREATE INDEX ON items USING ivfflat (embedding vector_cosine_ops) WITH (lists = 100);

   パラメーターの説明：

   パラメータ/値	説明
   items	インデックスが追加されるテーブルの名前。
   embedding	インデックスが追加される列の名前。
   vector_cosine_ops	vector インデックスメソッドで指定されたアクセスメソッド。 コサイン類似度検索には、vector_cosine_ops を使用します。 L2 距離には、vector_l2_ops を使用します。 内積類似度には、vector_ip_ops を使用します。
   lists = 100	lists パラメーターは、データセットを分割するリストの数を指定します。値が大きいほど、データセットはより多く分割され、各サブセットのサイズは比較的小さくなり、インデックスのクエリ速度は速くなります。ただし、lists の値が大きくなるにつれて、クエリの取得率が低下する可能性があります。 説明 取得率とは、情報取得または分類タスクにおいて、正しく取得または分類されたサンプルの数を、関連するサンプルの総数で割った比率です。取得率は、システムがすべての関連サンプルを見つける能力を測定するものであり、重要な評価メトリックです。 インデックスの構築には大量のメモリが必要です。lists パラメーターの値が 2000 を超えると、ERROR: memory required is xxx MB, maintenance_work_mem is xxx MB エラーが発生します。ベクトルデータのインデックスを構築するには、より大きな maintenance_work_mem の値を設定する必要があります。この値が大きすぎると、インスタンスはメモリ不足 (OOM) エラーのリスクが高くなります。パラメーターの設定方法については、「インスタンスパラメーターの設定」をご参照ください。 特定のアプリケーションのニーズに合わせて、クエリ速度と取得率のバランスを取るために lists パラメーターの値を調整する必要があります。

   次の2つの方法のいずれかを使用して、ivfflat.probes パラメーターを設定できます。このパラメーターは、インデックスで検索するリストの数を指定します。ivfflat.probes の値を大きくすると、より多くのリストを検索することでクエリの取得率が向上します。

   • セッションレベル

     SET ivfflat.probes = 10;

   • トランザクションレベル

     BEGIN; SET LOCAL ivfflat.probes = 10; SELECT ... COMMIT;

   ivfflat.probes の値が大きいほど、クエリの取得率は向上しますが、クエリ速度は低下します。アプリケーションの要件とデータセットの特性に基づいて、最適なクエリパフォーマンスと取得率を達成するために、lists と ivfflat.probes の値を調整する必要がある場合があります。

   説明

   ivfflat.probes の値がインデックス作成時に指定された lists の値と等しい場合、クエリはベクトルインデックスを無視して全表スキャンを実行するため、クエリのパフォーマンスが低下する可能性があります。

パフォーマンスデータ

ベクトルデータのインデックスを構築する際には、データ量とアプリケーションシナリオに基づいて、クエリ速度と取得率のバランスを取る必要があります。関連するパフォーマンステストの詳細については、以下をご参照ください：

• HNSW インデックスに基づく pgvector パフォーマンス テスト

• pgvector パフォーマンステスト (IVF インデックスベース)

ベストプラクティス

• RDS for PostgreSQL を使用して LLM を活用した専用チャットボットを構築する

• RDS for PostgreSQL を使用して RAG アプリケーションを構築する

• RDS for PostgreSQL と Dify プラットフォームを使用して AI アプリケーションを構築する

• rds_ai 拡張機能を使用して RAG を実装する