AnalyticDB:ベクトル検索と全文検索による双方向取得

カテゴリ 1：ブルートフォースクエリ

オプティマイザーは、構造化条件に一致するすべての行をフェッチし、ベクトル距離でソートして、最も近い 100 行を返します。これにより 100% の再現率が保証されますが、構造化条件が多数の行に一致する場合は低速になります。

QUERY PLAN
-----------------------------------------------------------------------------------
 LIMIT
     ->  Gather Motion 3:1  (slice1; segments: 3)
         Merge Key: (l2_squared_distance($0, feature))
             ->  LIMIT
                 ->  Sort
                     Sort Key: (l2_squared_distance($0, feature))
                     ->  Index Scan using products_price_idx on products
                         Index Cond: the filter condition for the price column.
                         Filter: the filter condition for the time column.

 Optimizer: Postgres query optimizer

カテゴリ 2：純粋なベクトル検索と構造化フィルタリング

オプティマイザーは、ベクトルインデックスに N 個の最も類似した行をクエリし、その後、構造化条件でフィルタリングします。これは高速ですが、構造化条件の選択性が高い場合、最終的な結果がリクエストされた行数よりも少なくなる可能性があります。

QUERY PLAN
-----------------------------------------------------------------------------------
 LIMIT
    ->  Gather Motion 3:1  (slice1; segments: 3)
        Merge Key: ((feature <-> $0))
            ->  LIMIT
                ->  Ann Index Scan using products_feature_idx on products
                    ORDER BY: (feature <-> $0)
                    Filter: the filter condition for the price and time columns.

 Optimizer: Postgres query optimizer

カテゴリ 3：ハイブリッド検索 (ベクトル + 構造化インデックス)

この計画は両方のアプローチを組み合わせたものです。構造化条件列にインデックスがあり、そのインデックスタイプがビットマップをサポートしている場合、オプティマイザーは構造化インデックスからビットマップを生成し、それをベクトルインデックススキャンにプッシュします。これにより、再現率を維持しながらフィルタリングを高速化します。

QUERY PLAN
-----------------------------------------------------------------------------------
 LIMIT
     ->  Gather Motion 3:1  (slice1; segments: 3)
         Merge Key: ((feature <-> $0))
         ->  LIMIT
             ->  Fusion Ann Scan
                 ->  Bitmap Index Scan on products_price_idx
                     Index Cond: the filter condition for the price column.
                     ->  Ann Index Scan with filter using products_feature_idx on products
                         ORDER BY: (feature <-> $0)
                         Filter: the filter condition for the time column.

 Optimizer: Postgres query optimizer

2 つの実行計画ノードは、ハイブリッド検索が利用中であることを示します：

• Ann Index Scan with filter：フィルター条件をベクトルインデックスにプッシュダウンし、フィルタリングとインデックススキャンを組み合わせます。

• Fusion Ann Scan：構造化条件列がサポートされているインデックスを持つ場合に使用されます。構造化インデックス (左サブツリー) からビットマップを生成し、そのビットマップをベクトルインデックススキャン (右サブツリー) にプッシュします。右サブツリーは Ann Index Scan (ビットマップのみ) または Ann Index Scan with filter (ビットマップと追加のフィルター条件) のいずれかです。

前提条件

開始する前に、以下を確認してください：

• AnalyticDB for PostgreSQL V6.0 または V7.0 インスタンス

• テーブルとインデックスを作成する権限

半構造化フィールドフィルタリングの設定

1. テーブルを作成します。

   CREATE TABLE stock_analysis_chunks (
       id serial primary key,
       chunk varchar(1024),
       release_time timestamp,
       stock_id_list integer[],
       url varchar(1024),
       feature real[]
   ) distributed by (id);

2. ベクトル列のストレージモードを PLAIN に設定します。

   ALTER TABLE stock_analysis_chunks ALTER COLUMN feature SET STORAGE PLAIN;

3. ベクトルインデックスを作成します。

   CREATE INDEX ON stock_analysis_chunks USING ann(feature) WITH (dim=1536, distancemeasure=cosine, hnsw_m=64, pq_enable=1, hnsw_ef_construction=128);

4. 構造化列と半構造化列のインデックスを作成します。

   -- 構造化列に B-tree インデックスを作成します。
   CREATE INDEX ON stock_analysis_chunks(release_time);
   -- 半構造化列に GIN インデックスを作成します。
   CREATE INDEX ON stock_analysis_chunks USING gin(stock_id_list);

5. 統計情報を収集します。

   ANALYZE stock_analysis_chunks;

6. ハイブリッド検索クエリを実行します。以下のクエリは、2023 年 7 月 18 日から 8 月 18 日の間に公開され、指定された 4 つの株式すべてに言及している株式分析記事を、クエリベクトルとのセマンティック類似性でランク付けして返します：

   SELECT id, url, cosine_similarity(feature, array[1.0, 2.0, ..., 1536.0]::real[]) as score
   FROM stock_analysis_chunks
   WHERE release_time >= '2023-07-18 00:00:00' AND release_time <= '2023-08-18 00:00:00' AND stock_id_list @> ARRAY['BABA', 'AAPL', 'MSFT', 'AMZN']
   ORDER BY feature <=> array[1.0, 2.0, ..., 1536.0]::real[]
   LIMIT 10;

前提条件

開始する前に、以下を確認してください：

• AnalyticDB for PostgreSQL V6.0 または V7.0 インスタンス

• テーブル、インデックス、および関数を作成する権限

双方向取得の設定

1. テーブルを作成します。to_tsvector 列には、事前に計算された全文検索トークンが格納されます。

   行を挿入する際に、PostgreSQL の to_tsvector() 関数を使用して to_tsvector 列にデータを入力します。例：to_tsvector('english', text)。行を更新する際は、この列を text 列と同期させてください。

   -- vector：ベクトル列。to_tsvector：全文検索トークナイザー列。
   CREATE TABLE IF NOT EXISTS documents(
                   id TEXT,
                   docname TEXT,
                   title TEXT,
                   vector real[],
                   text TEXT,
                   to_tsvector TSVECTOR);

2. ベクトル列のストレージモードを PLAIN に設定します。

   ALTER TABLE documents ALTER COLUMN vector SET STORAGE PLAIN;

3. インデックスを作成します。

   • ベクトル列にベクトルインデックスを作成します。

     CREATE INDEX ON documents USING ann(vector) WITH (dim=1024, distancemeasure=cosine, hnsw_m=64, pq_enable=1, hnsw_ef_construction=128);

   • 全文検索トークナイザー列に GIN インデックスを作成します。

     CREATE INDEX ON documents USING gin(to_tsvector);

4. クエリテキストを tsquery に変換するためのヘルパー関数を作成します。

   CREATE OR REPLACE FUNCTION public.to_tsquery_from_text(txt text, lang regconfig DEFAULT 'english'::regconfig)
    RETURNS tsquery
    LANGUAGE sql
    IMMUTABLE STRICT
   AS $function$ SELECT to_tsquery(lang, COALESCE(string_agg(split_part(word, ':', 1), ' | '), '')) FROM (SELECT UNNEST(STRING_TO_ARRAY(TO_TSVECTOR(lang, txt)::text, ' ')) AS TEXT) AS words_only;$function$

5. 双方向取得クエリを実行します。このクエリでは、共通テーブル式 (CTE) を使用して両方の検索を実行し、結果をマージします。最初のブランチはベクトル類似性によって上位 10 行を取得し、2 番目のブランチは全文検索の関連性によって上位 10 行を取得します。UNION ALL は両方のセットを結合し、外側の SELECT は id で重複排除し、両方のメソッドで見つかった行に対しては高い方の類似度スコアを採用します。

   結果の列

   列	説明
   similarity	この行に対するベクトル検索または全文検索のいずれか高い方のスコア
   source	どのメソッドが行を見つけたかを示すビットマスク：1 = ベクトルのみ、2 = 全文検索のみ、3 = 両方

   WITH combined AS (
      (
        SELECT
           id,
           docname,
           text,
           cosine_similarity(densevec,ARRAY{embedding}::real[]) AS similarity,
           1 AS source
        FROM
           documents
        ORDER BY vector <=> ARRAY[10,2.0,…, 1024.0]
        LIMIT 10
      )
      UNION ALL
      (
        SELECT
           id,
           docname,
           text,
           ts_rank(to_tsvector, to_tsquery_from_text('{query.query}', 'zh_cn'), 32) AS similarity,
           2 AS source
        FROM
           documents
        WHERE to_tsvector@@to_tsquery_from_text('{query.query}', 'zh_cn')
        ORDER BY similarity DESC
        LIMIT 10
      )
   )
   SELECT id, docname, title, text, MAX(similarity) AS similarity,
                   BIT_OR(source) AS source
                   FROM combined
                   GROUP BY id
                   ORDER BY similarity DESC;

   クエリは最大で 20 行を返します (ベクトル検索から 10 行 + 全文検索から 10 行、id で重複排除)。

   ベクトル検索と全文検索のバランス調整

   デフォルトでは、クエリはベクトル類似度スコアと全文検索関連性スコアに同じ重みを与えます。一方のメソッドを優先するには、UNION ALL の前にあるいずれかのブランチで類似度の値を乗算します。たとえば、全文検索の結果の重みを 2 倍にするには、2 番目のブランチで ts_rank(...) AS similarity を ts_rank(...) * 2 AS similarity に置き換えます。