AnalyticDB:パフォーマンス専有型 BM25 全文検索

pgsearch.tokenizer() 関数

pgsearch.tokenizer() はトークナイザー設定文字列を生成します。pgsearch.field() と組み合わせて使用することで、トークナイザーやステミング、ストップワード除去などのフィルターを適用できます。

pgsearch.tokenizer(<name>, <min_gram>, <max_gram>, <prefix_only>, <search>, <hmm>, <dict>, <stopword>, <lowercase>, <remove_long>, <stemmer>)

テキストフィールドの検索

単語またはフレーズを検索します。複数語からなるフレーズは二重引用符で囲んでください。

-- 「keyboard」という単語を検索
SELECT * FROM mock_items
ORDER BY description @@@ pgsearch.config('description:keyboard');

-- 「hello world」という正確なフレーズを検索
SELECT * FROM mock_items
ORDER BY description @@@ pgsearch.config('description:"hello world"');

JSON フィールドの検索

-- metadata に {"color": "white"} を含む行を検索
SELECT * FROM mock_items
ORDER BY metadata @@@ pgsearch.config('metadata.color:white');

日時フィールドの検索

日時フィールドは UTC タイムゾーンおよび RFC 3339 フォーマットを使用します。

SELECT * FROM mock_items
ORDER BY created_at @@@ pgsearch.config('created_at:"2023-05-01T09:12:34Z"')
LIMIT 10;

数値およびブール値フィールドのフィルタリング

数値およびブール値フィールドのフィルター式は pgsearch.config() 内で使用します。インデックスフィールドに対するフィルターは、標準 SQL の WHERE 句よりも高速です。

-- description の全文検索を行い、rating が 4 未満にフィルタリング
SELECT * FROM mock_items
ORDER BY description @@@ pgsearch.config('description:keyboard AND rating:<4');

近接検索

~N を使用して、最大 N 語離れた語をマッチさせます。

-- 「ergonomic keyboard」の間に最大 1 語を挟んでマッチ
SELECT * FROM mock_items
ORDER BY description @@@ pgsearch.config('description:"ergonomic keyboard"~1');

ブール演算子

AND、OR、および NOT を使用して検索語を組み合わせます。条件をグループ化するには括弧を使用します。

SELECT * FROM mock_items
ORDER BY description @@@ pgsearch.config('description:keyboard OR category:toy');

ランキング強化

^ の後に倍率を指定して、特定の語の BM25 スコアを強化し、該当行を検索結果の上位に表示できます。

SELECT * FROM mock_items
ORDER BY description @@@ pgsearch.config('description:keyboard^2 OR category:electronics^3');

セット検索（IN 演算子）

IN 演算子は複数の OR 条件と同等ですが、CPU 使用量が少ないです。各フレーズは 1 つのトークンを生成する必要があります。

SELECT * FROM mock_items
ORDER BY description @@@ pgsearch.config('description:IN [keyboard toy]');

ページネーション

SELECT * FROM mock_items
ORDER BY description @@@ pgsearch.config('description:socks')
OFFSET 2 LIMIT 10;

タームセット検索

配列内のいずれかのタームに一致する行を検索します。

SELECT * FROM mock_items ORDER BY description @@@ pgsearch.config(
    query => pgsearch.term_set(
        terms => ARRAY[
            pgsearch.term(field => 'description', value => 'socks'),
            pgsearch.term(field => 'description', value => 'novel')
        ]
    )
);

フレーズ検索

指定された順序でキーワード配列を含む行を検索します。インデックスの record オプションを position に設定する必要があります。

SELECT * FROM mock_items ORDER BY description @@@ pgsearch.config(
    query => pgsearch.phrase(
        field => 'description',
        phrases => ARRAY['little', 'red', 'riding', 'hood'],
        slop => 0
    )
);

フレーズプレフィックス検索

指定された順序のキーワードシーケンスで始まる行を検索します。

SELECT * FROM mock_items ORDER BY description @@@ pgsearch.config(
    query => pgsearch.phrase_prefix(
        field => 'description',
        phrases => ARRAY['little', 're'],
        max_expansion => 1
    )
);

トークナイザーターム検索

指定されたトークナイザーでクエリをセグメント化し、生成されたトークンを検索します。トークン間でブール論理をサポートします。

SELECT * FROM mock_items ORDER BY description @@@ pgsearch.config(
    pgsearch.tokenizer_terms('description', '朝阳百货', pgsearch.tokenizer('jieba'), 'OR')
);

ファジーターム検索

指定された編集距離（レーベンシュタイン距離）内で語をマッチさせ、スペルミスがあっても結果を返します。

SELECT * FROM mock_items ORDER BY description @@@ pgsearch.config(
    query => pgsearch.fuzzy_term(
        field => 'description',
        value => 'wow',
        distance => 2,
        tranposition_cost_one => true,
        prefix => true
    )
);

範囲検索

数値または日時の範囲内の値を検索します。

SELECT * FROM mock_items ORDER BY rating @@@ pgsearch.config(
    query => pgsearch.range(
        field => 'rating',
        range => '[1,4)'::int4range
    )
);

正規表現検索

正規表現パターンに一致する語を含む行をマッチさせます。

SELECT * FROM mock_items ORDER BY description @@@ pgsearch.config(
    query => pgsearch.regex(
        field => 'description',
        pattern => '(glass|screen|like|cloth|phone)'
    )
);

ブールクエリ

must、must_not、および should 条件を使用してサブクエリを組み合わせます。

SELECT * FROM mock_items ORDER BY description @@@ pgsearch.config(
    query => pgsearch.boolean(
        should => ARRAY[
            pgsearch.parse('description:socks'),
            pgsearch.phrase_prefix(field => 'description', phrases => ARRAY['book']),
            pgsearch.term(field => 'description', value => 'writer'),
            pgsearch.fuzzy_term(field => 'description', value => 'wow')
        ],
        must_not => ARRAY[
            pgsearch.term(field => 'description', value => 'writer')
        ],
        must => ARRAY[
            pgsearch.term(field => 'rating', value => 4)
        ]
    )
);

ランキングブースト

サブクエリの BM25 スコアに定数を乗算して、その結果をランキングの上位に表示します。

SELECT * FROM mock_items ORDER BY description @@@ pgsearch.config(
    query => pgsearch.boost(query => pgsearch.parse('description:socks'), boost => 2)
);

定数スコア検索

サブクエリに一致するすべての行に固定スコアを割り当て、BM25 スコア計算をバイパスします。

SELECT * FROM mock_items ORDER BY description @@@ pgsearch.config(
    query => pgsearch.const_score(query => pgsearch.all(), score => 2)
);

最大選言検索

複数のサブクエリに対して行をマッチさせます。より多くのサブクエリに一致する行ほど高いスコアになります。

SELECT * FROM mock_items ORDER BY description @@@ pgsearch.config(
    query => pgsearch.disjunction_max(
        disjuncts => ARRAY[
            pgsearch.parse('description:socks'),
            pgsearch.parse('description:Generic')
        ],
        tie_breaker => 0.75
    )
);

全件検索

インデックスフィールドを持つすべての行を返します。各行のスコアは 1.0 になります。

SELECT * FROM mock_items ORDER BY description @@@ pgsearch.config(
    query => pgsearch.all()
);

空検索

行を返しません。テストシナリオやエッジケースでのプレースホルダーとして使用します。

SELECT * FROM mock_items ORDER BY description @@@ pgsearch.config(
    query => pgsearch.empty()
);