AnalyticDB:Nova BM25 クイックスタート

ステップ 1：サンプルデータの準備

サンプルテーブルを作成し、後続の全文検索操作用のテストデータを挿入します。

DROP TABLE IF EXISTS docs;

CREATE TABLE docs (
    id         BIGINT PRIMARY KEY,
    title      TEXT,
    body       TEXT,
    category   TEXT,
    rating     INT,
    publish_at TIMESTAMP
) DISTRIBUTED BY (id);

INSERT INTO docs(id, title, body, category, rating, publish_at) VALUES
    (1, 'Database System Design', 'PostgreSQL supports full-text search and transaction processing', 'tech', 5, '2024-01-01 10:00:00'),
    (2, 'Search Engine Development', 'BM25 ranking is used for full-text search relevance computation', 'tech', 5, '2024-02-01 10:00:00'),
    (3, 'Vector Search Practice', 'Hybrid search combines vector recall and keyword recall', 'tech', 4, '2024-03-01 10:00:00'),
    (4, 'User Profile Analysis', 'Real-time profile processing for recommendation systems', 'biz', 3, '2024-04-01 10:00:00'),
    (5, 'Punctuation Test', 'Database, full-text search; query optimization! BM25 ranking.', 'tech', 4, '2024-05-01 10:00:00');

実際のテーブルでこの例に示されている列名を使用する必要はありません。全文検索が必要なテキスト列と、フィルタリングに使用したいカテゴリ、数値、またはタイムスタンプ列を BM25 インデックスに含めるだけです。

ステップ 2：中国語の BM25 インデックスの作成

サンプルテーブルに BM25 インデックスを作成し、各フィールドの目的に基づいて、異なるトークナイザーとフィールドタイプを設定します。

CREATE INDEX docs_bm25_idx ON docs
USING nova_bm25 (body, title, category, rating, publish_at)
WITH (
    text_fields = '{
      "body": {"tokenizer": {"type": "jieba"}},
      "title": {"tokenizer": {"type": "jieba"}},
      "category": {"tokenizer": {"type": "keyword"}}
    }',
    numeric_fields = '{"rating": {}}',
    datetime_fields = '{"publish_at": {}}'
);

上記の WITH 句では、各フィールドをその目的に基づいて設定します。text_fields の tokenizer.type は、各テキストフィールドに使用されるトークナイザーを指定します。

• 全文検索が必要な中国語のテキスト列 (body や title など) は、 text_fields で設定し、 jieba トークナイザーを使用します。

• カテゴリ、ステータス、テナント、enum 値など、完全一致が必要なテキスト列も text_fields で設定しますが、 keyword トークナイザーを使用して、形態素解析を行わずに値全体を照合します。

• 評価や価格などの数値列は、 numeric_fields で設定します。

• 公開時刻や更新時刻などのタイムスタンプ列は、 datetime_fields で設定します。

ステップ 3：最初のクエリの実行

次の SQL 文を使用して、 body フィールドに対して BM25 全文検索を実行します。クエリテキストは「database full-text search」です。 bm25.match 関数は、フィールドのトークナイザーに基づいて入力を自動的に形態素解析します。デフォルトでは、いずれかのトークンに一致するドキュメントが返され、結果は BM25 スコアによってランク付けされます。

SELECT
    id,
    title,
    bm25.score(docs) AS score
FROM docs
WHERE body @@@ bm25.match('database full-text search')
ORDER BY bm25.score(docs) DESC
LIMIT 10;

上記の SQL 文の主な構成要素は次のとおりです。

• body @@@ bm25.match(...)： body フィールドで BM25 全文検索を実行します。

• bm25.score(docs)：BM25 の関連性スコアを返します。スコアが高いほど、関連性が高いことを示します。

• ORDER BY bm25.score(docs) DESC：結果を関連性スコアの降順で並べ替え、最も関連性の高い結果を最初に表示します。

クエリ結果の例を次の表に示します。 score の正確な値は、バージョンやトークナイザーの設定によって若干異なる場合があります。

実際には、検索テキストを bm25.match に渡すだけで全文検索を実行できます。