ApsaraDB RDS:中国語形態素解析 (zhparser)

前提条件

開始する前に、以下の点を確認してください。

• RDS インスタンスで PostgreSQL 10 以降が実行されていること

• マイナーエンジンバージョンが 20230830 以降であること。PostgreSQL 17 の場合、マイナーエンジンバージョンは 20241030 以降である必要があります

• zhparser がインスタンスの shared_preload_libraries パラメーターに追加されていること。手順については、「ApsaraDB RDS for PostgreSQL インスタンスのパラメーターの変更」をご参照ください

zhparser の有効化

以下の文を実行して、拡張機能を作成し、testzhcfg という名前のテキスト検索構成を設定します。

CREATE EXTENSION zhparser;
CREATE TEXT SEARCH CONFIGURATION testzhcfg (PARSER = zhparser);
ALTER TEXT SEARCH CONFIGURATION testzhcfg ADD MAPPING FOR n,v,a,i,e,l WITH simple;
-- オプション：より細かい分割のため、短単語の複合化を有効化
ALTER ROLE CURRENT_ROLE SET zhparser.multi_short=on;

ADD MAPPING FOR n,v,a,i,e,l 行では、6 つの主要トークンタイプ（n、v、a、i、e、l）を simple 辞書にマップします。

分割結果の検証

PostgreSQL のフルテキスト検索では、以下の 3 つの主要関数が使用されます。

zhparser によるテキスト分割が正しく行われていることを確認するには、以下のテストクエリを実行します。

-- 生トークン出力のテスト
-- tokid はトークンタイプを識別する ID
SELECT * FROM ts_parse('zhparser', 'hello world! 2010年保障房建設在全国範囲内獲全面啟動，從中央到地方紛紛加大 了 保 障 房 的 建 設 和 投 入 力 度 。 2011年，保障房進入了更大規模的建設階段。 住房城鄉建設部黨組書記、部長姜偉新去年底在全国住房城鄉建設工作會議上表示，要繼續推進保障性安居工程建設。 ');

-- テキストをインデックス作成に使用する正規化されたレクシームリスト (tsvector) に変換
SELECT to_tsvector('testzhcfg','"今年保障房新開工數量雖然有所下調，但實際的年度在建規模以及竣工規模會超以往年份，相對應的對資金的需求也會創歷史紀錄。"陳國強說。 在他看來，與2011年相比，2012年的保障房建設在資金配套上的壓力將更為嚴峻。 ');

-- 検索フレーズを @@ 演算子で使用可能な tsquery に変換
SELECT to_tsquery('testzhcfg', '保障房資金壓力');

フルテキストインデックスの作成とクエリ実行

zhparser を有効化した後、検索対象の列に GIN (Generalized Inverted Index) インデックスを作成します。以下の例では、テーブル t1 の name 列にフルテキストインデックスを作成します。

-- t1 および name を実際のテーブル名および列名に置き換えてください
CREATE INDEX idx_t1 ON t1 USING gin (to_tsvector('testzhcfg', upper(name)));

@@ 演算子を使用して、検索クエリに対して行を照合します。

SELECT * FROM t1 WHERE to_tsvector('testzhcfg', upper(t1.name)) @@ to_tsquery('testzhcfg', '(防火)');

カスタム単語セグメントの追加

組み込み辞書で正しく分割されないドメイン固有の用語を追加するには、pg_ts_custom_word に挿入します。

以下の例では、保障房資 を単一の単語セグメントとして追加します。

-- 現在の分割結果を確認
SELECT to_tsquery('testzhcfg', '保障房資金壓力');

-- 新しい単語セグメントを追加
INSERT INTO pg_ts_custom_word VALUES ('保障房資');

-- 変更を反映させるために辞書を同期
SELECT zhprs_sync_dict_xdb();

-- データベースへの再接続（新しいセッションで更新された辞書が有効になります）
\c

-- 新しい分割結果を確認
SELECT to_tsquery('testzhcfg', '保障房資金壓力');