AnalyticDB:フルテキストインデックス用アナライザ

アナライザの選択

クラスターバージョンごとのデフォルトアナライザ:

• V3.1.4.15より前のクラスター: AliNLPアナライザ

• V3.1.4.15以降のクラスター: IKアナライザ

クラスターのマイナーバージョンを確認するには、「クラスターのマイナーバージョンを表示する方法

アナライザの指定

FULLTEXT INDEX idx_name(`column_name`) [ WITH ANALYZER analyzer_name ] [ WITH DICT tbl_dict_name];

CREATE TABLE `tbl_fulltext_demo` (
  `id` int,
  `content` varchar,
  `content_alinlp` varchar,
  `content_ik` varchar,
  `content_standard` varchar,
  `content_ngram` varchar,
  `content_edge_ngram` varchar,
  FULLTEXT INDEX fidx_c(`content`),                                           -- Default analyzer
  FULLTEXT INDEX fidx_alinlp(`content_alinlp`) WITH ANALYZER alinlp,
  FULLTEXT INDEX fidx_ik(`content_ik`) WITH ANALYZER ik,
  FULLTEXT INDEX fidx_standard(`content_standard`) WITH ANALYZER standard,
  FULLTEXT INDEX fidx_ngram(`content_ngram`) WITH ANALYZER ngram,
  FULLTEXT INDEX fidx_edge_ngram(`content_edge_ngram`) WITH ANALYZER edge_ngram,
  PRIMARY KEY (`id`)
) DISTRIBUTED BY HASH(id);

形態素解析結果のプレビュー

アナライザをコミットする前に、テキストがどのように形態素解析されるかをテストしてください。各アナライザには専用のテスト関数があり、指定された入力文字列のトークンリストを返します。

すべての形態素解析テストクエリに /*+ mode=two_phase*/ をプレフィックスとして追加しないと、正しく実行されません。

次の例では、すべての​​アナライザで同じ入力 — 'Hello world' — を使用しているため、出力を直接比較できます。

使用法:

/*+ mode=two_phase*/ SELECT fulltext_edge_ngram_test('Hello world');

[hello, world, or]

Patternアナライザは、SQLベースの形態素解析テストをサポートしていません。

AliNLPアナライザ

中国語および多言語テキストに最適です。AliNLPアナライザは、Alibaba Cloud と DAMO アカデミーによって自然言語処理 (NLP) テクノロジーを使用して開発されました。連続した自然言語テキストを意味のあるセグメントに形態素解析し、ユーザー定義のエンティティとストップワード用のカスタム辞書をサポートしています。

対応言語: 中国語、英語、インドネシア語、マレー語、タイ語、ベトナム語、フランス語、スペイン語

• 英語テキストの形態素解析結果:

  /*+ mode=two_phase*/ SELECT fulltext_alinlp_test('Hello world');

  結果:

  [hello,  , world]

次の例は、デフォルト設定での形態素解析結果を示しています。

IKアナライザ

中国語テキストに最適です。IKアナライザは、オープンソースの軽量な中国語アナライザです。粗粒度と詳細粒度の2つのセグメンテーションモードをサポートし、エンティティとストップワード用のカスタム辞書を受け入れます。

• 英語テキストの形態素解析結果:

  /*+ mode=two_phase*/ SELECT fulltext_ik_test('Hello world');

  結果:

  [hello, world, or]

次の例は、デフォルト設定での形態素解析結果を示しています。

Standardアナライザ

英語テキストに最適です。Standardアナライザは言語固有のルールを適用します。英語の場合、テキストを小文字に変換し、ストップワードと句読点を削除してから形態素解析します。中国語の場合、テキストを個々の文字に分割します。カスタム辞書をサポートしています。

• 英語テキストの形態素解析結果:

  /*+ mode=two_phase*/ SELECT fulltext_standard_test('Hello world');

  結果:

  [hello, world]

次の例は、デフォルト設定での形態素解析結果を示しています。

Ngramアナライザ

あいまい部分文字列検索に最適です。Ngramアナライザは、テキストを固定長のすべての可能な部分文字列に分割するため、部分一致クエリに効果的です。カスタム辞書をサポートしています。

• 英語テキストの形態素解析結果:

  /*+ mode=two_phase*/ SELECT fulltext_ngram_test('Hello world');

  結果:

  [he, el, ll, lo, o ,  w, wo, or, rl, ld]

次の例は、デフォルト設定での形態素解析結果を示しています。

Edge_ngramアナライザ

プレフィックス検索と自動補完 (入力時の検索) に最適です。Edge_ngramアナライザは、増加する長さのプレフィックストークンを生成します。たとえば、h、次に he のように、単語の先頭から一致させるのに理想的です。カスタム辞書をサポートしています。

ヒント: Edge_ngramは、検索語が単語の先頭に表示される場合にうまく機能します。テキスト内の任意の場所でのあいまい部分文字列一致には、代わりにNgramアナライザを使用してください。

• 英語テキストの形態素解析結果。

  /*+ mode=two_phase*/ SELECT fulltext_edge_ngram_test('Hello world');

  結果:

  [h, he]

次の例は、デフォルト設定での形態素解析結果を示しています。

Patternアナライザ

カスタムデリミタに最適です。Patternアナライザは、定義した正規表現パターンで分割することによりテキストを形態素解析します。カスタム辞書やSQLベースの形態素解析テストはサポートしていません。

FULLTEXT INDEX fidx_name(`column_name`) WITH ANALYZER pattern_tokenizer("Custom_rule") [ WITH DICT `tbl_dict_name` ];

アナライザ構成の管理

show adb_config key <analyzer_param>;

show adb_config key FULLTEXT_NGRAM_TOKEN_SIZE;

SELECT `key`, `value`, `update_time`
FROM INFORMATION_SCHEMA.kepler_meta_configs
WHERE key = '<analyzer_param>';

SELECT `key`, `value`, `update_time`
FROM INFORMATION_SCHEMA.kepler_meta_configs
WHERE key = 'FULLTEXT_NGRAM_TOKEN_SIZE';

set adb_config <analyzer_param>=<value>;

set adb_config FULLTEXT_NGRAM_TOKEN_SIZE=3;