Tablestore:トークン化

シングルワードトークン化 (SingleWord)

シングルワードトークン化タイプは、中国語、英語、日本語を含むすべての言語に適用されます。テキストフィールドのデフォルトのトークナイザータイプです。

トークナイザータイプをシングルワードトークン化に設定すると、トークン化は次のように動作します：

• 中国語テキストは 1 文字ずつ分割されます。このトピックの中国語の例は、トークンの境界がわかるようにピンインでローマ字表記しています。例えば、2 文字の都市名 "hangzhou" (Hangzhou) は "hang" と "zhou" に分割されます。"hang" に対するマッチクエリまたはマッチフレーズクエリは、内容に "hangzhou" を含む行を返します。

• 英字と数字は、スペースまたは句読点で分割されます。

  • caseSensitive が false の場合、トークン化は大文字と小文字を区別せず、Tablestore はトークン化された英字を格納する前にすべて小文字に変換します。例えば、"Hang Zhou" は "hang" と "zhou" に分割され、"hang"、"HANG"、または "Hang" に対するマッチクエリまたはマッチフレーズクエリはこの行を返します。

  • caseSensitive が true の場合、トークン化は大文字と小文字を区別し、Tablestore はトークン化された英字を格納する際に元の大文字小文字を保持します。例えば、"Hang Zhou" は "Hang" と "Zhou" に分割され、"Hang" または "Zhou" に対するマッチクエリまたはマッチフレーズクエリはこの行を返します。

• 製品の型番など、数字と英字が結合された用語も、スペースまたは句読点で分割されます。ただし、デフォルトでは、その用語内の数字と英字は分割されません。例えば、"iphone6" は単一のトークン "iphone6" のままです。マッチクエリまたはマッチフレーズクエリは、完全な用語 "iphone6" を指定した場合にのみ行を返し、"iphone" に対するクエリは何も返しません。数字を英字から分割するには、delimitWord パラメーターを true に設定します。この場合、"iphone6" は "iphone" と "6" に分割され、"iphone" または "6" のいずれかに対するマッチクエリまたはマッチフレーズクエリはこの行を返します。

  次の表では、シングルワードトークン化のパラメーターについて説明します。

区切り文字トークン化 (Split)

Tablestore は汎用辞書に基づくトークン化を提供します。ただし、特定の専門分野では、トークン化にカスタム辞書が必要になる場合があります。これに対応するため、Tablestore は区切り文字トークン化 (カスタムトークン化とも呼ばれます) を提供しています。つまり、コンテンツを自分でトークン化し、特定の区切り文字でトークンを結合したうえで、その結果を Tablestore に書き込みます。

区切り文字トークン化タイプは、中国語、英語、日本語を含むすべての言語に適用されます。

テキストフィールドに区切り文字トークン化を設定すると、フィールド値は delimiter パラメーターで指定した値が出現するたびに分割されます。例えば、フィールド値が "badminton,table tennis,rap" で、区切り文字がカンマ (,) の場合、値は "badminton"、"table tennis"、"rap" に分割され、これらのトークンがインデックス化されます。"badminton"、"table tennis"、または "rap" に対するマッチクエリまたはマッチフレーズクエリは、この行を返します。

次の表では、区切り文字トークン化のパラメーターについて説明します。

最小意味トークン化 (MinWord)

最小意味トークン化タイプは中国語に適用され、一般的に全文検索のシナリオで使用されます。

トークナイザータイプを最小意味トークン化に設定すると、システムはテキストフィールドの内容を、意味を持つトークン数が最小になるように分割します。例えば、3 文字の用語 "lihuacha" (pear blossom tea) は "li" と "huacha" に分割され、生成されるトークンは重なりません。別の例として、7 文字の用語 "zhonghuarenmingongheguo" は単一のトークン "zhonghuarenmingongheguo" のまま保持されます。

最大意味トークン化 (MaxWord)

最大意味トークン化タイプは中国語に適用され、一般的に全文検索のシナリオで使用されます。

トークナイザータイプを最大意味トークン化に設定すると、システムは可能な限り多くの意味トークンを分割します。トークン同士は重なり、累積の長さは元のテキストの長さを超え、インデックスサイズも拡張します。例えば、3 文字の用語 "lihuacha" (pear blossom tea) は "lihua" と "huacha" に分割され、"hua" で重なります。別の例として、7 文字の用語 "zhonghuarenmingongheguo" は "zhonghuarenmingongheguo"、"zhonghuarenmin"、"zhonghua"、"huaren"、"renmingongheguo"、"renmin"、"gongheguo"、"gonghe"、"guo" に分割されます。

このトークナイザータイプは生成されるトークン数が多く、クエリ実行時に一致する確率が高くなりますが、インデックスサイズは大幅に拡張します。マッチフレーズクエリよりもマッチクエリに適しています。マッチフレーズクエリを使用する場合、クエリのキーワードも同じ方法でトークン化されるため、位置情報が重なり、データが見つからない可能性があります。

あいまいトークン化 (Fuzzy)

あいまいトークン化タイプは、中国語、英語、日本語を含むすべての言語に適用されます。一般的に、タイトル、映画名、書籍名、ファイル名、ディレクトリ名などの短いテキストを扱うシナリオで使用されます。

あいまいトークン化タイプは、非常に低いレイテンシーで結果を返し、ワイルドカードクエリよりも優れたパフォーマンスを発揮しますが、インデックスサイズは一定程度拡張します。

トークナイザータイプをあいまいトークン化に設定すると、システムはテキストコンテンツに対して N-gram トークン化を実行し、生成される各トークンの長さは minChars から maxChars の範囲になります。これは、ドロップダウン候補などの機能に役立ちます。

ファジークエリを実装するには、あいまいトークン化を使用するカラムに対してマッチフレーズクエリを使用する必要があります。ほかのクエリタイプは使用できません。そのカラムに複数のクエリ要件がある場合は、仮想カラム機能を使用します。仮想カラムの使用方法の詳細については、「仮想カラム」をご参照ください。