Elasticsearch:analysis-ik プラグインの使用

背景情報

analysis-ik プラグインは、トークナイザー、辞書ファイル、辞書更新メカニズムの 3 つの主要コンポーネントで構成されています。

• トークナイザー: 中国語のテキストを意味のある単語 (トークン) に分割し、トークン化の粒度を決定します。

• 辞書ファイル: トークナイザーがトークン化に使用する語彙ベースを提供します。これらのファイルは拡張とカスタマイズをサポートしています。

• 辞書更新メソッド: コールドアップデートとホットアップデートをサポートしています。これにより、必要に応じて辞書を柔軟に調整し、トークン化がビジネス要件を満たすようにできます。

前提条件

• インスタンスが正常なステータスであることを確認してください。インスタンスの [基本情報] ページで インスタンスのステータスを表示 できます。

  説明

  このトピックの操作は、Alibaba Cloud ES 7.10.0 インスタンスで実証されています。コンソールのインターフェイスとサポートされている機能は、バージョン によって異なる場合があります。実際のコンソールインターフェイスが優先されます。

• (オプション) 辞書を更新するには、次のステップを完了する必要があります。

  • [OSS ファイルのアップロード] メソッドを使用して辞書を更新するには、まず OSS バケットを作成 し、必要な辞書ファイルを アップロード する必要があります。

  • [ローカルファイルのアップロード] メソッドを使用して更新するには、まず必要な辞書ファイルをコンピューターに保存します。

IK 辞書の更新

デフォルトの IK 辞書がビジネス要件を満たさない場合は、更新できます。更新する前に、対応する 更新メソッド をよく理解してください。IK トークン化で構成されたインデックスの場合、更新された辞書は、新しく追加および更新されたデータを含む新しいデータにのみ有効になります。更新をすべてのデータに適用したい場合は、インデックスを再作成する必要があります。

analysis-ik プラグインの使用

この例では、IK トークナイザーと Pinyin フィルターを使用して指定されたテキストをトークン化する方法を示します。

1. ES インスタンスの Kibana 開発ツールページに移動します。

   1. Kibana コンソールにログオンします。

   2. 左上隅の アイコンをクリックし、[管理] > [開発ツール] を選択してコードエディタを開きます。

2. インデックスを作成し、IK トークナイザーと Pinyin フィルターを構成します。

   [開発ツール] ページで、次のコマンドを実行して ik_pinyin インデックスと ik_pinyin_analyzer という名前のカスタムアナライザーを作成します。このアナライザーは、ik_max_word の詳細なトークン化ルールと Pinyin フィルターを使用して、中国語の単語を Pinyin に変換します。

   説明

   Pinyin フィルターは、中国語のトークン化が完了した後に実行されます。最初に中国語のテキストをトークン化し、次にトークン化の結果を Pinyin に変換して出力します。

   PUT ik_pinyin
   {
     "settings":{
       "analysis": {
         "filter": {
           "my_pinyin" : {
               "type" : "pinyin",
               "keep_separate_first_letter" : false,
               "keep_full_pinyin" : true,
               "keep_original" : true,
               "limit_first_letter_length" : 16,
               "lowercase" : true,
               "remove_duplicated_term" : true
             }
         },
         "analyzer": {
           "ik_pinyin_analyzer": {
             "type": "custom",
             "tokenizer": "ik_max_word",
             "filter": ["my_pinyin"]
           }
         }
       }
     },
     "mappings":{
       "properties":{
         "text":{
           "type" : "text",
           "analyzer" : "ik_pinyin_analyzer"
         }
       }
     }
   }

   コアパラメーターは次のように説明されます:

   • Pinyin フィルター (filter)

     説明

     Pinyin 分析プラグインの構成の詳細については、「Pinyin Analysis for Elasticsearch」をご参照ください。

     パラメーター	説明
     my_pinyin	定義する Pinyin フィルターの名前。
     type	Pinyin フィルターを指定するには pinyin に設定します。
     keep_separate_first_letter	各文字の最初の文字を保持しないようにするには false に設定します。
     keep_full_pinyin	完全な Pinyin を保持するには true に設定します。
     keep_original	元の入力テキストを保持するには true に設定します。
     limit_first_letter_length	最初の文字の長さを最大 16 文字に制限するには 16 に設定します。
     lowercase	出力 Pinyin に小文字を使用するには true に設定します。
     remove_duplicated_term	重複する term を削除するには true に設定します。たとえば、これにより "zh, zh" のような結果を回避できます。

   • アナライザー (analyzer):

     パラメーター	説明
     ik_pinyin_analyzer	定義するアナライザーの名前。
     type	カスタムアナライザーを指定するには custom に設定します。
     tokenizer	テキストを最も細かい粒度で分割するには ik_max_word に設定します。
     filter	my_pinyin Pinyin フィルターを呼び出すには my_pinyin に設定します。

     次の結果が返され、インデックスが正常に作成されたことを示します。

3. トークン化の結果を確認します。

   次のコードを実行して、入力テキスト This is a test をトークン化できます。

   GET ik_pinyin/_analyze
   {
     "text": "This is a test",
     "analyzer": "ik_pinyin_analyzer"
   }

   期待される結果は次のとおりです。

   {
     "tokens" : [
       {
         "token" : "zhe",
         "start_offset" : 0,
         "end_offset" : 2,
         "type" : "CN_WORD",
         "position" : 0
       },
       {
         "token" : "This is",
         "start_offset" : 0,
         "end_offset" : 2,
         "type" : "CN_WORD",
         "position" : 0
       },
       {
         "token" : "zs",
         "start_offset" : 0,
         "end_offset" : 2,
         "type" : "CN_WORD",
         "position" : 0
       },
       {
         "token" : "shi",
         "start_offset" : 0,
         "end_offset" : 2,
         "type" : "CN_WORD",
         "position" : 1
       },
       {
         "token" : "ge",
         "start_offset" : 2,
         "end_offset" : 3,
         "type" : "CN_CHAR",
         "position" : 2
       },
       {
         "token" : "a",
         "start_offset" : 2,
         "end_offset" : 3,
         "type" : "CN_CHAR",
         "position" : 2
       },
       {
         "token" : "g",
         "start_offset" : 2,
         "end_offset" : 3,
         "type" : "CN_CHAR",
         "position" : 2
       },
       {
         "token" : "ce",
         "start_offset" : 3,
         "end_offset" : 5,
         "type" : "CN_WORD",
         "position" : 3
       },
       {
         "token" : "shi",
         "start_offset" : 3,
         "end_offset" : 5,
         "type" : "CN_WORD",
         "position" : 4
       },
       {
         "token" : "test",
         "start_offset" : 3,
         "end_offset" : 5,
         "type" : "CN_WORD",
         "position" : 4
       },
       {
         "token" : "cs",
         "start_offset" : 3,
         "end_offset" : 5,
         "type" : "CN_WORD",
         "position" : 4
       }
     ]
   }
   

リファレンス

• IK 辞書のホットアップデート用 API: UpdateHotIkDicts

• IK 辞書のコールドアップデート用 API: UpdateDict