Elasticsearch:IK アナライザープラグイン (analysis-ik) の使用

形態素解析ルール

IK アナライザーは、2 つの形態素解析ルールをサポートしています。

• ik_max_word: 最も細かい粒度でテキストを分割し、単語ベースのクエリに最適です。

• ik_smart: テキストをより粗い粒度で分割し、フレーズベースのクエリに最適です。

辞書タイプ

IK アナライザーは、以下の辞書タイプをサポートしています。

辞書更新方法

デフォルトがニーズに合わない場合は、辞書を更新します。IK アナライザーは、以下の方法をサポートしています。

コールドアップデート

コールドアップデートを実行するには、次の手順を実行します。

1. インスタンスの詳細ページに移動します。

   1. Alibaba Cloud Elasticsearch コンソールにログオンします。

   2. 左側のナビゲーションペインで、Elasticsearch クラスター をクリックします。

   3. 上部のメニューバーで、リソースグループとリージョンを選択します。

   4. Elasticsearch インスタンスリストで、対象のインスタンス ID をクリックして、詳細ページに移動します。

2. analysis-ik プラグインのコールドアップデートページに移動します。

   1. 左側のナビゲーションペインで、設定と管理 > プラグイン設定を選択します。

   2. ビルトインプラグインリスト タブで、analysis-ik プラグインを見つけ、アクション 列にある 標準アップグレード をクリックします。

3. コールドアップデートを実行します。

   1. IK 辞書設定 - コールドパッチ ダイアログボックスで、対象の辞書の横にある 編集 をクリックし、指示に従って必要な辞書ファイルをアップロードしてから、保存 をクリックします。

      辞書ファイルは、以下のいずれかの方法でアップロードできます。

      • [ローカルファイルのアップロード]： アイコンをクリックするか、指示に従ってローカルファイルをドラッグ & ドロップします。

      • [OSS ファイルのアップロード]: バケット名と辞書ファイル名を入力し、追加 をクリックします。

        • バケットと Alibaba Cloud ES インスタンスは、同じリージョンにある必要があります。

        • OSS 辞書ファイルは自動的に同期されません。ソースファイルが変更された場合は、辞書更新を実行して変更を適用してください。

      説明

      • 各辞書タイプは、DIC 形式のファイルを 1 つのみサポートします。アップロードされたファイルは、元の辞書を置き換えます。

      • 辞書ファイル名は .dic で終わる必要があります。ファイル名には、英字、数字、およびアンダースコアを含めることができ、文字数は 30 文字を超えてはなりません。

      • 辞書をデフォルトのファイルに復元するには、デフォルトのファイルをダウンロードして再アップロードしてください。デフォルトの辞書ファイルは、以下のリンクから入手できます。

        • メイン辞書 (main.dic)

        • ストップワード辞書 (stopword.dic)

        • 前置詞辞書 (preposition.dic)

        • 量詞辞書 (quantifier.dic)

   2. リスクの確認を選択し、OK をクリックしてインスタンスを再起動します。

      インスタンスが再起動すると、辞書の更新が完了します。

4. (オプション) 辞書の更新が有効になったかどうかをテストします。

   1. Kibana コンソールにログオンします。

   2. 左上隅にある アイコンをクリックし、[管理] > Developer Tools を選択してコードエディターを開きます。

      次のコードを実行して、入力テキスト Chinese character input method for computers を粗粒度にトークン化します。

      説明

      実際には、text の値を辞書の単語に置き換えます。

      GET _analyze
      {
        "analyzer": "ik_smart",
        "text": "计算机汉字输入方法"
      }

      期待される応答は次のとおりです。

      {
        "tokens" : [
          {
            "token" : "计算机",
            "start_offset" : 0,
            "end_offset" : 3,
            "type" : "CN_WORD",
            "position" : 0
          },
          {
            "token" : "汉字输入",
            "start_offset" : 3,
            "end_offset" : 7,
            "type" : "CN_WORD",
            "position" : 1
          },
          {
            "token" : "方法",
            "start_offset" : 7,
            "end_offset" : 9,
            "type" : "CN_WORD",
            "position" : 2
          }
        ]
      }

ホットアップデート

ホットアップデートを実行するには、次の手順を実行します。

1. インスタンスの詳細ページに移動します。

   1. Alibaba Cloud Elasticsearch コンソールにログオンします。

   2. 左側のナビゲーションペインで、Elasticsearch クラスター をクリックします。

   3. 上部のメニューバーで、リソースグループとリージョンを選択します。

   4. Elasticsearch インスタンスリストで、対象のインスタンス ID をクリックして、詳細ページに移動します。

2. analysis-ik プラグインのホットアップデートページに移動します。

   1. 左側のナビゲーションペインで、設定と管理 > プラグイン設定を選択します。

   2. ビルトインプラグインリスト タブで、analysis-ik プラグインを見つけ、アクション 列の ローリングアップグレード をクリックします。

3. ホットアップデートを実行します。

   1. IK 辞書設定 - ホットパッチ ダイアログボックスで、対象の辞書の横にある 編集 をクリックし、指示に従って必要な辞書ファイルをアップロードした後、保存 をクリックします。

      辞書ファイルは、以下のいずれかの方法でアップロードできます。

      • [ローカルファイルのアップロード]： アイコンをクリックするか、指示に従ってローカルファイルをドラッグ & ドロップします。

      • [OSS ファイルのアップロード]: バケット名と辞書ファイル名を入力し、追加 をクリックします。

        • バケットと Alibaba Cloud ES インスタンスは、同じリージョンにある必要があります。

        • OSS 辞書ファイルは自動的に同期されません。ソースファイルが変更された場合は、辞書更新を実行して変更を適用してください。

      説明

      • 複数の辞書ファイルをアップロードできます。ファイル名は .dic で終わる必要があります。ファイル名には英字、数字、アンダースコアを使用でき、文字数は 30 文字以内にする必要があります。

      • アップロード済みの辞書ファイルを変更するには、その横にある アイコンをクリックしてファイルをダウンロードし、編集します。次に、元のファイルを削除し、更新したファイルを再アップロードします。元のファイルを削除した後、Save をクリックします。そうしないと、システムによって同じ名前のファイルがすでに存在すると報告されます。

   2. OK をクリックし、ES ノードが辞書の読み込みを完了するまで待ちます。

      ES ノードは辞書ファイルを自動的に読み込みます。各ノードは、それぞれ異なるタイミングで辞書を読み込みます。すべてのノードが完了するまで待ってください。

4. (オプション) 辞書の更新が有効になったかどうかをテストします。

   1. Kibana コンソールにログオンします。

   2. 左上隅にある アイコンをクリックし、[管理] > Developer Tools を選択してコードエディターを開きます。

      次のコードを実行して、入力テキスト Chinese character input method for computers を粗粒度にトークン化します。

      説明

      実際には、text の値を辞書の単語に置き換えます。

      GET _analyze
      {
        "analyzer": "ik_smart",
        "text": "计算机汉字输入方法"
      }

      期待される応答は次のとおりです。

      {
        "tokens" : [
          {
            "token" : "计算机",
            "start_offset" : 0,
            "end_offset" : 3,
            "type" : "CN_WORD",
            "position" : 0
          },
          {
            "token" : "汉字输入",
            "start_offset" : 3,
            "end_offset" : 7,
            "type" : "CN_WORD",
            "position" : 1
          },
          {
            "token" : "方法",
            "start_offset" : 7,
            "end_offset" : 9,
            "type" : "CN_WORD",
            "position" : 2
          }
        ]
      }

英数字混在単語の形態素解析の最適化

ik_max_word トークナイザーを使用すると、fawjh6bcm のような英数字が混在した文字列が、検索で効果的にトークン化されない場合があります。再現率を向上させるには、enable_single_word パラメーターを true に設定します。これにより、混合単語が 1 文字のトークンに分割され、文字レベルのマッチングが可能になります。

以下の例では、enable_single_word を有効にしてカスタムアナライザーを作成します：

PUT my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ik_single_char_analyzer": {
          "type": "custom",
          "tokenizer": "my_ik_tokenizer"
        }
      },
      "tokenizer": {
        "my_ik_tokenizer": {
          "type": "ik_max_word",
          "enable_single_word": true
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "ik_single_char_analyzer"
      }
    }
  }
}

中英混在検索のための N-gram トークナイザーの使用

中国語テキストと混在する、連結された英語のモデル番号 (jh6bcm など) を検索する場合、IK アナライザーだけでは部分一致に効果的なトークンを生成できない場合があります。このようなシナリオでは、ngram トークナイザーを使用して IK アナライザーを補完または置換します。

N-gram トークナイザーは、テキストを設定可能な長さの連続文字シーケンスに分割し、連結文字列の部分文字列マッチングを可能にします。

以下の例では、N-gram トークナイザーを使用するインデックスを作成します。

PUT my_ngram_index
{
  "settings": {
    "analysis": {
      "tokenizer": {
        "my_ngram_tokenizer": {
          "type": "ngram",
          "min_gram": 2,
          "max_gram": 3,
          "token_chars": ["letter", "digit"]
        }
      },
      "analyzer": {
        "ngram_analyzer": {
          "type": "custom",
          "tokenizer": "my_ngram_tokenizer"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "model_number": {
        "type": "text",
        "analyzer": "ngram_analyzer"
      }
    }
  }
}

N-gram トークナイザーの設定の詳細については、「Ngram tokenizer」をご参照ください。

類義語ファイル内の大文字の単語がエラーを引き起こします。どうすればよいですか?

IK アナライザーは、シノニムファイルを処理する際に大文字と小文字を区別します。シノニムファイルに大文字の単語 (IT など) が含まれている場合、インデックス作成中に解析エラーが発生する可能性があります。

この問題は、以下のいずれかの方法で解決できます。

• すべての類義語を小文字に変換： 類義語ファイルを編集し、アップロードする前にすべてのエントリを小文字に変換します。

• アナライザーに lowercase フィルターを追加する: アナライザー設定でシノニムフィルターの前に lowercase フィルターを追加して、シノニムマッチングの前にテキストを小文字に正規化します。 例:

  PUT my_index
  {
    "settings": {
      "analysis": {
        "filter": {
          "my_synonym_filter": {
            "type": "synonym",
            "synonyms_path": "your_synonyms.txt"
          }
        },
        "analyzer": {
          "ik_synonym_analyzer": {
            "type": "custom",
            "tokenizer": "ik_max_word",
            "filter": ["lowercase", "my_synonym_filter"]
          }
        }
      }
    }
  }

  重要

  シノニムマッチングが行われる前にテキストが小文字に変換されるように、フィルターチェーンでは lowercase フィルターをシノニムフィルターの前に配置する必要があります。