Elasticsearch:IK アナライザープラグイン (analysis-ik) の使用

形態素解析ルール

IK アナライザーは、次の 2 つの形態素解析モードをサポートしています：

• ik_max_word：最も細かい粒度でテキストを分割します。タームベースのクエリに適しています。

• ik_smart：より粗い粒度でテキストを分割します。フレーズベースのクエリに適しています。

辞書タイプ

IK アナライザーは、次の辞書タイプをサポートしています：

辞書の更新方法

デフォルトの辞書が要件を満たさない場合は、辞書を更新します。IK アナライザーは、次の方法をサポートしています：

ES 辞書タイプの比較

Alibaba Cloud Elasticsearch は、類義語辞書、IK 辞書、AliNLP 辞書 (analysis-aliws) の 3 つの辞書タイプをサポートしています。次の表では、更新方法、再起動の有無、API オペレーション、ファイル形式の要件を比較しています。

IK 辞書と AliNLP 辞書は、[OSS ファイルのアップロード] の方法でのみリモート辞書ファイルのロードをサポートしています。

すべての辞書タイプに共通する注意点は次のとおりです：

• 料金：辞書の更新に追加料金は発生しません。

• ファイルサイズの上限：辞書ファイル 1 つあたりのサイズは最大 100 MB です。辞書ファイルの合計サイズは 200 MB を超えることはできません。また、アップロードできる辞書ファイルは最大 50 個です。

• バージョン互換性 — analysis-aliws (AliNLP) プラグインは 5.x または 8.x バージョンではサポートされていません。

• sourceType パラメーター — 辞書更新 API 操作を呼び出す際、辞書ファイルの初回アップロードでは sourceType パラメーターを OSS に設定し、同じ名前の辞書ファイルの後続の更新では ORIGIN に設定します。

コールドアップデート

コールドアップデートを実行するには：

1. インスタンスの詳細ページに移動します。

   1. Alibaba Cloud Elasticsearch コンソールにログインします。

   2. 左側メニューで Elasticsearch クラスター をクリックします。

   3. 上部メニューで、リソースグループとリージョンを選択します。

   4. Elasticsearch インスタンスのリストで、対象のインスタンス ID をクリックして詳細ページに移動します。

2. analysis-ik プラグインのコールドアップデートページに移動します。

   1. 左側メニューで 設定と管理 > プラグイン設定 を選択します。

   2. ビルトインプラグインリスト タブで analysis-ik プラグインを見つけ、アクション 列の 標準アップグレード をクリックします。

3. コールドアップデートを実行します。

   1. IK 辞書設定 - コールドパッチ ダイアログボックスで、対象の辞書の 編集 をクリックし、画面の指示に従って必要な辞書ファイルをアップロードしてから 保存 をクリックします。

      辞書ファイルは、次のいずれかの方法でアップロードできます：

      • ローカルファイルのアップロード： アイコンをクリックするか、画面の指示に従ってローカルファイルをドラッグ＆ドロップします。

      • OSS ファイルのアップロード：バケット名と辞書ファイル名を入力し、追加 をクリックします。

        • バケットと Elasticsearch インスタンスは、同じリージョンにある必要があります。

        • OSS の辞書ファイルは自動的に同期されません。ソースファイルが変更された場合は、辞書を更新して変更を適用してください。

      説明

      • 各辞書タイプでアップロードできるファイルは、DIC 形式のファイル 1 つのみです。アップロードしたファイルは、元の辞書を置き換えます。

      • 辞書ファイル名は .dic で終わる必要があります。ファイル名には英字、数字、アンダースコアを使用でき、30 文字以内にする必要があります。

      • 辞書をデフォルトファイルに戻すには、デフォルトファイルをダウンロードして再アップロードします。デフォルト辞書ファイルは、次のリンクから取得できます：

        • メイン辞書 (main.dic)

        • ストップワード辞書 (stopword.dic)

        • 前置詞辞書 (preposition.dic)

        • 数量詞辞書 (quantifier.dic)

   2. リスク確認に同意し、OK をクリックしてインスタンスを再起動します。

      インスタンスの再起動後、辞書の更新が完了します。

4. （任意）辞書の更新が反映されたかどうかを確認します。

   1. Kibana コンソールにログインします。

   2. 左上の アイコンをクリックし、[Management] > Developer Tools を選択してコードエディターを開きます。

      次のコードを実行して、入力テキスト Chinese character input method for computers を粗い粒度で形態素解析します。

      説明

      実際の運用では、text の値を辞書内の単語に置き換えてください。

      GET _analyze
      {
        "analyzer": "ik_smart",
        "text": "Chinese character input method for computers"
      }

      想定されるレスポンスは次のとおりです：

      {
        "tokens" : [
          {
            "token" : "chinese",
            "start_offset" : 0,
            "end_offset" : 7,
            "type" : "ENGLISH",
            "position" : 0
          },
          {
            "token" : "character",
            "start_offset" : 8,
            "end_offset" : 17,
            "type" : "ENGLISH",
            "position" : 1
          },
          {
            "token" : "input",
            "start_offset" : 18,
            "end_offset" : 23,
            "type" : "ENGLISH",
            "position" : 2
          },
          {
            "token" : "method",
            "start_offset" : 24,
            "end_offset" : 30,
            "type" : "ENGLISH",
            "position" : 3
          },
          {
            "token" : "for",
            "start_offset" : 31,
            "end_offset" : 34,
            "type" : "ENGLISH",
            "position" : 4
          },
          {
            "token" : "computers",
            "start_offset" : 35,
            "end_offset" : 44,
            "type" : "ENGLISH",
            "position" : 5
          }
        ]
      }

ホットアップデート

ホットアップデートを実行するには：

1. インスタンスの詳細ページに移動します。

   1. Alibaba Cloud Elasticsearch コンソールにログインします。

   2. 左側メニューで Elasticsearch クラスター をクリックします。

   3. 上部メニューで、リソースグループとリージョンを選択します。

   4. Elasticsearch インスタンスのリストで、対象のインスタンス ID をクリックして詳細ページに移動します。

2. analysis-ik プラグインのホットアップデートページに移動します。

   1. 左側メニューで 設定と管理 > プラグイン設定 を選択します。

   2. ビルトインプラグインリスト タブで analysis-ik プラグインを見つけ、アクション 列の ローリングアップグレード をクリックします。

3. ホットアップデートを実行します。

   1. IK 辞書設定 - ホットパッチ ダイアログボックスで、対象の辞書の 編集 をクリックします。画面の指示に従って必要な辞書ファイルをアップロードし、保存 をクリックします。

      辞書ファイルは、次のいずれかの方法でアップロードできます：

      • ローカルファイルのアップロード： アイコンをクリックするか、画面の指示に従ってローカルファイルをドラッグ＆ドロップします。

      • OSS ファイルのアップロード：バケット名と辞書ファイル名を入力し、追加 をクリックします。

        • バケットと Elasticsearch インスタンスは、同じリージョンにある必要があります。

        • OSS の辞書ファイルは自動的に同期されません。ソースファイルが変更された場合は、辞書を更新して変更を適用してください。

      説明

      • 複数の辞書ファイルをアップロードできます。ファイル名は .dic で終わる必要があります。ファイル名には英字、数字、アンダースコアを使用でき、30 文字以内にする必要があります。

      • アップロード済みの辞書ファイルを変更するには、ファイルの横にある アイコンをクリックしてダウンロードし、編集します。その後、元のファイルを削除して更新後のファイルを再アップロードします。元のファイルを削除した後に Save をクリックしてください。そうしないと、同じ名前のファイルが既に存在するというエラーが表示されます。

   2. OK をクリックし、Elasticsearch ノードが辞書のロードを完了するまで待ちます。

      Elasticsearch ノードは辞書ファイルを自動的にロードします。ロード時間はノードによって異なります。すべてのノードが完了するまで待ってください。

4. （任意）辞書の更新が反映されたかどうかを確認します。

   1. Kibana コンソールにログインします。

   2. 左上の アイコンをクリックし、[Management] > Developer Tools を選択してコードエディターを開きます。

      次のコードを実行して、入力テキスト Chinese character input method for computers を粗い粒度で形態素解析します。

      説明

      実際の運用では、text の値を辞書内の単語に置き換えてください。

      GET _analyze
      {
        "analyzer": "ik_smart",
        "text": "Chinese character input method for computers"
      }

      想定されるレスポンスは次のとおりです：

      {
        "tokens" : [
          {
            "token" : "chinese",
            "start_offset" : 0,
            "end_offset" : 7,
            "type" : "ENGLISH",
            "position" : 0
          },
          {
            "token" : "character",
            "start_offset" : 8,
            "end_offset" : 17,
            "type" : "ENGLISH",
            "position" : 1
          },
          {
            "token" : "input",
            "start_offset" : 18,
            "end_offset" : 23,
            "type" : "ENGLISH",
            "position" : 2
          },
          {
            "token" : "method",
            "start_offset" : 24,
            "end_offset" : 30,
            "type" : "ENGLISH",
            "position" : 3
          },
          {
            "token" : "for",
            "start_offset" : 31,
            "end_offset" : 34,
            "type" : "ENGLISH",
            "position" : 4
          },
          {
            "token" : "computers",
            "start_offset" : 35,
            "end_offset" : 44,
            "type" : "ENGLISH",
            "position" : 5
          }
        ]
      }

英数字混合語のトークン化を最適化

ik_max_word トークナイザーを使用すると、fawjh6bcm のような英数字が混在した文字列は、検索用に効果的にトークン化されない場合があります。再現率を向上させるには、enable_single_word を true に設定します。これにより、混在した単語が 1 文字のトークンに分割され、文字レベルのマッチングが可能になります。

次の例では、enable_single_word を有効にしたカスタムアナライザーを作成します。

PUT my_index
{
  "settings": {
    "analysis": {
      "analyzer": {
        "ik_single_char_analyzer": {
          "type": "custom",
          "tokenizer": "my_ik_tokenizer"
        }
      },
      "tokenizer": {
        "my_ik_tokenizer": {
          "type": "ik_max_word",
          "enable_single_word": true
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "content": {
        "type": "text",
        "analyzer": "ik_single_char_analyzer"
      }
    }
  }
}

中国語と英語の混合検索に n-gram トークナイザーを使用

中国語テキストと混在する、jh6bcm のような連結された英字の型番を検索する場合、IK アナライザーだけでは部分一致に効果的なトークンを生成できないことがあります。この場合は、ngram トークナイザーを使用して IK アナライザーを補完または置換します。

n-gram トークナイザーは、テキストを設定可能な長さの連続した文字列に分割することで、部分文字列マッチングを可能にします。

次の例では、n-gram トークナイザーを使用するインデックスを作成します。

PUT my_ngram_index
{
  "settings": {
    "analysis": {
      "tokenizer": {
        "my_ngram_tokenizer": {
          "type": "ngram",
          "min_gram": 2,
          "max_gram": 3,
          "token_chars": ["letter", "digit"]
        }
      },
      "analyzer": {
        "ngram_analyzer": {
          "type": "custom",
          "tokenizer": "my_ngram_tokenizer"
        }
      }
    }
  },
  "mappings": {
    "properties": {
      "model_number": {
        "type": "text",
        "analyzer": "ngram_analyzer"
      }
    }
  }
}

n-gram トークナイザーの設定の詳細については、 「Ngram tokenizer」 をご参照ください。

同義語ファイルに大文字が含まれているとエラーになります。どうすればよいですか？

IK アナライザーは、同義語ファイルの処理時に大文字と小文字を区別します。同義語ファイルに大文字の単語 (例：IT) が含まれている場合、インデックス作成中に解析エラーが発生することがあります。

この問題は、次のいずれかの方法で解決できます：

• すべての同義語を小文字に変換する：同義語ファイルを編集し、アップロードする前にすべてのエントリを小文字に変換してください。

• アナライザーに lowercase フィルターを追加する：同義語マッチングの前にテキストを正規化するため、アナライザー設定のフィルターチェーンで synonym フィルターの前に lowercase フィルターを追加してください。例：

  PUT my_index
  {
    "settings": {
      "analysis": {
        "filter": {
          "my_synonym_filter": {
            "type": "synonym",
            "synonyms_path": "your_synonyms.txt"
          }
        },
        "analyzer": {
          "ik_synonym_analyzer": {
            "type": "custom",
            "tokenizer": "ik_max_word",
            "filter": ["lowercase", "my_synonym_filter"]
          }
        }
      }
    }
  }

  重要

  lowercase フィルターは、同義語のマッチングが行われる前にテキストが小文字に変換されるように、フィルターチェーン内で synonym フィルターより前に配置する必要があります。