Elasticsearch:Elasticsearch Machine Learning を使用してインテリジェントな質疑応答を実装する

準備

手順 1: データのインデックス作成

1. 取り込みパイプラインを使用して、インデックス内のモデルを構成し、データ書き込み中にテキスト変換を完了します。

   説明

   インデックス内の既存のデータをベクターに変換するには、モデルを使用する必要があります。詳細については、「ドキュメントの取り込み」をご参照ください。

   PUT _ingest/pipeline/text-embedding-pipeline
   {
     "processors": [
       {
         "inference": {
           "model_id": "models--thenlper--gte-large-zh",
           "target_field": "text_embedding",
           "field_map": {
             "context": "text_field"
           }
         }
       }
     ]
   }
   
   #####インデックスのマッピングを設定し、インジェスト パイプラインを指定します。
   PUT question_answering
   {
     "settings": {
       "index": {
             "number_of_shards": 2,
             "number_of_replicas": 1,
             "default_pipeline": "text-embedding-pipeline"
         }
     }, 
     "mappings": {
       "properties": {
         "text_embedding.predicted_value": {
           "type": "dense_vector",
           "dims": 1024,
           "index": true,
           "similarity": "l2_norm"
         },
         "context": {
           "type": "text",
           "fields": {
             "keyword": {
               "type": "keyword",
               "ignore_above": 256
             }
           }
         },
         "title": {
           "type": "text",
           "fields": {
             "keyword": {
               "type": "keyword",
               "ignore_above": 256
             }
           }
         }
       }
     }
   }

2. Python 環境を使用して、準備したデータセットをインポートします。 この例では、Python 3.10 を使用します。

   # -*- coding:utf-8 -*-
   import json
   from pprint import pprint
   import os
   import time
   from elasticsearch import helpers
   import time
   from elasticsearch import Elasticsearch
   
   elastic_user="elastic"
   elastic_password="****"
   elastic_endpoint="es-cn-lbj3l7erv0009****.elasticsearch.aliyuncs.com"
   url = f"http://{elastic_user}:{elastic_password}@{elastic_endpoint}:9200"
   es = Elasticsearch(url)
   print(es.info())
   with open('/model/extracted_data.json') as f:
    data_json = json.load(f)
   
   # インデックスを作成するドキュメントを準備します
   documents = []
   for doc in data_json:
    documents.append({
    "_index": "question_answering",
    "_source": doc,
    })
   
   # helpers.bulk を使用してインデックスを作成します
   helpers.bulk(es, documents)
   
   print("`question_answering` インデックスへのドキュメントのインデックス作成が完了しました!")
   time.sleep(5)

手順 2: Kibana コンソールでのデータの取得

「Alibaba Cloud Elasticsearch のユースケースは何ですか?」という質問を例として使用して、Elasticsearch クラスタの Kibana コンソールで取得を実行します。

1. Kibana コンソールの左上隅にある アイコンをクリックします。 左側のナビゲーションウィンドウで、[管理] > [開発ツール] を選択します。

2. Alibaba Cloud Machine Learning の推論 API 操作を呼び出して、ドキュメントをベクトルデータに変換します。

   V8.7 以降の Elasticsearch クラスタ

   V8.7 以降の Elasticsearch クラスタを使用している場合は、query_vector_builder 構成オブジェクトを使用してクエリベクトルを構築できます。

   GET question_answering/_search
   {
     "_source": ["context","title"],
     "knn": {
       "field": "text_embedding.predicted_value",
       "k": 5,
       "num_candidates": 10,
       "query_vector_builder": {
         "text_embedding": { 
           "model_id": "models--thenlper--gte-large-zh", 
           "model_text": "Alibaba Cloud Elasticsearch のユースケースは何ですか?"
         }
       }
     }
   }

   次の結果が返されます。 結果は、最初の 5 つのドキュメントが Elasticsearch と高度に相関しており、最初のドキュメントでは主に Alibaba Cloud Elasticsearch について紹介していることを示しています。

   {
     "took": 30,
     "timed_out": false,
     "_shards": {
       "total": 2,
       "successful": 2,
       "skipped": 0,
       "failed": 0
     },
     "hits": {
       "total": {
         "value": 5,
         "relation": "eq"
       },
       "max_score": 0.003581697,
       "hits": [
         {
           "_index": "question_answering",
           "_id": "evdbaI0BU_1of7kX5_Hn",
           "_score": 0.003581697,
           "_source": {
             "context": "Alibaba Cloud Elasticsearch は、オープンソースの Elasticsearch に基づいて開発されたフルマネージド クラウドサービスです。 このサービスは、オープンソースの Elasticsearch が提供する機能と完全に互換性があります。 すぐに使用でき、従量課金方式をサポートしています。 Elasticsearch、Logstash、Kibana、Beats などの Elastic Stack コンポーネントに加えて、Alibaba Cloud は Elastic とともに X-Pack プラグイン (オープンソースの Elasticsearch Platinum エディションの高度な機能) を無料で提供しています。 X-Pack は Kibana に統合されており、セキュリティ、アラート、モニタリング、機械学習などの機能を提供します。 また、SQL 機能も提供します。 Alibaba Cloud Elasticsearch は、リアルタイム ログ分析と処理、情報検索、多次元データクエリ、統計データ分析などのシナリオで広く使用されています。",
             "title": "Alibaba Cloud Elasticsearch ととは何ですか?"
           }
         },
         {
           "_index": "question_answering",
           "_id": "2VBdaI0Bg5EzGjIAN-Tx",
           "_score": 0.003581697,
           "_source": {
             "context": "Alibaba Cloud Elasticsearch は、オープンソースの Elasticsearch に基づいて開発されたフルマネージド クラウドサービスです。 このサービスは、オープンソースの Elasticsearch が提供する機能と完全に互換性があります。 すぐに使用でき、従量課金方式をサポートしています。 Elasticsearch、Logstash、Kibana、Beats などの Elastic Stack コンポーネントに加えて、Alibaba Cloud は Elastic とともに X-Pack プラグイン (オープンソースの Elasticsearch Platinum エディションの高度な機能) を無料で提供しています。 X-Pack は Kibana に統合されており、セキュリティ、アラート、モニタリング、機械学習などの機能を提供します。 また、SQL 機能も提供します。 Alibaba Cloud Elasticsearch は、リアルタイム ログ分析と処理、情報検索、多次元データクエリ、統計データ分析などのシナリオで広く使用されています。",
             "title": "Alibaba Cloud Elasticsearch ととは何ですか?"
           }
         },
         {
           "_index": "question_answering",
           "_id": "t49gaI0BNqB2ciGcDbmF",
           "_score": 0.003581697,
           "_source": {
             "context": "Alibaba Cloud Elasticsearch は、オープンソースの Elasticsearch に基づいて開発されたフルマネージド クラウドサービスです。 このサービスは、オープンソースの Elasticsearch が提供する機能と完全に互換性があります。 すぐに使用でき、従量課金方式をサポートしています。 Elasticsearch、Logstash、Kibana、Beats などの Elastic Stack コンポーネントに加えて、Alibaba Cloud は Elastic とともに X-Pack プラグイン (オープンソースの Elasticsearch Platinum エディションの高度な機能) を無料で提供しています。 X-Pack は Kibana に統合されており、セキュリティ、アラート、モニタリング、機械学習などの機能を提供します。 また、SQL 機能も提供します。 Alibaba Cloud Elasticsearch は、リアルタイム ログ分析と処理、情報検索、多次元データクエリ、統計データ分析などのシナリオで広く使用されています。",
             "title": "Alibaba Cloud Elasticsearch ととは何ですか?"
           }
         },
         {
           "_index": "question_answering",
           "_id": "efdbaI0BU_1of7kX5_Hn",
           "_score": 0.0027631863,
           "_source": {
             "context": "Kibana コンソールにログインする方法については、「Kibana コンソールにログインする」のトピックをご参照ください。 Kibana コンソールにログインするために使用できるユーザー名は elastic です。 パスワードは、Elasticsearch クラスタの作成時に指定したパスワードです。 パスワードを忘れた場合は、リセットできます。 パスワードをリセットする手順と注意事項については、「Elasticsearch クラスタのアクセス パスワードをリセットする」のトピックをご参照ください。",
             "title": "Kibana コンソールにログインするにはどうすればよいですか? Kibana コンソールにログインするために使用できるユーザー名とパスワードは何ですか?"
           }
         },
         {
           "_index": "question_answering",
           "_id": "2FBdaI0Bg5EzGjIAN-Tx",
           "_score": 0.0027631863,
           "_source": {
             "context": "Kibana コンソールにログインする方法については、「Kibana コンソールにログインする」のトピックをご参照ください。 Kibana コンソールにログインするために使用できるユーザー名は elastic です。 パスワードは、Elasticsearch クラスタの作成時に指定したパスワードです。 パスワードを忘れた場合は、リセットできます。 パスワードをリセットする手順と注意事項については、「Elasticsearch クラスタのアクセス パスワードをリセットする」のトピックをご参照ください。",
             "title": "Kibana コンソールにログインするにはどうすればよいですか? Kibana コンソールにログインするために使用できるユーザー名とパスワードは何ですか?"
           }
         }
       ]
     }
   }

   V8.7 より前の Elasticsearch クラスタ

   1. Elasticsearch Machine Learning の推論 API 操作を呼び出します。

      POST /_ml/trained_models/thenlper__gte-large-zh/_infer
      {
        "docs":[{"text_field": "Alibaba Cloud Elasticsearch のユースケースは何ですか?"}]
      }

      次の結果が返されます。

      

   2. ベクトルデータをコピーし、kNN 検索 API を呼び出して、インデックス内で類似のドキュメントを検索します。

      GET question_answering/_search
      { 
        "_source": ["context","title"],
        "knn": {
          "field": "text_embedding.predicted_value",
          "k": 5,
          "num_candidates": 10,
          "query_vector": [
            0.2767493426799774,
            0.05577810853719711,
            0.2760164141654968,
            -0.9484721422195435,
            ..............
            0.8358230590820312,
            0.6053569316864014,
            -0.5380803942680359
          ]
        }
      }

3. 最初のドキュメントの context パラメータの値をコピーし、質疑応答モデルを呼び出して質疑応答を実装します。

   POST /_ml/trained_models/models--luhua--chinese_pretrain_mrc_macbert_large/_infer
   {
     "docs":[{"text_field": "Alibaba Cloud Elasticsearch は、オープンソースの Elasticsearch に基づいて開発されたフルマネージド クラウドサービスです。 このサービスは、オープンソースの Elasticsearch が提供する機能と完全に互換性があります。 すぐに使用でき、従量課金方式をサポートしています。 Elasticsearch、Logstash、Kibana、Beats などの Elastic Stack コンポーネントに加えて、Alibaba Cloud は Elastic とともに X-Pack プラグイン (オープンソースの Elasticsearch Platinum エディションの高度な機能) を無料で提供しています。 X-Pack は Kibana に統合されており、セキュリティ、アラート、モニタリング、機械学習などの機能を提供します。 また、SQL 機能も提供します。 Alibaba Cloud Elasticsearch は、リアルタイム ログ分析と処理、情報検索、多次元データクエリ、統計データ分析などのシナリオで広く使用されています。"}]
     "inference_config": {"question_answering": {"question": "Alibaba Cloud Elasticsearch のユースケースは何ですか?"}}
   }

   次の結果が返されます。

   {
     "inference_results": [
       {
         "predicted_value": "リアルタイム ログ分析と処理",
         "start_offset": 220,
         "end_offset": 228,
         "prediction_probability": 0.014678373776954107
       }
     ]
   }

手順 3: 質疑応答シナリオのシミュレーション

ECS インスタンスで Python3 コマンドを実行して、Python 環境を読み込みます。 次に、次のコマンドを実行して、質疑応答シナリオをシミュレートします。

# -*- coding:utf-8  -*-
import json
from pprint import pprint
import os
import time
from elasticsearch import helpers
import time
from elasticsearch import Elasticsearch

elastic_user="elastic"
elastic_password="Es123456"
elastic_endpoint="es-cn-lbj3l7erv0009bz81.public.elasticsearch.aliyuncs.com"
url = f"http://{elastic_user}:{elastic_password}@{elastic_endpoint}:9200"
es = Elasticsearch(url)

question = input("質問を入力してください: ")

query_args = {
    "field": "text_embedding.predicted_value",
    "k": 5,
    "num_candidates": 10,
    "query_vector_builder": {
        "text_embedding": {
            "model_id": "models--thenlper--gte-large-zh",
            "model_text": question
        }
    }
}

result=es.search(index="question_answering",source=["context","title"],knn=query_args)
# print(result["hits"]["hits"])
concatenated_content = ""
for hit in result["hits"]["hits"]:
    context=hit["_source"]["context"]
    concatenated_content += context+" "

#print(concatenated_content)
docs=[{"text_field": concatenated_content}]
inference_config= {"question_answering": {"question": question}}

response=es.ml.infer_trained_model(model_id="models--luhua--chinese_pretrain_mrc_macbert_large",docs=docs,inference_config=inference_config)
print("推論結果: ")
print(response["inference_results"][0]["predicted_value"])

次の結果が返されます。

質問を入力してください:
張家港高速鉄道駅の場所はどこですか?
推論結果:
張家港高速鉄道駅は、唐橋鎮の人民路の北、国道 204 号線の東側にあります。