:EAS と OpenSearch を使用して検索拡張生成 (RAG) チャットボットを構築する

1. インスタンス ID を取得する

インスタンスリストページで、OpenSearch Vector Search Edition インスタンスのインスタンス ID を表示し、ローカルに保存します。

2. インデックステーブルを準備する

インスタンスが作成されると、そのステータスは[設定保留中]になります。インスタンスに対して[基本テーブル情報] > [データ同期] > [フィールド設定] > [インデックススキーマ]を設定する必要があります。その後、検索を実行する前に、インデックスが再構築されるのを待つ必要があります。手順は次のとおりです。

1. 対象インスタンスの [アクション] 列で、[設定] をクリックします。

2. [基本テーブル情報] パラメーターを設定し、[次へ] をクリックします。

   主要なパラメーターを以下に示します。その他のパラメーターの詳細については、「汎用型エディションのクイックスタート」をご参照ください。

   • テーブル名: インデックステーブルの名前を入力します。

   • データシャード数: QRS ワーカーを購入した場合、このパラメーターを最大 256 の正の整数に設定して、フルビルド速度と単一クエリのパフォーマンスを向上させることができます。QRS ワーカーを購入していない場合、このパラメーターは 1 にしか設定できません。

   • データ更新用リソース数: データ更新に使用されるリソースの数。デフォルトでは、OpenSearch は OpenSearch Vector Search Edition インスタンス内の各インデックスに対して、データ更新用に 2 つのリソースの無料クォータを提供します。各リソースは 4 CPU コアと 8 GB のメモリで構成されます。無料クォータを超えるリソースは課金されます。詳細については、「国際サイト (alibabacloud.com) の OpenSearch Vector Search Edition の課金概要」をご参照ください。

   • [シナリオテンプレート] で、[一般テンプレート] を選択します。

3. [データ同期] パラメーターを設定し、[次へ] をクリックします。

   [完全データソース] では、ビジネスニーズに基づいて 3 つのデータソースタイプから 1 つを選択できます。

   • MaxCompute+API: MaxCompute を使用して完全データを書き込み、API を使用してリアルタイムデータを書き込みます。このメソッドのパラメーターの詳細については、「MaxCompute + API データソース」をご参照ください。

   • Object Storage Service (OSS)+API: OSS を使用して完全データ書き込みを行い、API を使用してリアルタイムデータ書き込みを行うことができます。このメソッドのパラメーターの詳細については、「OSS + API データソース」をご参照ください。

   • API: 完全データとリアルタイムデータの両方を書き込みます。

4. [フィールド設定] パラメーターを設定し、[次へ] をクリックします。

   次のサンプルフィールド設定を JSON ファイルとして保存します。次に、右上隅の [フィールドインデックススキーマのインポート] をクリックし、コンソールの指示に従ってマニフェストをインポートします。マニフェストがインポートされると、フィールド設定とインデックススキーマがファイルから入力されます。

   フィールド設定ファイル

   {
   	"schema": {
   		"summarys": {
   			"parameter": {
   				"file_compressor": "zstd"
   			},
   			"summary_fields": [
   				"id",
   				"embedding",
   				"file_path",
   				"file_name",
   				"file_type",
   				"node_content",
   				"node_type",
   				"doc_id",
   				"text",
   				"source_type"
   			]
   		},
   		"file_compress": [
   			{
   				"name": "file_compressor",
   				"type": "zstd"
   			},
   			{
   				"name": "no_compressor",
   				"type": ""
   			}
   		],
   		"indexs": [
   			{
   				"index_fields": [
   					{
   						"boost": 1,
   						"field_name": "id"
   					},
   					{
   						"boost": 1,
   						"field_name": "embedding"
   					}
   				],
   				"indexer": "aitheta2_indexer",
   				"index_name": "embedding",
   				"parameters": {
   					"enable_rt_build": "true",
   					"min_scan_doc_cnt": "20000",
   					"vector_index_type": "Qc",
   					"major_order": "col",
   					"builder_name": "QcBuilder",
   					"distance_type": "SquaredEuclidean",
   					"embedding_delimiter": ",",
   					"enable_recall_report": "true",
   					"ignore_invalid_doc": "true",
   					"is_embedding_saved": "false",
   					"linear_build_threshold": "5000",
   					"dimension": "1536",
   					"rt_index_params": "{\"proxima.oswg.streamer.segment_size\":2048}",
   					"search_index_params": "{\"proxima.qc.searcher.scan_ratio\":0.01}",
   					"searcher_name": "QcSearcher",
   					"build_index_params": "{\"proxima.qc.builder.quantizer_class\":\"Int8QuantizerConverter\",\"proxima.qc.builder.quantize_by_centroid\":true,\"proxima.qc.builder.optimizer_class\":\"BruteForceBuilder\",\"proxima.qc.builder.thread_count\":10,\"proxima.qc.builder.optimizer_params\":{\"proxima.linear.builder.column_major_order\":true},\"proxima.qc.builder.store_original_features\":false,\"proxima.qc.builder.train_sample_count\":3000000,\"proxima.qc.builder.train_sample_ratio\":0.5}"
   				},
   				"index_type": "CUSTOMIZED"
   			},
   			{
   				"has_primary_key_attribute": true,
   				"index_fields": "id",
   				"is_primary_key_sorted": false,
   				"index_name": "id",
   				"index_type": "PRIMARYKEY64"
   			},
   			{
   				"index_fields": "file_path",
   				"index_name": "file_path",
   				"index_type": "STRING"
   			},
   			{
   				"index_fields": "file_name",
   				"index_name": "file_name",
   				"index_type": "STRING"
   			},
   			{
   				"index_fields": "file_type",
   				"index_name": "file_type",
   				"index_type": "STRING"
   			},
   			{
   				"index_fields": "node_content",
   				"index_name": "node_content",
   				"index_type": "STRING"
   			},
   			{
   				"index_fields": "node_type",
   				"index_name": "node_type",
   				"index_type": "STRING"
   			},
   			{
   				"index_fields": "doc_id",
   				"index_name": "doc_id",
   				"index_type": "STRING"
   			},
   			{
   				"index_fields": "text",
   				"index_name": "text",
   				"index_type": "STRING"
   			},
   			{
   				"index_fields": "source_type",
   				"index_name": "source_type",
   				"index_type": "STRING"
   			}
   		],
   		"attributes": [
   			{
   				"file_compress": "no_compressor",
   				"field_name": "id"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "embedding"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "file_path"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "file_name"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "file_type"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "node_content"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "node_type"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "doc_id"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "text"
   			},
   			{
   				"file_compress": "no_compressor",
   				"field_name": "source_type"
   			}
   		],
   		"fields": [
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "id"
   			},
   			{
   				"user_defined_param": {
   					"multi_value_sep": ","
   				},
   				"multi_value": true,
   				"compress_type": "uniq",
   				"field_type": "FLOAT",
   				"field_name": "embedding"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "file_path"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "file_name"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "file_type"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "node_content"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "node_type"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "doc_id"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "text"
   			},
   			{
   				"compress_type": "uniq",
   				"field_type": "STRING",
   				"field_name": "source_type"
   			}
   		],
   		"table_name": "abc"
   	},
   	"extend": {
   		"description": [],
   		"vector": [
   			"embedding"
   		],
   		"embeding": []
   	}
   }

5. [インデックススキーマ] パラメーターを設定し、[次へ] をクリックします。

   このセクションでは、主要なパラメーターについて説明します。その他のパラメーターの詳細については、「一般的なベクトルインデックス設定」をご参照ください。

   • [ベクトルディメンション] を 1024 に設定します。

   • 距離タイプ: [内積] を選択することをお勧めします。

6. 設定ウィザードの [作成の確認] ページで、[作成の確認] をクリックします。

   自動的にテーブル管理ページにリダイレクトされます。[ステータス] が [使用中] になると、インデックステーブルが作成されたことを示します。

3. OpenSearch Vector Search Edition インスタンスのパブリックネットワークアクセスを有効にする

現在、EAS はインターネット経由でのみ OpenSearch にアクセスできます。したがって、EAS 用の VPC を追加し、NAT ゲートウェイと Elastic IP アドレス (EIP) を VPC にアタッチする必要があります。OpenSearch インスタンスが EAS インスタンスからのパブリックリクエストを受信できるようにするには、OpenSearch のパブリックネットワークアクセスを有効にし、EIP をパブリックアクセスホワイトリストに追加する必要があります。次の手順では、EAS VPC の OpenSearch へのパブリックネットワークアクセスを設定する方法について説明します。EAS は、OpenSearch と同じ VPC を使用することも、別の VPC を使用することもできます。

1. RAG サービスをデプロイする際にアタッチされる VPC のパブリックネットワークアクセスを設定します。詳細については、「インターネット NAT ゲートウェイの SNAT 機能を使用してインターネットにアクセスする」をご参照ください。

2. アタッチされた Elastic IP アドレスを表示します。

   1. VPC コンソールにログインします。 VPC インスタンスの ID をクリックし、[リソース管理] タブに移動します。

   2. アタッチされたインターネット NAT ゲートウェイをクリックして、その詳細ページに移動します。

   3. インターネット NAT ゲートウェイインスタンス ID をクリックして、[基本情報] ページに移動します。

   4. [アタッチされた EIP] をクリックして、アタッチされた EIP を表示し、ローカルに保存します。

3. OpenSearch Vector Search Edition のインスタンスリストページで、宛先インスタンスの名前をクリックして [インスタンス詳細] ページを開きます。

4. [ネットワーク情報] セクションで、[パブリックネットワークアクセス] スイッチをオンにします。表示される [パブリックアクセスホワイトリストの変更] 設定パネルで、前のステップで取得した Elastic IP アドレスをパブリックアクセスホワイトリストに追加します。

5. [ネットワーク情報] セクションで、[パブリックドメイン名] のエンドポイントをローカルに保存します。

4. インスタンスのユーザー名とパスワードを表示する

これは、OpenSearch Vector Search Edition インスタンスを作成したときに指定したユーザー名とパスワードです。これらの認証情報は、インスタンス詳細ページの [API エンドポイント] セクションで確認できます。

インデックス テーブルの管理

1. Alibaba Cloud OpenSearch Vector Search Edition インスタンスのインスタンス詳細ページに移動します。

   1. Alibaba Cloud OpenSearch Vector Search Edition コンソールにログインします。

   2. 作成したインスタンスの ID をクリックして、[インスタンス詳細] ページに移動します。

2. テーブル管理ページに移動して、インデックステーブルを管理します。

   1. 左側のナビゲーションウィンドウで、[テーブル管理] をクリックします。

      このページには、現在のインスタンス用に作成されたすべてのテーブルが表示されます。

   2. テーブル管理ページでは、フィールドとインデックススキーマの表示、インデックスの編集、インデックスの再構築、インデックスの削除など、インデックステーブルに対する管理操作を実行できます。詳細については、「テーブル管理」をご参照ください。

データ管理

1. Alibaba Cloud OpenSearch Vector Search Edition インスタンスのインスタンス詳細ページに移動します。

   1. Alibaba Cloud OpenSearch Vector Search Edition コンソールにログインします。

   2. 作成したインスタンスの ID をクリックして、[インスタンス詳細] ページに移動します。

2. データを追加します。

   1. 左側のナビゲーションウィンドウで、ベクトル管理 > データの追加 を選択します。

   2. ページの右側にあるドロップダウンリストから、[フォームモード] または [開発者モード] を選択します。

   3. データを追加する宛先インデックステーブルの名前を選択します。

   4. フィールドごとにデータコンテンツを入力するか、データ書き込みステートメントを記入し、[追加] をクリックします。詳細については、「データを追加する」をご参照ください。

      実行結果に "message": "success" と表示された場合、データはアップロードされています。単一または複数のデータエントリを追加できます。

3. テーブルメトリックデータを表示します。

   1. 左側のナビゲーションウィンドウで、メトリック > テーブルメトリック を選択します。

   2. データを表示する宛先インデックステーブルの名前を選択します。その後、インデックス内のドキュメント数や 1 秒あたりの成功リクエスト数などのメトリックを表示できます。詳細については、「テーブルメトリック」をご参照ください。

4. データを削除します。

   1. 左側のナビゲーションウィンドウで、ベクトル管理 > データの削除. を選択します。

   2. ページの右側にあるドロップダウンリストから、[フォームモード] または [開発者モード] を選択します。

   3. [テーブル名] を選択し、[主キー] を入力して、[削除] をクリックします。詳細については、「データを削除する」をご参照ください。

      実行結果に "message": "success" と表示された場合、データは削除されています。