Platform For AI:PAI-EAS への大規模モデル RAG 対話システムのデプロイ

Elasticsearch インスタンスの準備

Elasticsearch インスタンスをお持ちでない場合は、Alibaba Cloud Elasticsearch コンソールにサインインし、以下の設定でインスタンスを作成します。詳細については、「Alibaba Cloud Elasticsearch クラスターの作成」をご参照ください。

• リージョンと可用性ゾーン：ご利用の EAS サービスと同じリージョンを選択します。

• VPC：内部ネットワーク経由でのアクセスを許可するため、ご利用の EAS サービスと同じ VPC を選択します。

• インスタンスタイプ：標準 を選択します。

• シナリオ初期化構成：汎用 を選択します。

サービス構成

• Vector Database Type：Elasticsearch を選択します。

• Private Endpoint and Port：Elasticsearch インスタンスの詳細ページに移動します。基本情報セクションでプライベートエンドポイントとポートを確認し、http://<private_endpoint>:<port> の形式で入力します。

• Index Name：入力内容に応じてシステムが異なる処理を行います。

  • 新しい名前を入力：EAS がデプロイ時に PAI-RAG と互換性のあるインデックスを自動的に作成します。

    重要

    デフォルトでは、Alibaba Cloud Elasticsearch は自動インデックス作成を許可していません。インスタンスの 構成管理 > ES クラスターの設定 ページで、Modify Configurations をクリックし、YML ファイルを更新して 自動インデックス作成 を 許可 に設定する必要があります。具体的な手順については、「YML パラメーターの設定」をご参照ください。

  • 既存の名前を入力：EAS は既存のインデックスを使用します。構造的互換性を保証するため、インデックスが PAI-RAG サービスによって作成されたものであることを確認してください。

• Account および Password：Elasticsearch インスタンス作成時に設定したユーザー名およびパスワードです。デフォルトのユーザー名は elastic です。パスワードを忘れた場合は、「インスタンスパスワードのリセット」をご参照ください。

• OSS Path：現在のリージョンにある既存の OSS ストレージディレクトリを選択します。ナレッジベース管理は、このマウントされた OSS パスに依存します。

Kibana によるインデックス管理

Elasticsearch にはインデックス管理機能が備わっています。詳細については、「Kibana クライアントを使用した Elasticsearch クラスターへの接続」をご参照ください。

OpenSearch Vector Search Edition インスタンスの準備

OpenSearch インスタンスをお持ちでない場合は、OpenSearch コンソールにサインインし、以下の設定でインスタンスを作成します。詳細については、「OpenSearch Vector Search Edition インスタンスの購入」をご参照ください。

• プロダクトバージョン：Vector Search Edition を選択します。

• リージョンと可用性ゾーン および VPC：OpenSearch はパブリックインターネット経由でのアクセスのみをサポートしているため、これらの設定を EAS サービスと一致させる必要はありません。

サービス構成

• Vector Database Type：OpenSearch を選択します。

• Endpoint：ご利用の OpenSearch Vector Search Edition インスタンスのパブリックエンドポイントです。

  説明

  OpenSearch Vector Search Edition インスタンスでパブリックアクセスを有効にし、EAS のパブリック IP アドレスを許可リストに追加する必要があります。

• Instance ID：OpenSearch Vector Search Edition インスタンスリストからインスタンス ID を取得します。

• Username および Password：OpenSearch Vector Search Edition インスタンス作成時に設定したユーザー名およびパスワードです。

• Table Name：まず互換性のあるインデックステーブルを作成する必要があります。作成手順については、「インスタンスの設定」をご参照ください。以下の重要なパラメーターを使用します。

  • シナリオテンプレートでは、汎用テンプレートを選択し、以下の JSON を使用してフィールドを設定します。

    フィールド設定ファイル

    {
    	"schema": {
    		"summarys": {
    			"parameter": {
    				"file_compressor": "zstd"
    			},
    			"summary_fields": [
    				"id",
    				"embedding",
    				"file_path",
    				"file_name",
    				"file_type",
    				"node_content",
    				"node_type",
    				"doc_id",
    				"text",
    				"source_type"
    			]
    		},
    		"file_compress": [
    			{
    				"name": "file_compressor",
    				"type": "zstd"
    			},
    			{
    				"name": "no_compressor",
    				"type": ""
    			}
    		],
    		"indexs": [
    			{
    				"index_fields": [
    					{
    						"boost": 1,
    						"field_name": "id"
    					},
    					{
    						"boost": 1,
    						"field_name": "embedding"
    					}
    				],
    				"indexer": "aitheta2_indexer",
    				"index_name": "embedding",
    				"parameters": {
    					"enable_rt_build": "true",
    					"min_scan_doc_cnt": "20000",
    					"vector_index_type": "Qc",
    					"major_order": "col",
    					"builder_name": "QcBuilder",
    					"distance_type": "SquaredEuclidean",
    					"embedding_delimiter": ",",
    					"enable_recall_report": "true",
    					"ignore_invalid_doc": "true",
    					"is_embedding_saved": "false",
    					"linear_build_threshold": "5000",
    					"dimension": "1536",
    					"rt_index_params": "{\"proxima.oswg.streamer.segment_size\":2048}",
    					"search_index_params": "{\"proxima.qc.searcher.scan_ratio\":0.01}",
    					"searcher_name": "QcSearcher",
    					"build_index_params": "{\"proxima.qc.builder.quantizer_class\":\"Int8QuantizerConverter\",\"proxima.qc.builder.quantize_by_centroid\":true,\"proxima.qc.builder.optimizer_class\":\"BruteForceBuilder\",\"proxima.qc.builder.thread_count\":10,\"proxima.qc.builder.optimizer_params\":{\"proxima.linear.builder.column_major_order\":true},\"proxima.qc.builder.store_original_features\":false,\"proxima.qc.builder.train_sample_count\":3000000,\"proxima.qc.builder.train_sample_ratio\":0.5}"
    				},
    				"index_type": "CUSTOMIZED"
    			},
    			{
    				"has_primary_key_attribute": true,
    				"index_fields": "id",
    				"is_primary_key_sorted": false,
    				"index_name": "id",
    				"index_type": "PRIMARYKEY64"
    			},
    			{
    				"index_fields": "file_path",
    				"index_name": "file_path",
    				"index_type": "STRING"
    			},
    			{
    				"index_fields": "file_name",
    				"index_name": "file_name",
    				"index_type": "STRING"
    			},
    			{
    				"index_fields": "file_type",
    				"index_name": "file_type",
    				"index_type": "STRING"
    			},
    			{
    				"index_fields": "node_content",
    				"index_name": "node_content",
    				"index_type": "STRING"
    			},
    			{
    				"index_fields": "node_type",
    				"index_name": "node_type",
    				"index_type": "STRING"
    			},
    			{
    				"index_fields": "doc_id",
    				"index_name": "doc_id",
    				"index_type": "STRING"
    			},
    			{
    				"index_fields": "text",
    				"index_name": "text",
    				"index_type": "STRING"
    			},
    			{
    				"index_fields": "source_type",
    				"index_name": "source_type",
    				"index_type": "STRING"
    			}
    		],
    		"attributes": [
    			{
    				"file_compress": "no_compressor",
    				"field_name": "id"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "embedding"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "file_path"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "file_name"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "file_type"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "node_content"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "node_type"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "doc_id"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "text"
    			},
    			{
    				"file_compress": "no_compressor",
    				"field_name": "source_type"
    			}
    		],
    		"fields": [
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "id"
    			},
    			{
    				"user_defined_param": {
    					"multi_value_sep": ","
    				},
    				"multi_value": true,
    				"compress_type": "uniq",
    				"field_type": "FLOAT",
    				"field_name": "embedding"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "file_path"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "file_name"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "file_type"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "node_content"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "node_type"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "doc_id"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "text"
    			},
    			{
    				"compress_type": "uniq",
    				"field_type": "STRING",
    				"field_name": "source_type"
    			}
    		],
    		"table_name": "abc"
    	},
    	"extend": {
    		"description": [],
    		"vector": [
    			"embedding"
    		],
    		"embeding": []
    	}
    }

  • インデックススキーマ では、ベクトルディメンションが埋め込みモデルのディメンションと一致していることを確認します。距離タイプ では、InnerProduct の選択を推奨します。

インデックステーブルおよびデータの管理

1. Alibaba Cloud OpenSearch Vector Search Edition コンソールにサインインし、ご利用のインスタンス ID をクリックして インスタンス詳細 ページに移動します。

2. テーブル管理ページに移動してインデックステーブルを管理します。詳細については、「テーブル管理」をご参照ください。

3. ベクトル管理ページに移動してクエリテストを実行したり、データを管理したりします。詳細については、「ベクトル管理」をご参照ください。

ApsaraDB RDS for PostgreSQL インスタンスの準備

1. ApsaraDB RDS for PostgreSQL インスタンスをお持ちでない場合は、RDS インスタンス作成ページにアクセスします。以下の重要なパラメーターを設定し、画面上の指示に従って購入手続きを完了します。詳細については、「ApsaraDB RDS for PostgreSQL インスタンスの作成」をご参照ください。

   • エンジン：PostgreSQL を選択します。

   • VPC：内部ネットワーク経由でのアクセスを許可するため、ご利用の EAS サービスと同じ VPC を選択します。

   • 特権アカウント：詳細設定 セクションで特権アカウントを設定します。今すぐ設定 を選択し、データベースアカウントおよびパスワードを設定します。

2. データベースの作成

   1. 作成したインスタンス名をクリックします。左側のナビゲーションウィンドウで、データベース管理 をクリックし、次に データベースの作成 をクリックします。

   2. データベースの作成 パネルで、データベース (DB) 名 を設定します。許可されたアカウント では、作成した特権アカウントを選択します。その他のパラメーターについては、「データベースおよびアカウントの作成」をご参照ください。

   3. パラメーターを設定したら、Create をクリックします。

サービス構成

ApsaraDB RDS for PostgreSQL インスタンス をご用意ください。

• Vector Database Type：ApsaraDB RDS for PostgreSQL を選択します。

• Host address：ご利用の ApsaraDB RDS for PostgreSQL インスタンスの内部エンドポイントです。ApsaraDB RDS for PostgreSQL コンソールのインスタンスの データベース接続 ページで確認できます。

• Port：デフォルトは 5432 です。異なる場合は実際のポート番号を入力します。

• Database：許可されたアカウント は 特権アカウント である必要があります。手順については、「データベースおよびアカウントの作成」をご参照ください。また、データベースに vector 拡張および jieba 拡張をインストールする必要があります。

• Table Name：データベーステーブルのカスタム名です。

• Account および Password：データベース作成時に設定した許可されたユーザー名およびパスワードです。特権アカウントの作成方法については、「データベースおよびアカウントの作成」をご参照ください。アカウントタイプ では、特権アカウント を選択します。

• OSS Path：現在のリージョンにある既存の OSS ストレージディレクトリを選択します。ナレッジベース管理は、このマウントされた OSS パスに依存します。

ApsaraDB RDS for PostgreSQL データベースの管理

1. RDS インスタンスリストにアクセスし、ご利用のインスタンスのリージョンに切り替えてから、インスタンス名をクリックします。

2. 左側のナビゲーションバーで、データベース管理 を選択し、対象データベースの Actions 列で SQL クエリ をクリックします。

3. データベースアカウント および データベースパスワード（インスタンス作成時に設定した特権アカウントの認証情報）を入力し、Sign in をクリックします。

4. ログイン後、データベースインスタンス内でインポートされたナレッジベースの一覧を照会できます。