:RAG ベースの LLM チャットボット (v0.3.x)

ステップ 1： RAG サービスのデプロイ

1. PAI コンソールにログインします。ページ上部でリージョンを選択します。次に、目的のワークスペースを選択し、Elastic Algorithm Service (EAS) をクリックします。

2. Inference Service タブで、Deploy Service をクリックします。Scenario-based Model Deployment セクションで、RAG-based Smart Dialogue Deployment をクリックします。

3. RAG-based LLM Chatbot Deployment ページで、以下のパラメーターを設定します：

   • Version： RAG サービスは 2 つのデプロイモードをサポートしています。ユースケースとリソースに合わせてモードを選択してください。

     • LLM-Integrated Deployment： RAG サービスと大規模言語モデル (Qwen など) を単一の EAS サービスインスタンスにデプロイします。このモードは設定が簡単で、迅速な検証やプロトタイピングに最適です。

     • LLM-Separated Deployment： RAG サービスのみをデプロイし、大規模言語モデルは別のサービスとして実行します。このモードでは、RAG サービスが他の LLM サービス (EAS にデプロイされた他の LLM や Alibaba Cloud Model Studio サービスなど) に接続できます。リソースの再利用と独立したスケーリングを容易にし、本番環境や LLM サービスが既に存在する場合に適しています。

   • Deployment： サービスに適切なコンピューティングリソースを割り当てます。

     • LLM-Integrated Deployment： 選択した [モデルカテゴリ] に基づいて、システムが自動的にリソース仕様を推奨します。推奨よりも低い仕様では、サービスが起動しない可能性があります。

     • LLM-Separated Deployment： RAG サービス自体が消費するリソースは最小限です。少なくとも 8 コア CPU と 16 GB のメモリを持つ仕様、たとえば ecs.g6.2xlarge や ecs.g6.4xlarge を推奨します。

   • ベクトルデータベースの設定：

     • Vector Database Type： [FAISS] を選択して、迅速な実践のためにローカルのベクトルデータベースを構築します。本番環境では、本番環境グレードのベクトルデータベースを使用することを推奨します。詳細については、「Alibaba Cloud ベクトルデータベースの使用」をご参照ください。

     • OSS Path： 現在のリージョンに存在する Object Storage Service (OSS) ディレクトリを選択し、アップロードされたナレッジベースファイルを保存します。利用可能なストレージパスがない場合は、「コンソールのクイックスタート」を参照して作成してください。

       説明

       セルフホストのファインチューニング済みモデルでサービスをデプロイする場合、選択した OSS ストレージパスがモデルのストレージパスと競合しないようにしてください。

   • VPC： 「EAS がパブリックまたはプライベートリソースにアクセスするための設定」を行い、RAG サービスが LLM サービス、ベクトルデータベース、およびその他のクラウドサービスと適切に通信できるようにします。

     • パブリックサービスへのアクセス： インターネット経由でベクトルデータベース、LLM サービス (Alibaba Cloud Model Studio など)、または Web 検索にアクセスするには、EAS サービスのパブリックネットワークアクセスを設定する必要があります。

     • プライベートサービスへのアクセス：

       • プライベートエンドポイントを使用してベクトルデータベースにアクセスするには、RAG サービスとベクトルデータベースが同じ VPC 内にある必要があります。

       • プライベートエンドポイントを使用して LLM サービスにアクセスするには、RAG サービスと LLM サービスが同じ VPC 内にある必要があります。

     説明

     • Hologres、Elasticsearch、および RDS PostgreSQL は、プライベートネットワークとパブリックネットワークの両方でのアクセスをサポートしています。プライベートネットワークアクセスを使用することを推奨します。

     • FAISS ベクトルデータベースはネットワークアクセスを必要としません。OpenSearch はパブリックネットワーク経由でのみアクセスをサポートします。

5. パラメーターを設定した後、Deploy をクリックします。Service Status が Running に変わると、サービスは正常にデプロイされています。デプロイには通常約 5 分かかりますが、モデルサイズやその他の要因によって時間は異なる場合があります。

ステップ 2: API の呼び出し

RAG サービスは、ナレッジベース管理や会話などのタスク用の API を提供しており、アプリケーションへの統合が容易です。詳細については、「RAG API リファレンス」をご参照ください。

コストとリスク

注意事項

このソリューションは、サーバーリソースサイズと LLM サービスのデフォルトのトークン制限によって制限され、会話長が制約されます。その目的は、RAG ベースの LLM チャットボットの基本的な取得機能を体験していただくことです。

よくある質問