ApsaraDB RDS:PAIおよびApsaraDB RDS for PostgreSQLのEASモジュールを使用して、RAGベースのLLMチャットボットをデプロイする

背景情報

前提条件

• 仮想プライベートクラウド (VPC) 、vSwitch、およびセキュリティグループが作成されます。 詳細については、「VPCの作成と管理」および「セキュリティグループの作成」をご参照ください。

• Object Storage Service (OSS) バケットまたはFile Storage NAS (NAS) ファイルシステムを作成して、微調整されたモデルファイルを保存します。 微調整されたモデルを使用してチャットボットをデプロイする場合は、この前提条件を満たす必要があります。 詳細については、「OSSコンソールを使用して開始する」または「ファイルシステムの作成」をご参照ください。

  説明

  Faissを使用してベクターデータベースを構築する場合は、OSSバケットを準備する必要があります。

制限事項

ApsaraDB RDS for PostgreSQLインスタンスとEASは同じリージョンに存在する必要があります。

使用上の注意

この方法は、LLMサービスのトークンの最大数に左右され、RAGベースのLLMチャットボットの基本的な検索機能を理解するのに役立つように設計されています。

• チャットボットは、LLMサービスのサーバーリソースサイズとトークンのデフォルト数によって制限されます。 チャットボットがサポートする会話の長さも制限されています。

• 複数回の会話を実行する必要がない場合は、チャットボットのチャット履歴機能を無効にすることを推奨します。 これは、限界に達する可能性を効果的に低減する。 詳細については、「」をご参照ください。RAGベースのチャットボットのチャット履歴機能を無効にするにはどうすればよいですか? このトピックのセクション。

手順1: RDSインスタンスでのベクターデータベースの構築

RAGを使用すると、RDSインスタンスにベクターデータベースを構築できます。 ベクターデータベースを構築するときは、後続の操作でベクターデータベースに接続するために使用される必要なパラメーター設定を保存する必要があります。

1. RDSインスタンスを作成します。 詳細は、インスタンスの作成をご参照ください。

   VPCを介した通信を有効にするには、RDSインスタンスをRAGベースのLLMチャットボットと同じリージョンに配置することを推奨します。

2. RDSインスタンスのアカウントとデータベースを作成します。 詳細については、「データベースとアカウントの作成」をご参照ください。

   • アカウントを作成するときに、[アカウントタイプ] で [特権アカウント] を選択します。

   • データベースを作成するときに、[権限付与者] ドロップダウンリストから作成した特権アカウントを選択します。

3. データベース接続を設定します。

   1. [インスタンス] ページに移動します。 上部のナビゲーションバーで、RDS インスタンスが存在するリージョンを選択します。 次に、RDSインスタンスを見つけ、インスタンスのIDをクリックします。

   2. 左側のナビゲーションウィンドウで、データベースの接続.

   3. [データベース接続] ページで、データベースのエンドポイントとポートを表示します。

4. shared_preload_librariesパラメーターのRunning Parameter Valueにpg_jiebaを追加します。 たとえば、[Running Parameter Value] を 'pg_stat_statements,auto_explain,pg_cron 'に変更します。 詳細については、「ApsaraDB RDS For PostgreSQLインスタンスのパラメーターの変更」をご参照ください。

   説明

   ApsaraDB RDS for PostgreSQLは、pg_jieba拡張機能を使用して中国語テキストをセグメント化します。 この拡張機能は、キーワードベースの検索とリコールに使用できます。 詳細については、「pg_jieba拡張機能の使用」をご参照ください。

ステップ2: RAGベースのチャットボットのデプロイ

1. EASページに移動します。

   1. Platform for AI (PAI) コンソールにログインします。

   2. 左側のナビゲーションペインで、[ワークスペース] をクリックします。 [ワークスペース] ページで、モデルを配置するワークスペースを見つけ、その名前をクリックして [ワークスペースの詳細] ページに移動します。

      使用できるワークスペースがない場合は、作成する必要があります。 詳細については、「ワークスペースの作成」をご参照ください。

   3. 左側のナビゲーションウィンドウで、[モデル展開] > [Elastic Algorithm Service (EAS)] を選択して、[Elastic Algorithm Service (EAS)] ページに移動します。

2. [Elastic Algorithm Service (EAS)] ページで、[サービスのデプロイ] をクリックします。 [シナリオベースのモデル展開] セクションで、[RAGベースのスマートダイアログ展開] をクリックします。

3. RAGベースのLLM Chatbotデプロイページで、パラメーターを設定します。 次の表では、さまざまなセクションの主要なパラメーターについて説明します。

   • 基本情報

     パラメーター	説明
     サービス名	サービスの名前です。
     モデルソース	モデルのソース。 有効な値: オープンソースモデルおよびカスタム微調整モデル。
     モデルタイプ	モデルタイプ。 ビジネス要件に基づいてモデルタイプを選択できます。 モデルソースをカスタム微調整モデルに設定した場合、モデルタイプのパラメータの数量と精度を設定する必要があります。
     モデル設定	モデルソースをカスタム微調整モデルに設定した場合、微調整モデルファイルを格納するパスを設定する必要があります。 有効な値： 説明 モデルファイル形式がHugging Face transformersと互換性があることを確認してください。 OSSのマウント: 微調整されたモデルファイルが保存されているOSSパスを選択します。 NASのマウント: 微調整されたモデルファイルが保存されているNASファイルシステムと、NASファイルシステムのソースパスを選択します。

   • リソース設定

     パラメーター	説明
     リソース設定	モデルソースをオープンソースモデルに設定した場合、システムはデフォルト値として選択されたモデルタイプに基づいてインスタンスタイプを自動的に選択します。 モデルソースをカスタム微調整モデルに設定した場合、モデルに一致するインスタンスタイプを選択する必要があります。 詳細については、「EASでのLLMアプリケーションのデプロイ」をご参照ください。
     推論の加速	推論アクセラレーションは、A10またはGU30インスタンスにデプロイされているQwen、Llama2、ChatGLM、またはBaichuan2モデルに対して有効にできます。 次の推論アクセラレーションメソッドが提供されます。 BladeLLM推論アクセラレーション: BladeLLM推論アクセラレーションエンジンは、高い同時実行性と低いレイテンシを保証します。 BladeLLMを使用すると、費用対効果の高い方法でLLM推論を高速化できます。 オープンソースvLLM推論アクセラレーション

   • ベクトルデータベース设定

     パラメーター	説明
     Vectorデータベース型	ベクトルデータベースのエンジンタイプ。 [RDS PostgreSQL] を選択します。
     ホストアドレス	RDSインスタンスの内部エンドポイントまたはパブリックエンドポイント。 内部エンドポイント: RAGアプリケーションとデータベースが同じリージョンにある場合、内部エンドポイントを使用してRAGアプリケーションをRDSインスタンスに接続できます。 パブリックエンドポイント: RAGアプリケーションとデータベースが異なるリージョンにある場合、RDSインスタンスのパブリックエンドポイントを申請する必要があります。 詳細については、「パブリックエンドポイントの申請またはリリース」をご参照ください。
     ポート	ポート番号 デフォルト値: 5432
     データベース	RDSインスタンスに作成するデータベースの名前。
     テーブル名	新しいテーブルまたは既存のテーブルの名前。 既存のテーブルの名前を入力する場合、テーブルスキーマはRAGベースのLLMチャットボットの要件を満たす必要があります。 たとえば、EASを使用してRAGベースのLLMチャットボットをデプロイするときに自動的に作成されるテーブルの名前を入力できます。
     [アカウント]	RDSインスタンスの特権アカウント
     Password	特権アカウントのパスワード。

   • VPC設定

     パラメーター	説明
     [VPC]	ホストアドレスが内部エンドポイントの場合、RAGベースのLLMチャットボットのRDSインスタンスのVPCを選択する必要があります。 ホストアドレスがパブリックエンドポイントの場合、RAGベースのLLMチャットボット用にVPCとvSwitchを設定し、VPC用にNATゲートウェイとelastic IPアドレス (EIP) を作成する必要があります。 これにより、RAGベースのLLMチャットボットにインターネット経由でアクセスできるようになります。 RDSインスタンスのIPアドレスホワイトリストにEIPを追加する必要があります。 詳細については、「インターネットNATゲートウェイのSNAT機能を使用したインターネットへのアクセス」および「IPアドレスホワイトリストの設定」をご参照ください。
     vSwitch
     セキュリティグループ名	セキュリティグループ。 重要 このセキュリティグループはシステムアクセス制御にのみ使用されるため、created_by_rdsという名前のセキュリティグループは使用しないでください。

4. [デプロイ] をクリックします。

   [サービスステータス] 列の値が [実行中] に変わると、RAGベースのチャットボットがデプロイされます。

ステップ3: web UIでモデル推論を実行する

このセクションでは、web UIでRAGベースのチャットボットをデバッグする方法について説明します。 web UIでRAGベースのチャットボットのQ&Aパフォーマンスをテストした後、Platform for AI (PAI) が提供するAPI操作を呼び出して、RAGベースのチャットボットをビジネスシステムに適用できます。 詳細については、このトピックの「手順4: API操作を呼び出してモデル推論を実行する」をご参照ください。

1. RAGベースのチャットボットの設定

1. RAGベースのチャットボットをデプロイした後、[サービスタイプ] 列の [Webアプリの表示] をクリックしてweb UIに移動します。

2. 機械学習モデルを設定します。

   • 埋め込みモデル名: 4つのモデルが利用可能です。 デフォルトでは、最適なモデルが選択されています。

   • 埋め込みディメンション: 埋め込みモデル名パラメーターを設定すると、システムは自動的にこのパラメーターを設定します。

3. ベクトルデータベースが接続されているかどうかを確認します。

   システムは、チャットボットのデプロイ時に構成されたベクトルデータベース設定を自動的に認識して適用します。 設定は変更できません。 [PostgreSQLの接続] をクリックして、RDSインスタンスのベクターデータベースが接続されているかどうかを確認します。

2. 指定したビジネスデータファイルのアップロード

3. モデル推論パラメーターの設定

[チャット] タブで、Q&Aポリシーを設定します。

4。 モデル推論の実行

手順4: API操作を呼び出してモデル推論を実行

1. RAGベースのチャットボットの呼び出し情報を取得します。

   1. RAGベースのチャットボットの名前をクリックして、[サービスの詳細] ページに移動します。

   2. [基本情報] セクションで、[エンドポイント情報の表示] をクリックします。

   3. [呼び出しメソッド] ダイアログボックスの [パブリックエンドポイント] タブで、サービスエンドポイントとトークンを取得します。

2. WebUIを介してベクターデータベースに接続し、ナレッジベースファイルをアップロードします。

   生成されたテーブルの構造 (PAI-RAG形式に準拠) に基づいて、ナレッジベースをベクトルベースにアップロードすることもできます。

3. APIを介してサービスを呼び出します。

   PAIでは、さまざまなクエリモードで次のAPI操作を使用して、RAGベースのチャットボットを呼び出すことができます。検索モードではservice/query/retrieval、llmモードではservice/query /LLM、RAGモードではservice/queryです。 サンプルコード：

   cURLコマンド

   • シングルラウンド会話リクエストを開始する

     • 方法1: service/query/retrieval操作を呼び出します。

       curl -X 'POST'  '<service_url>service/query/retrieval' -H 'Authorization: <service_token>' -H 'accept: application/json' -H 'Content-Type: application/json'  -d '{"question": "What is PAI?"}'
       # Replace <service_url> and <service_token> with the service endpoint and service token that you obtained in Step 1.

     • 方法2: /service/query/llm操作を呼び出します。

       curl -X 'POST'  '<service_url>service/query/llm' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "What is PAI?"}'
       # Replace <service_url> and <service_token> with the service endpoint and service token that you obtained in Step 1.

       {"question":"What is PAI?" 、"temperature": 0.9} など、他の調整可能な推論パラメーターを追加できます。

     • 方法3: service/query操作を呼び出します。

       curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "What is PAI?"}'
       # Replace <service_url> and <service_token> with the service endpoint and service token that you obtained in Step 1.

       {"question":"What is PAI?" 、"temperature": 0.9} など、他の調整可能な推論パラメーターを追加できます。

   • マルチラウンド会話検索要求を開始する

     マルチラウンドの会話検索リクエストは、RAGおよびLLMクエリモードでのみ開始できます。 次のサンプルコードは、RAGクエリモードでマルチラウンド会話検索リクエストを開始する方法の例を示しています。

     # Send the request.  
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "What is PAI?"}'
     
     # Provide the session ID returned for the request. This ID uniquely identifies a conversation in the conversation history. After the session ID is provided, the corresponding conversation is stored and is automatically included in subsequent requests to call an LLM. 
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "What are the benefits of PAI?","session_id": "ed7a80e2e20442eab****"}'
     
     # Provide the chat_history parameter, which contains the conversation history between you and the chatbot. The parameter value is a list in which each element indicates a single round of conversation in the {"user":"Inputs","bot":"Outputs"} format. Multiple conversations are sorted in chronological order. 
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question":"What are the features of PAI?", "chat_history": [{"user":"What is PAI", "bot":"PAI is an AI platform provided by Alibaba Cloud..."}]}'
     
     # If you provide both the session_id and chat_history parameters, the conversation history is appended to the conversation that corresponds to the specified session ID.  
     curl -X 'POST'  '<service_url>service/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question":"What are the features of PAI?", "chat_history": [{"user":"What is PAI", "bot":"PAI is an AI platform provided by Alibaba Cloud..."}], "session_id": "1702ffxxad3xxx6fxxx97daf7c"}'

   Python

   • 次のサンプルコードは、単一ラウンドの会話検索リクエストを開始する方法の例を示しています。

     import requests
     
     EAS_URL = 'http://xxxx.****.cn-beijing.pai-eas.aliyuncs.com'
     headers = {
         'accept': 'application/json',
         'Content-Type': 'application/json',
         'Authorization': 'MDA5NmJkNzkyMGM1Zj****YzM4M2YwMDUzZTdiZmI5YzljYjZmNA==',
     }
     
     
     def test_post_api_query_llm():
         url = EAS_URL + '/service/query/llm'
         data = {
            "question":"What is PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"======= Question =======\n {data['question']}")
         print(f"======= Answer =======\n {ans['answer']} \n\n")
     
     
     def test_post_api_query_retrieval():
         url = EAS_URL + '/service/query/retrieval'
         data = {
            "question":"What is PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"======= Question =======\n {data['question']}")
         print(f"======= Answer =======\n {ans['docs']}\n\n")
     
     
     def test_post_api_query_rag():
         url = EAS_URL + '/service/query'
         data = {
            "question":"What is PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"======= Question =======\n {data['question']}")
         print(f"======= Answer =======\n {ans['answer']}")
         print(f"======= Retrieved Docs =======\n {ans['docs']}\n\n")
     # LLM
     test_post_api_query_llm()
     # Retrieval
     test_post_api_query_retrieval()
     # RAG (Retrieval + LLM)
     test_post_api_query_rag()
     

     EAS_URLパラメーターをRAGベースのチャットボットのエンドポイントに設定します。 エンドポイントの末尾にあるスラッシュ (/) を削除してください。 [権限付与] パラメーターをRAGベースのチャットボットのトークンに設定します。

   • マルチラウンド会話検索要求を開始する

     マルチラウンド会話検索リクエストは、RAG (検索 + LLM) およびLLMクエリモードでのみ開始できます。 サンプルコード：

     import requests
     
     EAS_URL = 'http://xxxx.****.cn-beijing.pai-eas.aliyuncs.com'
     headers = {
         'accept': 'application/json',
         'Content-Type': 'application/json',
         'Authorization': 'MDA5NmJkN****jNlMDgzYzM4M2YwMDUzZTdiZmI5YzljYjZmNA==',
     }
     
     
     def test_post_api_query_llm_with_chat_history():
         url = EAS_URL + '/service/query/llm'
         # Round 1 query
         data = {
            "question":"What is PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
         print(f"=======Round 1: Question =======\n {data['question']}")
         print(f"=======Round 1: Answer =======\n {ans['answer']} session_id: {ans['session_id']} \n")
        
         # Round 2 query
         data_2 = {
            "question": "What are the benefits of PAI?",
            "session_id": ans['session_id']
         }
         response_2 = requests.post(url, headers=headers, json=data_2)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans_2 = dict(response_2.json())
         print(f"=======Round 2: Question =======\n {data_2['question']}")
         print(f"=======Round 2: Answer =======\n {ans_2['answer']} session_id: {ans_2['session_id']} \n\n")
     
     
     def test_post_api_query_rag_with_chat_history():
         url = EAS_URL + '/service/query'
        
         # Round 1 query
         data = {
            "question":"What is PAI?"
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
     
         print(f"=======Round 1: Question =======\n {data['question']}")
         print(f"=======Round 1: Answer =======\n {ans['answer']} session_id: {ans['session_id']}")
         print(f"=======Round 1: Retrieved Docs =======\n {ans['docs']}\n")
     
         # Round 2 query
         data = {
            "question":"What are the features of PAI?",
            "session_id": ans['session_id']
         }
         response = requests.post(url, headers=headers, json=data)
     
         if response.status_code != 200:
             raise ValueError(f'Error post to {url}, code: {response.status_code}')
         ans = dict(response.json())
     
         print(f"=======Round 2: Question =======\n {data['question']}")
         print(f"=======Round 2: Answer =======\n {ans['answer']} session_id: {ans['session_id']}")
         print(f"=======Round 2: Retrieved Docs =======\n {ans['docs']}")
     # LLM
     test_post_api_query_llm_with_chat_history()
     # RAG (Retrieval + LLM)
     test_post_api_query_rag_with_chat_history()
     

     EAS_URLパラメーターをRAGベースのチャットボットのエンドポイントに設定します。 エンドポイントの末尾にあるスラッシュ (/) を削除してください。 [権限付与] パラメーターをRAGベースのチャットボットのトークンに設定します。

その他の機能

RDSインスタンスのベクトルデータベースとして使用されているデータベースに接続すると、インポートされたナレッジベースのコンテンツを表示できます。 データベースへの接続方法の詳細については、「ApsaraDB RDS For PostgreSQLインスタンスへの接続」をご参照ください。

関連ドキュメント

EASを使用して、次のアイテムを展開することもできます。

• web UIまたはAPI操作を使用して呼び出すことができるLLMアプリケーションをデプロイできます。 LLMアプリケーションがデプロイされたら、LangChainフレームワークを使用してエンタープライズナレッジベースをLLMアプリケーションに統合し、インテリジェントなQ&Aおよび自動化機能を実装します。 詳細については、「EASでのLLMの迅速なデプロイ」をご参照ください。

• ComfyUIおよびStable video Diffusionモデルを使用して、AIビデオ生成モデルサービスをデプロイできます。 これにより、ソーシャルメディアプラットフォームでの短いビデオ生成やアニメーションなどのタスクを完了できます。 詳細については、「ComfyUIを使用したAIビデオ生成モデルサービスのデプロイ」をご参照ください。

よくある質問

RAGベースのチャットボットのチャット履歴機能を無効にするにはどうすればよいですか?

RAGベースのチャットボットのweb UIページで、[チャット履歴] を選択しないでください。