:RAG ベースの LLM チャットボット

ステップ 1：RAG サービスをデプロイする

1. PAI コンソール にログインします。ページ上部でリージョンを選択します。次に、目的のワークスペースを選択し、[Elastic Algorithm Service (EAS)] をクリックします。

2. [モデルオンラインサービス (EAS)] ページで、[サービスのデプロイ] をクリックします。[シナリオベースのモデルデプロイ] 領域で、[Rag ベースの LLM チャットボットのデプロイ] をクリックします。

   

3. [Rag ベースの LLM チャットボットのデプロイ] ページで、パラメータを構成し、[デプロイ] をクリックします。[サービスステータス] が [実行中] に変わると、サービスが正常にデプロイされます。主要なパラメータの説明は次のとおりです。

   • 基本情報

     パラメータ	説明
     バージョン	デプロイには次の 2 つのバージョンがサポートされています。 [統合 LLM デプロイ]：LLM サービスと RAG サービスを同じサービス内にデプロイします。 [個別 LLM デプロイ]：RAG サービスのみをデプロイします。ただし、RAG サービス内では、柔軟性を高めるために、LLM サービスを自由に切り替えて接続できます。
     モデルタイプ	[統合 LLM デプロイ] を選択した場合は、デプロイする LLM を選択する必要があります。特定のユースケースに基づいてオープンソースモデルを選択できます。

   • リソースデプロイ

     パラメータ	説明
     デプロイリソース	モデルカテゴリを選択すると、システムは適切なリソース仕様を自動的に照合します。他のリソース仕様に切り替えると、モデルサービスが起動に失敗する可能性があります。

   • ベクトルデータベース設定

     RAG は、Faiss (Facebook AI Similarity Search)、Elasticsearch、Hologres、OpenSearch、または RDS PostgreSQL を使用したベクトルデータベースの構築をサポートしています。シナリオに基づいてバージョンの種類を選択して、ベクトルデータベースとして機能させます。

     FAISS

     Faiss を使用すると、ローカルベクトルデータベースを効率的に作成できるため、オンラインベクトルデータベースを取得またはアクティブ化する必要がなくなります。

     パラメータ	説明
     バージョンの種類	[FAISS] を選択します。
     OSS アドレス	アップロードされたナレッジベースファイルを保存するために、現在のリージョンで作成された OSS ストレージパスを選択します。使用可能なストレージパスがない場合は、コンソールのクイックスタート を参照して作成できます。 説明 カスタム微調整モデルデプロイサービスを使用することを選択した場合は、競合を避けるために、選択した OSS ストレージパスがカスタム微調整モデルのパスと重複していないことを確認してください。

     Elasticsearch

     Alibaba Cloud Elasticsearch インスタンスの接続情報を指定します。 Elasticsearch インスタンスを作成して設定項目を準備する方法については、ベクトルデータベース Elasticsearch を準備する を参照してください。

     パラメータ	説明
     バージョンの種類	[Elasticsearch] を選択します。
     プライベートネットワークアドレス/ポート	Elasticsearch インスタンスのプライベートネットワークアドレスとポートを http://<プライベートネットワークアドレス>:<プライベートネットワークポート> の形式で構成します。 Elasticsearch インスタンスのプライベートネットワークアドレスとポート番号を取得する方法については、インスタンスの基本情報を表示する を参照してください。
     インデックス名	新しいインデックス名または既存のインデックス名を入力します。既存のインデックス名の場合、インデックススキーマは RAG ベースのチャットボットの要件を満たしている必要があります。たとえば、EAS を使用して RAG ベースのチャットボットをデプロイするときに自動的に作成されるインデックスの名前を入力できます。
     アカウント	Elasticsearch インスタンスを作成したときに構成したログイン名を指定します。デフォルトのログイン名は elastic です。
     パスワード	Elasticsearch インスタンスを作成したときに構成したパスワードを指定します。ログインパスワードを忘れた場合は、インスタンスアクセスパスワードをリセット できます。

     Hologres

     Hologres インスタンスの接続情報を指定します。 Hologres インスタンスをアクティブ化していない場合は、Hologres の購入 を参照してください。

     パラメータ	説明
     バージョンの種類	[Hologres] を選択します。
     呼び出し情報	指定された VPC のホスト情報を指定します。Hologres 管理コンソール のインスタンス詳細ページに移動します。[ネットワーク情報] 領域で、[指定された VPC] の後の [コピー] をクリックして、ドメイン名 :80 の前のホスト情報を取得します。
     データベース名	Hologres インスタンスのデータベース名を指定します。データベースの作成方法の詳細については、データベースの作成 を参照してください。
     アカウント	作成したカスタムアカウントを指定します。詳細については、[メンバーロールを選択] を選択し、[スーパーユーザー] を選択する カスタムユーザーの作成 を参照してください。
     パスワード	作成したカスタムアカウントのパスワードを指定します。
     テーブル名	新しいテーブル名または既存のテーブル名を入力します。既存のテーブル名の場合、テーブルスキーマは RAG ベースのチャットボットの要件を満たしている必要があります。たとえば、EAS を使用して RAG ベースのチャットボットをデプロイするときに自動的に作成される Hologres テーブルの名前を入力できます。

     OpenSearch

     Vector Search Edition の OpenSearch インスタンスの接続情報を指定します。 OpenSearch インスタンスを作成して設定項目を準備する方法については、ベクトルデータベース OpenSearch を準備する を参照してください。

     パラメータ	説明
     バージョンの種類	[OpenSearch] を選択します。
     アクセスアドレス	Vector Search Edition の OpenSearch インスタンスのパブリックエンドポイントを指定します。 Vector Search Edition の OpenSearch インスタンスのパブリックアクセス機能を有効にする必要があります。詳細については、ベクトルデータベース OpenSearch を準備する を参照してください。
     インスタンス ID	OpenSearch Vector Search Edition インスタンスリストからインスタンス ID を取得します。
     ユーザー名	Vector Search Edition の OpenSearch インスタンスを作成したときに指定したユーザー名とパスワードを入力します。
     パスワード
     テーブル名	作成した Vector Search Edition の OpenSearch インスタンスのインデックステーブルの名前を入力します。インデックステーブルの準備方法の詳細については、ベクトルデータベース OpenSearch を準備する を参照してください。

     RDS PostgreSQL

     ApsaraDB RDS for PostgreSQL インスタンスの接続情報を指定します。 ApsaraDB RDS for PostgreSQL インスタンスを作成して設定項目を準備する方法については、ベクトルデータベース RDS PostgreSQL を準備する を参照してください。

     パラメータ	説明
     バージョンの種類	[RDS PostgreSQL] を選択します。
     ホストアドレス	ApsaraDB RDS for PostgreSQL インスタンスの内部ネットワークアドレスを指定します。ApsaraDB RDS for PostgreSQL コンソール ページに移動し、ApsaraDB RDS for PostgreSQL インスタンスの [データベース接続] ページを表示できます。
     ポート	デフォルト値は 5432 です。実際の状況に基づいて値を入力してください。
     データベース	作成したデータベースの名前を指定します。データベースとアカウントの作成方法の詳細については、アカウントとデータベースの作成 を参照してください。ここでは、次のようになります。 [アカウントタイプ] を選択し、[特権アカウント] を選択します。 [承認済みアカウント] を選択し、作成した特権アカウントを選択します。
     テーブル名	データベーステーブルの名前を指定します。
     アカウント	作成した特権アカウントとパスワードを指定します。特権アカウントの作成方法の詳細については、[アカウントタイプ] を選択し、[特権アカウント] を選択する アカウントとデータベースの作成 を参照してください。
     パスワード

   • 仮想プライベートクラウド構成

     パラメータ	説明
     VPC	RAG サービスのデプロイ時に [個別 LLM デプロイ] を選択した場合は、LLM サービスに接続されていることを確認する必要があります。 パブリックアクセス：RAG サービスに仮想プライベートクラウド (VPC) を関連付け、インターネットアクセスを構成する。 プライベートアクセス：RAG サービスと LLM サービスの両方に同じ VPC を関連付けます。 Model Studio のモデルを使用したり、オンライン検索で Q&A を実行したりする必要がある場合は、VPC を構成し、パブリックアクセスを有効にする必要があります。詳細については、パブリックネットワーク接続の構成 を参照してください。 ベクトルデータベースのネットワーク要件： Faiss ベクトルデータベースはネットワークアクセスを必要としません。 Hologres、Elasticsearch、または RDS PostgreSQL は、パブリックネットワークまたはプライベートネットワークを介して EAS からアクセスできます。プライベートネットワークアクセスをお勧めします。プライベートネットワークアクセスでは、EAS で構成された VPC がベクトルデータベースの VPC と一致している必要があります。 VPC、スイッチ、およびセキュリティグループの作成方法の詳細については、VPC の作成と管理 および セキュリティグループの作成 を参照してください。 EAS はパブリックネットワークを介してのみ OpenSearch にアクセスできます。アクセス方法の構成方法の詳細については、ステップ 2：設定項目を準備する を参照してください。
     スイッチ
     セキュリティグループ名

ステップ 2：WebUI ページでデバッグする

RAG サービスが正常にデプロイされた後、[サービスメソッド] 列の [Web アプリケーションを表示] をクリックして、WebUI ページを起動します。

以下の手順に従って、WebUI ページにナレッジベースファイルをアップロードし、Q&A チャットボットをテストします。

ステップ 3：API 呼び出し

次のコンテンツでは、RAG API を呼び出す方法について説明します。

呼び出し情報を取得する

1. RAG サービス名をクリックして、[サービスの詳細] ページに移動します。

2. [基本情報] 領域で、[呼び出し情報を表示] をクリックします。

3. [呼び出し情報] ダイアログボックスで、[パブリックアドレス呼び出し] タブをクリックして、サービスアクセスアドレスとトークンを取得します。

ナレッジベースファイルをアップロードする

API を介してローカルナレッジベースファイルをアップロードできます。アップロードインターフェイスから返された task_id に基づいて、ファイルアップロードタスクのステータスを照会できます。

次の例では、<service_url> を RAG サービスのアクセスアドレスに置き換え、<service_token> を RAG サービスのトークンに置き換えます。アクセスアドレスとトークンを取得する方法の詳細については、呼び出し情報を取得する を参照してください。

• データをアップロードする

  curl -X 'POST' '<service_url>api/v1/upload_data' -H 'Authorization: <service_token>' -H 'Content-Type: multipart/form-data' -F 'files=@<file_path>'
  # 戻り値: {"task_id": "****557733764fdb9fefa063538914da"}

• アップロードタスクのステータスを照会する

  curl '<service_url>api/v1/get_upload_state?task_id=****557733764fdb9fefa063538914da' -H 'Authorization: <service_token>'
  # 戻り値: {"task_id":"****557733764fdb9fefa063538914da","status":"completed"}

単一ラウンド会話リクエスト

import requests

SERVICE_URL = 'http://xxxx.****.cn-beijing.pai-eas.aliyuncs.com/'
headers = {
    'accept': 'application/json',
    'Content-Type': 'application/json',
    'Authorization': 'MDA5NmJkNzkyMGM1Zj****YzM4M2YwMDUzZTdiZmI5YzljYjZmNA==',
}

def test_post_api_query(url):
    data = {
       "question":"PAI とは何ですか？" 
    }
    response = requests.post(url, headers=headers, json=data)

    if response.status_code != 200:
        raise ValueError(f'Error post to {url}, code: {response.status_code}')
    ans = dict(response.json())

    print(f"======= 質問 =======\n {data['question']}")
    if 'answer' in ans.keys():
        print(f"======= 回答 =======\n {ans['answer']}")
    if 'docs' in ans.keys():
        print(f"======= 取得されたドキュメント =======\n {ans['docs']}\n\n")
 
# LLM 
test_post_api_query(SERVICE_URL + 'api/v1/query/llm')
# 取得
test_post_api_query(SERVICE_URL + 'api/v1/query/retrieval')
# チャット (ナレッジベース)
test_post_api_query(SERVICE_URL + 'api/v1/query')

複数ラウンド会話リクエスト

LLM とチャット (ナレッジベース) は、複数ラウンド会話リクエストの送信をサポートしています。次のコード例は、これを行う方法を示しています。

# リクエストを送信します。
curl -X 'POST'  '<service_url>api/v1/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "PAI とは何ですか？"}'

# リクエストに返されたセッション ID を提供します。この ID は、会話履歴内の会話を一意に識別します。セッション ID が提供されると、対応する会話が保存され、LLM を呼び出す後続のリクエストに自動的に含まれます。
curl -X 'POST'  '<service_url>api/v1/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question": "PAI の利点は何ですか？","session_id": "ed7a80e2e20442eab****"}'

# chat_history パラメータを提供します。これには、チャットボットとの会話履歴が含まれています。パラメータ値はリストで、各要素は {"user":"入力","bot":"出力"} 形式の単一ラウンドの会話を示します。複数の会話は時系列でソートされます。
curl -X 'POST'  '<service_url>api/v1/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question":"その機能は何ですか？", "chat_history": [{"user":"PAI とは何ですか？", "bot":"PAI は Alibaba Cloud の AI プラットフォームです..."}]}'

# session_id パラメータと chat_history パラメータの両方を指定した場合、会話履歴は指定されたセッション ID に対応する会話に追加されます。
curl -X 'POST'  '<service_url>api/v1/query' -H 'Authorization: <service_token>' -H 'accept: application/json'  -H 'Content-Type: application/json'  -d '{"question":"その機能は何ですか？", "chat_history": [{"user":"PAI とは何ですか？", "bot":"PAI は Alibaba Cloud の AI プラットフォームです..."}], "session_id": "1702ffxxad3xxx6fxxx97daf7c"}'

import requests

SERVICE_URL = 'http://xxxx.****.cn-beijing.pai-eas.aliyuncs.com'
headers = {
    'accept': 'application/json',
    'Content-Type': 'application/json',
    'Authorization': 'MDA5NmJkN****jNlMDgzYzM4M2YwMDUzZTdiZmI5YzljYjZmNA==',
}

def test_post_api_query_with_chat_history(url):
    # ラウンド 1 クエリ
    data = {
       "question": "PAI とは何ですか？"
    }
    response = requests.post(url, headers=headers, json=data)

    if response.status_code != 200:
        raise ValueError(f'Error post to {url}, code: {response.status_code}')
    ans = dict(response.json())
    print(f"=======ラウンド 1：質問 =======\n {data['question']}")
    if 'answer' in ans.keys():
        print(f"=======ラウンド 1：回答 =======\n {ans['answer']} session_id: {ans['session_id']}")
    if 'docs' in ans.keys():
        print(f"=======ラウンド 1：取得されたドキュメント =======\n {ans['docs']}")
   
    # ラウンド 2 クエリ
    data_2 = {
       "question": "PAI の利点は何ですか？",
       "session_id": ans['session_id']
    }
    response_2 = requests.post(url, headers=headers, json=data_2)

    if response.status_code != 200:
        raise ValueError(f'Error post to {url}, code: {response.status_code}')
    ans_2 = dict(response_2.json())
    print(f"=======ラウンド 2：質問 =======\n {data_2['question']}")
    if 'answer' in ans.keys():
        print(f"=======ラウンド 2：回答 =======\n {ans_2['answer']} session_id: {ans_2['session_id']}")
    if 'docs' in ans.keys():
        print(f"=======ラウンド 2：取得されたドキュメント =======\n {ans['docs']}")
    print("\n")

# LLM
test_post_api_query_with_chat_history(SERVICE_URL + "api/v1/query/llm")
# チャット (ナレッジベース)
test_post_api_query_with_chat_history(SERVICE_URL + "api/v1/query")

注意事項

このプラクティスは、LLM サービスの最大トークン数に制限されており、RAG ベースの LLM チャットボットの基本的な取得機能を理解するのに役立ちます。

• チャットボットは、LLM サービスのサーバーリソースサイズとデフォルトのトークン数によって制限されます。チャットボットがサポートする会話の長さにも制限があります。

• 複数ラウンドの会話が必要ない場合は、会話履歴機能を無効にして、制限に達する可能性を効果的に減らすことをお勧めします。

  WebUI 操作方法：RAG サービス WebUI ページの [チャット] タブで、[チャット履歴] チェックボックスをオフにします。

  

参考文献

EAS を使用して次の項目をデプロイすることもできます。

• Web UI または API 操作を使用して呼び出すことができる LLM アプリケーションをデプロイします。 LLM アプリケーションがデプロイされたら、LangChain フレームワークを使用して企業ナレッジベースを LLM アプリケーションに統合し、インテリジェントな Q&A と自動化機能を実装します。詳細については、EAS を使用して 5 分で LLM アプリケーションをデプロイする を参照してください。

• ComfyUI モデルと Stable Video Diffusion モデルを使用して、AI ビデオ生成モデルサービスをデプロイします。これにより、ソーシャルメディアプラットフォームでの短いビデオ生成やアニメーションなどのタスクを完了できます。詳細については、AI ビデオ生成 - ComfyUI デプロイメント を参照してください。

• いくつかのパラメータを構成することにより、Stable Diffusion WebUI に基づくモデルサービスをデプロイします。詳細については、AI ペイント - SDWebUI デプロイメント を参照してください。

• RAG ベースの LLM チャットボットをデプロイすると、EAS リソースに関連する料金のみが課金されます。課金の詳細については、モデルオンラインサービス (EAS) 課金説明 を参照してください。 RAG ベースの LLM チャットボットの使用中に Bailian、ベクトルデータベース、または Object Storage Service (OSS) などの他の製品を使用する場合、それらは対応する製品で個別に課金されます。