Dify をデプロイした後、モデルプロバイダーページで DMS AI プラグインを使用して、デプロイ済みのモデルサービス (大規模言語モデル (LLM)、埋め込み、リランクサービスなど) に接続できます。これらのモデルとして、プライベートモデルまたは Alibaba Cloud Model Studio のモデルを利用できます。
LLM サービスへの接続
プライベートにデプロイされた LLM サービスへの接続
DeepSeek-R1-Distill-Qwen-1.5B、DeepSeek-R1-Distill-Qwen-7B、DeepSeek-R1-Distill-Qwen-14B、DeepSeek-R1-Distill-Qwen-32B、DeepSeek-R1-Distill-Llama-70B。
-
Dify ワークスペースの[スタジオ]ページに移動します。アカウント名をクリックし、[設定]を選択します。
-
[モデルプロバイダー] ページで、[モデル名]、[API キー]、[サーバー URL]、およびその他の必要な情報を入力し、[保存] をクリックします。
[サーバー URL] の形式は
http://172.17.XXX.XXX: XX/v1です。
Alibaba Cloud Model Studio の LLM サービスへの接続
Alibaba Cloud Model Studio の LLM サービスを使用する前に、Dify が使用する VPC のパブリックネットワークアクセスを有効にする必要があります。このセクションでは、DeepSeek-R1 への接続を例に説明します。
-
ワークスペースに移動します。左側のナビゲーションペインで、Dify
アイコンをクリックし、[スタジオ] を選択します。 -
[スタジオ] ページの右上隅にあるアカウント名をクリックし、[設定] を選択します。
-
[モデルプロバイダー] ページで、モデルタイプを [LLM] に設定します。[モデル名]、[APIキー]、および [サーバーURL] を入力し、[保存] をクリックします。
-
モデル名: Alibaba Cloud Model Studio にデプロイされたモデルを識別する名前です。
-
API キー: API キーを取得してください。
-
サーバー URL: Alibaba Cloud Model Studio のサーバーアドレスを入力します。共有モデルサービスの URL は
https://dashscope.aliyuncs.com/compatible-mode/v1です。
-
埋め込みまたはリランクモデルへの接続
プライベートにデプロイされた埋め込みまたはリランクサービスの使用
DMS AI は、次の埋め込みモデルとリランクモデルをサポートしています:
|
タイプ |
モデル名 |
最大コンテキスト長 |
|
埋め込み |
bge-m3 |
8192 |
|
bge-large-zh-v1.5 |
512 |
|
|
リランク |
bge-reranker-v2-m3 |
8192 |
ステップ 1:DMS AI プラグインにモデル情報を登録
-
Dify の [Studio] ページに移動します。 右上隅にあるアカウント名をクリックし、[設定] を選択します。
-
[モデルプロバイダー] ページで、テキスト埋め込みモデルまたはリランクモデルを追加し、そのパラメーターを設定してから、[保存] をクリックします。
説明[モデル名]、[サービスプロバイダー]、[API キー]、および [サーバー URL] パラメーターを設定するだけで済みます。
ステップ 2:ナレッジベース設定ページでモデルを選択
-
Dify の [Studio] ページに移動します。
-
[ナレッジベース] タブで、[ナレッジベースの作成] をクリックします。
-
ナレッジベース設定ページで、接続するモデルを選択します。
AnalyticDB for PostgreSQL の埋め込みまたはリランクサービスの使用
ステップ 1:DMS AI プラグインにモデル情報を登録
-
Dify [スタジオ] ページに移動します。右上隅のアカウント名をクリックし、[設定] を選択します。
-
[モデルプロバイダー] ページで、テキスト埋め込みまたはリランク モデルを追加してパラメーターを設定し、[保存] をクリックします。
説明-
[モデル名]、[サービスプロバイダー]、[アクセスキー]、[シークレットキー]、[インスタンス ID]、[リージョン ID]、および[コンテキスト長] パラメーターのみを設定する必要があります。 詳細については、「アクセスキーとシークレットキーの表示」、「テキスト埋め込みパラメーターの説明」、および「Rerank パラメーターの説明」をご参照ください。
-
[コンテキスト長] の値は 2048 を超えることはできません。
この例では、[モデル名] を
m3e-baseに、[サービスプロバイダー] を [AnalyticDB for PostgreSQL] に設定します。 -
ステップ 2:ナレッジベース設定ページでモデルを使用
-
Dify の [スタジオ] ページに移動します。
-
[ナレッジベース] タブで、[ナレッジベースの作成] をクリックします。
-
ナレッジベース設定ページで、接続するモデルを選択します。