Dify をデプロイし、後、モデルプロバイダーページの DMS AI プラグインを使用して、非公開モデルサービスと Alibaba Cloud Model Studio サービス (LLM、Embedding、Rerank サービスなど) を Dify に統合できます。
Dify に LLM サービスを統合する
非公開 LLM サービスを統合する
以下のモデルがサポートされています。
DeepSeek-R1-Distill-Qwen-1.5B
、DeepSeek-R1-Distill-Qwen-7B
、DeepSeek-R1-Distill-Qwen-14B
、DeepSeek-R1-Distill-Qwen-32B
、および DeepSeek-R1-Distill-Llama-70B
。
Dify ワークスペースに移動します。[Studio] タブで、右上隅のアカウント名をクリックし、[設定] をクリックします。
[モデルプロバイダー] ページで、[モデル名]、[API キー]、[エンドポイント URL] などの関連パラメーターを構成し、[保存] をクリックします。
[エンドポイント URL] は、
http://172.17.XXX.XXX: XX/V1
形式です。
Alibaba Cloud Model Studio が提供する LLM サービスを統合する
Alibaba Cloud Model Studio が提供する LLM サービスを使用する前に、Dify インスタンスがデプロイされている VPC のインターネットアクセスを有効にする必要があります。この例では、DeepSeek-R1
を使用します。
ワークスペースに移動し、左側のナビゲーションペインにある
アイコンをクリックして、[Studio] タブをクリックします。
[Studio] タブで、右上隅のアカウント名をクリックし、[設定] をクリックします。
[モデルプロバイダー] ページで、[モデルタイプ] パラメーターを LLM に設定し、[モデル名]、[APIキー]、[エンドポイント URL] などの関連パラメーターを構成します。次に、[保存] をクリックします。
[モデル名]: Alibaba Cloud Model Studio にデプロイされたモデルの名前。
[API キー]: API キーを取得する。
[エンドポイント URL]: Alibaba Cloud Model Studio サーバーに接続するために使用するエンドポイント。Alibaba Cloud Model Studio が提供するモデルサービスのエンドポイントは
https://dashscope.aliyuncs.com/compatible-mode/v1
です。
Dify に Embedding または Rerank サービスを統合する
非公開の Embedding または Rerank サービスを使用する
DMS AI では、以下の Embedding サービスと Rerank サービスがサポートされています。
モデルタイプ | モデル名 | 最大コンテキストサイズ |
Embedding | bge-m3 | 8192 |
bge-large-zh-v1.5 | 512 | |
Rerank | bge-reranker-v2-m3 | 8192 |
手順 1: DMS AI にモデル情報を登録する
Dify ワークスペースに移動します。[Studio] タブで、右上隅のアカウント名をクリックし、[設定] をクリックします。
[モデルプロバイダー] ページで、[モデルタイプ] パラメーターを [テキスト Embedding] または プラグインをインストールして構成します。[Rerank] に設定し、関連パラメーターを構成します。次に、[保存] をクリックします。
説明[モデル名]、[サービスプロバイダー]、[API キー]、[エンドポイント URL] パラメーターのみを構成する必要があります。
手順 2: ナレッジベース構成ページでモデルを選択する
Dify ワークスペースに移動します。
[ナレッジ] タブで、[ナレッジの作成] をクリックします。
表示されるナレッジベース構成ページで、Dify に統合するモデルを選択します。
注:AnalyticDB for PostgreSQL が提供する Embedding または Rerank サービスを使用する
手順 1: DMS AI にモデル情報を登録する
Dify ワークスペースに移動します。[Studio] タブで、右上隅のアカウント名をクリックし、[設定] をクリックします。
[モデルプロバイダー] ページで、[モデルタイプ] パラメーターを [テキスト Embedding] または App Service プランを作成する[Rerank] に設定し、関連パラメーターを構成します。次に、[保存] をクリックします。
説明[モデル名]、[サービスプロバイダー]、[アクセスキー]、[シークレットキー]、[インスタンス ID]、[リージョン ID]、[コンテキストサイズ] パラメーターのみを構成する必要があります。詳細については、「RAM ユーザーの AccessKey ペアに関する情報を表示する」および「Rerank」をご参照ください。
最大コンテキストサイズは 2048 です。
モデルのパラメーター記述の詳細については、「Rerank」をご参照ください。
手順 2: ナレッジベース構成ページでモデルを選択する
Dify ワークスペースに移動します。
[ナレッジ] タブで、[ナレッジの作成] をクリックします。
表示されるナレッジベース構成ページで、Dify に統合するモデルを選択します。