DeepSeek モデルをデプロイするには、コンピューティング環境の設定、モデルのロード、推論の最適化を行う必要があります。PAI モデルギャラリーはワンクリックデプロイメントに対応しています。わずか数ステップで OpenAI API と互換性のあるモデルサービスを取得し、お使いのアプリケーションに迅速に統合できます。
ソリューションアーキテクチャ
コアコンポーネント
このソリューションは PAI (Platform for AI) を基盤として構築されており、以下のコアコンポーネントで構成されています:
モデルギャラリー:モデル配布とモデルデプロイのエントリポイントで、プリセットされた DeepSeek モデルとデプロイ設定を提供します。
Elastic Algorithm Service (EAS) :モデルデプロイと推論をホストするコアサービスです。GPU などの基盤となるコンピューティングリソースを自動的に管理し、モデルサービスインスタンスを起動します。
-
推論アクセラレーションエンジン (SGLang/vLLM/BladeLLM) :モデルの推論パフォーマンスを最適化します。
SGLang/vLLM :OpenAI API と完全に互換性のあるインターフェイスを提供し、既存アプリケーションの移行を可能にします。
BladeLLM :自社開発の高性能な推論フレームワークで、特定のシナリオでより優れたパフォーマンスを発揮します。
API ゲートウェイ:モデルサービスにアクセスするためのセキュアなチャネルを提供します。サービスエンドポイントとトークンを使用してサービスを呼び出します。
デプロイ方法
大規模モデル向けに、モデルギャラリーではシングルノードデプロイメントに加え、分散デプロイメントやEP+PD separation などのワンクリックデプロイソリューションも提供しています。
たとえば、DeepSeek-V4-Pro-FP8 と DeepSeek-V4-Flash-FP8 は、どちらも EP+PD separation 方式でデプロイできます。
クイックデプロイと検証
ステップ1:モデルサービスのデプロイ
PAI コンソールにログインし、左上隅で対象リージョンを選択します。左側のナビゲーションウィンドウで ワークスペース一覧 をクリックし、対象のワークスペースを選択します。
ワークスペースで、クイックスタート > [モデルギャラリー] の順にクリックします。
モデルリストで対象のモデル (例:
DeepSeek-R1-Distill-Qwen-7B) を検索して選択し、モデルカードをクリックして詳細ページに移動します。-
ページの右上隅にある デプロイメント をクリックし、以下のパラメータを設定します。
[デプロイメントテンプレート]:デフォルトでは、カードタイプは A10、推論エンジンは SGLang、デプロイ方法はシングルノード、デプロイシナリオはバランスです。
-
[デプロイリソース]:パブリックリソースまたは専用リソースを選択し、モデルの要件に基づいて適切な GPU 仕様を選択します。
-
デフォルトではパブリックリソースが使用され、推奨仕様が表示されます。利用可能な仕様がない場合は、別のリージョンに切り替えてください。
重要パブリックリソースを使用してデプロイする場合、インスタンスがプロビジョニングされるとすぐに課金が開始され、呼び出しがない場合でも使用時間に基づいて料金が発生します。テスト完了後は速やかにサービスを停止してください。
[リソースクォータ] を選択する場合は、インスタンスタイプに対応する推論エンジンとデプロイテンプレートを選択する必要があります。例えば、Zhenwu PPU を使用する場合、推論エンジンとして [SGLang] を、デプロイテンプレートのカードタイプとして [PPU-810E] を選択できます。
推奨 GPU 仕様の例は
ecs.gn7i-c16g1.4xlarge(16 vCPU、60 GiB、1 × NVIDIA A10) で、1時間あたり約 11.1 元の料金が発生します。 -
-
すべての設定が正しいことを確認したら、[デプロイ] をクリックします。システムがサービスの作成を開始します。
説明フルバージョンの DeepSeek-R1 などの大規模モデルの場合、モデルの読み込みに 20~30 分かかることがあります。
-
デプロイジョブのステータスは、[モデルギャラリー] > タスク管理 > タスクのデプロイメント ページで確認できます。サービス名をクリックすると、サービス詳細ページに移動します。また、右上隅の をクリックすると、PAI-EAS のモデルサービス詳細ページに移動して詳細情報を確認できます。
サービス詳細ページでは、[ステータス] フィールドの横にある [デプロイイベントを表示] をクリックして詳細を確認できます。また、[呼び出し情報] フィールドの [呼び出し情報を表示] をクリックして、サービスエンドポイントとトークンを取得できます。左側のナビゲーションウィンドウで [Elastic Algorithm Service (EAS)] を選択して、EAS サービス管理ページに移動することもできます。
ステップ2:オンラインデバッグ
[モデルギャラリー] > タスク管理 > タスクのデプロイメント ページで、デプロイ済みのサービス名をクリックし、オンラインデバッグ タブに切り替えます。このタブは、対話のデバッグ と API デバッグ の両方をサポートしています。
DeepSeek-R1 モデルシリーズの公式な使用推奨事項は以下の通りです。
temperature を 0.5~0.7 の値に設定します。推奨値は 0.6 です。これにより、出力の繰り返しや、一貫性のない内容になることを防ぎます。
システムプロンプトは追加しないでください。すべての指示をユーザープロンプトに含めてください。
数学関連の質問の場合は、プロンプトに "Please reason step by step and put the final answer in a \boxed{}." を含めてください。
API デバッグページのみが利用可能な場合、以下の例では、大規模言語モデル (LLM) サービスのチャット API をデバッグする方法を説明します。
-
リクエストメソッドとパスの設定:デバッグタブで、HTTP メソッドとして
POSTを選択し、アドレスに/v1/chat/completionsを追加して、リクエスト URL 全体<EAS_ENDPOINT>/v1/chat/completionsを作成します。URL 内の<EAS_ENDPOINT>はサービスエンドポイントであり、通常はあらかじめ入力されています。標準形式はhttp://<uid>.<region-id>.pai-eas.aliyuncs.com/api/predict/<service-name>です。SGLang/vLLM でデプロイされたサービスの場合、
<EAS_ENDPOINT>/openapi.jsonでサポート対象の API 詳細を確認できます。 -
リクエストボディの構成
プロンプトが "What is 3 + 5?" の場合、リクエストボディを次のように作成します。
model パラメータの値は、モデルリスト API
<EAS_ENDPOINT>/v1/modelsから取得したモデル名です。この例では、DeepSeek-R1-Distill-Qwen-7B を使用します。[Body] セクションで [raw] を選択し、以下の JSON リクエストボディを入力します。
{ "model": "DeepSeek-R1-Distill-Qwen-7B", "messages": [ { "role": "user", "content": "What is 3 + 5?" } ] } -
リクエストの送信
[リクエストを送信] をクリックします。右側の [Response] セクションにステータスコード 200 が表示され、[Body] セクションに JSON 形式でモデルのレスポンスが表示されます。
API の呼び出し
-
サービスエンドポイントとトークンを取得します。
[モデルギャラリー] > タスク管理 > タスクのデプロイメント ページで、デプロイ済みのサービス名をクリックしてサービス詳細ページに移動します。
エンドポイント情報の表示 をクリックして、サービスの呼び出しに使用するエンドポイントとトークンを取得します。
-
以下は、チャット API を呼び出す例です。
<EAS_ENDPOINT> をサービスエンドポイントに、<EAS_TOKEN> をサービストークンに置き換えてください。
OpenAI SDK
注意事項:
エンドポイントに
/v1を追加する必要があります。BladeLLM 高速化デプロイでは、現在
client.models.list()を使用したモデルリストの取得をサポートしていません。互換性のため、modelの値を""に設定できます。
SGLang/vLLM 高速化デプロイ
from openai import OpenAI # 1. クライアントを設定 # <EAS_ENDPOINT> と <EAS_TOKEN> を実際のサービスアクセスアドレスとトークンに置き換えます。 openai_api_key = "<EAS_TOKEN>" openai_api_base = "<EAS_ENDPOINT>/v1" client = OpenAI( api_key=openai_api_key, base_url=openai_api_base, ) # 2. モデル名を取得 try: model = client.models.list().data[0].id print(model) except Exception as e: print(f"モデルリストの取得に失敗しました。エンドポイントとトークンを確認してください。エラー: {e}") # 3. リクエストを構築して送信 stream = True chat_completion = client.chat.completions.create( messages=[ {"role": "user", "content": "こんにちは、自己紹介をしてください。"} ], model=model, max_tokens=2048, stream=stream, ) if stream: for chunk in chat_completion: print(chunk.choices[0].delta.content, end="") else: result = chat_completion.choices[0].message.content print(result)BladeLLM 高速化デプロイ
from openai import OpenAI ##### API 設定 ##### # <EAS_ENDPOINT> をデプロイしたサービスのアクセスアドレスに、<EAS_TOKEN> をデプロイしたサービスのトークンに置き換えます。 openai_api_key = "<EAS_TOKEN>" openai_api_base = "<EAS_ENDPOINT>/v1" client = OpenAI( api_key=openai_api_key, base_url=openai_api_base, ) # BladeLLM 高速化デプロイでは、現在 `client.models.list()` によるモデル名の取得をサポートしていません。互換性のため、`model` の値を直接 `""` に設定できます。 model = "" stream = True chat_completion = client.chat.completions.create( messages=[ {"role": "user", "content": "こんにちは、自己紹介をしてください。"} ], model=model, max_tokens=2048, stream=stream, ) if stream: for chunk in chat_completion: print(chunk.choices[0].delta.content, end="") else: result = chat_completion.choices[0].message.content print(result)HTTP
SGLang/vLLM 高速化デプロイ
<model_name> を、モデルリスト API
<EAS_ENDPOINT>/v1/modelsから取得したモデル名に置き換えます。curl -X POST \ -H "Content-Type: application/json" \ -H "Authorization: <EAS_TOKEN>" \ -d '{ "model": "<model_name>", "messages": [ { "role": "user", "content": "こんにちは!" } ] }' \ <EAS_ENDPOINT>/v1/chat/completionsimport json import requests # <EAS_ENDPOINT> をデプロイしたサービスのアクセスアドレスに、<EAS_TOKEN> をデプロイしたサービスのトークンに置き換えます。 EAS_ENDPOINT = "<EAS_ENDPOINT>" EAS_TOKEN = "<EAS_TOKEN>" url = f"{EAS_ENDPOINT}/v1/chat/completions" headers = { "Content-Type": "application/json", "Authorization": EAS_TOKEN, } # <model_name> をモデルリスト API `<EAS_ENDPOINT>/v1/models` から取得したモデル名に置き換えます。 model = "<model_name>" stream = True messages = [ {"role": "user", "content": "こんにちは、自己紹介をしてください。"}, ] req = { "messages": messages, "stream": stream, "temperature": 0.6, "top_p": 0.5, "top_k": 10, "max_tokens": 300, "model": model, } response = requests.post( url, json=req, headers=headers, stream=stream, ) if stream: for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False): msg = chunk.decode("utf-8") if msg.startswith("data"): info = msg[6:] if info == "[DONE]": break else: resp = json.loads(info) print(resp["choices"][0]["delta"]["content"], end="", flush=True) else: resp = json.loads(response.text) print(resp["choices"][0]["message"]["content"])BladeLLM 高速化デプロイ
curl -X POST \ -H "Content-Type: application/json" \ -H "Authorization: <EAS_TOKEN>" \ -d '{ "model": "", "messages": [ { "role": "user", "content": "こんにちは!" } ] }' \ <EAS_ENDPOINT>/v1/chat/completionsimport json import requests # <EAS_ENDPOINT> をデプロイしたサービスのアクセスアドレスに、<EAS_TOKEN> をデプロイしたサービスのトークンに置き換えます。 EAS_ENDPOINT = "<EAS_ENDPOINT>" EAS_TOKEN = "<EAS_TOKEN>" url = f"{EAS_ENDPOINT}/v1/chat/completions" headers = { "Content-Type": "application/json", "Authorization": EAS_TOKEN, } stream = True messages = [ {"role": "user", "content": "こんにちは、自己紹介をしてください。"}, ] # BladeLLM 高速化デプロイでは、`max_tokens` パラメーターを指定しない場合、デフォルトで `max_tokens=16` で出力が切り捨てられます。実際のニーズに基づいて `max_tokens` リクエストパラメーターを調整することを推奨します。 req = { "model": "", "messages": messages, "stream": stream, "temperature": 0.6, "top_p": 0.5, "top_k": 10, "max_tokens": 300, } response = requests.post( url, json=req, headers=headers, stream=stream, ) if stream: for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False): msg = chunk.decode("utf-8") if msg.startswith("data"): info = msg[6:] if info == "[DONE]": break else: resp = json.loads(info) if resp["choices"][0]["delta"].get("content") is not None: print(resp["choices"][0]["delta"]["content"], end="", flush=True) else: resp = json.loads(response.text) print(resp["choices"][0]["message"]["content"]) -
呼び出し方法は、モデルとデプロイメントフレームワークによって異なります。詳細については、モデルギャラリーの「モデル紹介ページ」をご参照ください。
たとえば、「モデルギャラリー」の DeepSeek-R1-Distill-Qwen-7B の[モデル紹介]ページには、BladeLLM 高速化デプロイのリソース要件 (24 GB の GPU メモリが必要で、ecs.gn7 以降のインスタンスファミリーのみがサポートされます)、モデルが OpenAI
v1/completionsおよびv1/chat/completionsAPI と互換性があること、curl コマンドと Python スクリプトを使用した呼び出し例が記載されています。
サードパーティ統合
Chatbox、Dify、または Cherry Studio に接続するには、「サードパーティクライアントの統合」をご参照ください。
ローカル Web UI
ローカル Web UI の構築をご参照ください。
リソースのクリーンアップ
パブリックリソースを使用してデプロイする場合、インスタンスがプロビジョニングされると同時に、使用時間に基づいた課金が開始されます。1 時間に満たない端数は分単位で按分されます。使用が完了したら、速やかにインスタンスを停止または削除してください。
[タスク管理] > [デプロイタスク] ページに戻ります。
-
停止したいサービスを見つけ、[操作] 列の [停止] または [削除] をクリックします。
[停止]:サービスインスタンスはリリースされて課金は停止しますが、サービス構成は保持され、後ほどサービスを再起動できます。
[削除]:サービス構成とインスタンスの両方が完全に削除されます。
モデルとリソースの選択
選択するモデルによって、必要なコンピューティングリソースとデプロイメントコストが決まります。 DeepSeek モデルは、リソース要件が大幅に異なるフルバージョンモデルと蒸留版モデルに分かれています。
開発とテスト:
DeepSeek-R1-Distill-Qwen-7Bのような蒸留版モデルの使用を推奨します。これらのモデルはリソース要件が低く (通常は 24 GB の GPU メモリを搭載した単一の GPU)、低コストで迅速にデプロイでき、迅速な機能検証に適しています。本番環境: モデルの性能とコストの両方を評価します。
DeepSeek-R1-Distill-Qwen-32Bは、性能とコストのバランスが取れています。より強力なモデル性能が必要な場合は、フルバージョンモデルを選択できますが、フルバージョンモデルは複数のハイエンド GPU (それぞれ 96 GB の GPU メモリを搭載した 8 つの GPU など) を必要とし、コストが大幅に増加します。
次の表に、さまざまなモデルバージョンで必要な最小構成と、さまざまなインスタンスタイプと推論エンジンを使用した場合にサポートされる最大トークン数を示します。
フルバージョンモデル
|
モデル |
デプロイ方式 |
最大トークン数 (入力 + 出力) |
最小構成 |
|
|
SGLang (推奨) |
vLLM |
|||
|
DeepSeek-V4-Pro |
シングルノード/分散 |
1M |
1M |
シングルノード 8 × H20-3e (8 × 141 GB の GPU メモリ) |
|
DeepSeek-V4-Flash |
シングルノード |
1M |
1M |
シングルノード 8 × H20-3e (8 × 141 GB の GPU メモリ) |
|
DeepSeek-V4-Pro-FP8 |
シングルノード/PD separation |
1M |
/ |
シングルノード 8 × H20-3e (8 × 141 GB の GPU メモリ) |
|
DeepSeek-V4-Flash-FP8 |
シングルノード/PD separation |
1M |
/ |
シングルノード 4 × H20-3e (4 × 141 GB の GPU メモリ) |
|
DeepSeek-V3 |
シングルノード - NVIDIA GPU |
56,000 |
65,536 |
シングルノード 8 × GU120 (8 × 96 GB の GPU メモリ) |
|
シングルノード - Zhenwu PPU |
56,000 |
16,384 |
||
|
分散 - PAI Lingjun AI 計算サービス |
163,840 |
163,840 |
||
|
DeepSeek-R1 |
シングルノード - NVIDIA GPU |
56,000 |
65,536 |
シングルノード 8 × GU120 (8 × 96 GB の GPU メモリ) |
|
シングルノード - Zhenwu PPU |
56,000 |
16,384 |
||
|
分散 - PAI Lingjun AI 計算サービス |
163,840 |
163,840 |
||
シングルノードデプロイメント のインスタンスタイプに関する注意事項:
-
NVIDIA GPU:
ml.gu8v.c192m1024.8-gu120とecs.gn8v-8x.48xlarge:パブリックリソースとして利用可能ですが、在庫が限られている場合があります。ecs.ebmgn8v.48xlarge:パブリックリソースとしては使用できません。専用の EAS リソースを購入する必要があります。
Zhenwu PPU:
ml.gp7vf.16.40xlargeはパブリックリソースであり、プリエンプティブルとしてのみ使用できます。 NVIDIA GPU リソースが不足している場合は、China (Ulanqab) リージョンに切り替えて Zhenwu PPU リソースを見つけることができます。 デプロイ時に VPC を設定する必要があります。
分散デプロイメント のインスタンスタイプに関する注意事項 (高性能が必要な場合に推奨):
分散デプロイメントは高速ネットワークに依存します。したがって、高性能で弾力性のあるヘテロジニアスコンピューティング能力を提供する PAI Lingjun AI 計算サービス を使用し、デプロイメント中に VPC を設定する必要があります。PAI Lingjun AI 計算サービスを使用するには、リージョンを China (Ulanqab) に切り替えます。
-
Lingjun パブリックリソース:
ml.gu7xf.8xlarge-gu108: 単一インスタンスのデプロイメントには 4 台のマシンが必要で、プリエンプティブルとしてのみ使用できます。Zhenwu PPU: 単一インスタンスのデプロイメントには 2 台のマシンが必要です。
Lingjun 前払いリソース:これらのリソースを使用するには、ホワイトリストへの追加が必要です。営業担当者にご連絡いただくか、チケットを送信してご相談ください。
蒸留版モデル
|
モデル |
最大トークン数 (入力 + 出力) |
最小構成 |
||
|
SGLang (推奨) |
vLLM |
BladeLLM |
||
|
DeepSeek-R1-Distill-Qwen-1.5B |
131,072 |
131,072 |
131,072 |
1 × A10 GPU (24 GB の GPU メモリ) |
|
DeepSeek-R1-Distill-Qwen-7B |
131,072 |
32,768 |
131,072 |
1 × A10 GPU (24 GB の GPU メモリ) |
|
DeepSeek-R1-Distill-Llama-8B |
131,072 |
32,768 |
131,072 |
1 × A10 GPU (24 GB の GPU メモリ) |
|
DeepSeek-R1-Distill-Qwen-14B |
131,072 |
32,768 |
131,072 |
1 × GPU L (48 GB の GPU メモリ) |
|
DeepSeek-R1-Distill-Qwen-32B |
131,072 |
32,768 |
131,072 |
2 × GPU L (2 × 48 GB の GPU メモリ) |
|
DeepSeek-R1-Distill-Llama-70B |
131,072 |
32,768 |
131,072 |
2 × GU120 (2 × 96 GB の GPU メモリ) |
DeepSeek-R1-0528-Qwen3-8B: DeepSeek-R1-0528 から 80 億パラメーターの Qwen3-8B に蒸留されたモデルです。デプロイメントのみをサポートし、ファインチューニングやトレーニングはサポートしていません。
PAI 最適化モデル
モデルギャラリーでは、以下の PAI によって最適化された DeepSeek モデルのワンクリックデプロイメントを提供しています:
DeepSeek-R1-PAI-optimized
DeepSeek-R1-0528-PAI-optimized
DeepSeek-V3-0324-PAI-optimized
コストとリスク
コスト内訳
パブリックリソースを使用するサービスでは、インスタンスがプロビジョニングされた時点から、停止または削除されるまで、分単位で課金されます。課金は 1 時間単位で確定されます。サービスがアイドル状態でも料金は発生します。サービスを停止すると課金は停止します。
詳細については、「Elastic Algorithm Service (EAS) の課金」をご参照ください。
コスト管理
迅速なクリーンアップ:開発とテストが完了したら、コストを抑えるために、サービスをすぐに [停止] または [削除] してください。
適切なモデルの選択:非本番環境では、低コストの蒸留版モデルを優先してください。
プリエンプティブルリソースの使用:非本番タスクの場合、デプロイ時にプリエンプティブルモードを有効にできます。入札が成功するには一定の条件を満たす必要があり、リソースが不安定になるリスクがある点にご注意ください。
長期利用割引:長期間稼働する本番サービスでは、Savings Plan または前払いリソースを購入することでコストを削減できます。
主なリスク
想定外のコスト:サービスの停止を忘れると、課金が継続されます。使用後は必ずリソースを直ちにクリーンアップしてください。
BladeLLM の出力の切り捨て:BladeLLM エンジンを使用する場合、API リクエストで
max_tokensを指定しないと、出力は 16 トークンに切り捨てられ、機能が想定どおりに動作しない可能性があります。-
API の誤った使用:
DeepSeek-R1 シリーズモデルを呼び出す際に、
messagesにsystemプロンプトを含めると、想定外の動作が発生する可能性があります。API リクエスト URL は、
/v1/chat/completionsなどのパスで終わる必要があります。そうでない場合、404 エラーが返されます。
リソース在庫:大規模モデル (特にフルバージョンモデル) をデプロイする場合、特定のリージョンにおけるハイエンド GPU リソースの在庫が逼迫し、デプロイに失敗したり、待機時間が長くなったりすることがあります。別のリージョンへの切り替えをお試しください。
モデルデプロイに関するよくある質問
推論エンジンの選択
推奨 SGLang: 高いパフォーマンスを提供し、OpenAI API スタンダードと完全に互換性があり、主流のアプリケーションエコシステムに対応し、ほとんどのシナリオで vLLM よりも長い最大コンテキスト長をサポートします。
代替 vLLM: 業界で人気のあるフレームワークであり、優れた API 互換性も提供します。
特定のシナリオ向け BladeLLM: より高い推論パフォーマンスが必要で、API と OpenAI API スタンダードとの違い (例:
client.models.list()はサポートされておらず、max_tokensパラメーターにはデフォルトの切り捨て動作があるなど) を許容できる場合にのみ、Alibaba Cloud PAI が独自に開発した高性能推論フレームワークである BladeLLM を選択してください。
サービスの待機スタック
考えられる原因:
現在のリージョンでマシンリソースが不足しています。
モデルサイズが大きいため、モデルの読み込みに時間がかかります (DeepSeek-R1 や DeepSeek-V3 などのモデルでは 20〜30 分)。
しばらくお待ちください。それでもサービスが期待どおりに起動しない場合は、次の手順をお試しください。
-
タスク管理-タスクのデプロイメント に移動して、デプロイメントジョブ詳細ページを開きます。 ページの右上隅にあるをクリックして PAI-EAS のモデルサービス詳細ページに移動し、サービスインスタンスのステータスを表示します。
[インスタンスステータス] 列に「在庫不足」と表示されている場合、リソース不足のためインスタンスをスケジュールできません。
-
現在のサービスを停止し、コンソールの左上隅で別のリージョンに切り替えて、サービスを再度デプロイしてください。
説明DeepSeek-R1 や DeepSeek-V3 など、パラメーター数が非常に多いモデルは、サービスの起動に 8 個の GPU が必要です (リソース在庫は逼迫しています)。DeepSeek-R1-Distill-Qwen-7B などのより小さな蒸留モデルのデプロイを検討してください (リソース在庫は豊富です)。
モデル呼び出しに関するよくある質問
API 呼び出しにおける 404 エラー
URL に v1/chat/completions などの OpenAI API サフィックスが追加されているか確認してください。詳細については、「モデル紹介ページのAPI呼び出し手順」をご参照ください。
vLLM 高速化デプロイを使用する場合は、チャット API のリクエストボディの model パラメーターが正しいモデル名に設定されていることを確認してください。モデル名は v1/models から取得できます。
リクエストタイムアウト
デプロイメントのデフォルトのゲートウェイリクエストタイムアウトは 180 秒です。これを延長するには、専用ゲートウェイを構成し、チケットを送信して専用ゲートウェイのリクエストタイムアウトを調整できます。タイムアウトは最大 600 秒まで延長できます。
「Web 検索」機能
「Web 検索」機能は、モデルサービスをデプロイするだけでは有効になりません。サービス上に別の AI アプリケーション (エージェント) を構築する必要があります。
思考プロセスのスキップ
DeepSeek-R1 モデルが思考プロセスをスキップする場合は、DeepSeek の更新されたチャットテンプレートを使用して思考を強制してください。
-
起動コマンドの変更
サービス設定で JSON 設定を編集し、containers-script フィールドを変更して「--chat-template /model_dir/template_force_thinking.jinja」を追加します (「--served-model-name DeepSeek-R1」の後に追加できます)。
既にデプロイされているサービスの場合は、モデルギャラリー > タスク管理 > タスクのデプロイメント に移動し、デプロイされたサービスの名前をクリックします。次に、詳細ページの右上隅にある サービスの更新 をクリックして設定ページに移動します。
リクエストボディの変更。各リクエストで、メッセージの最後に
{"role": "assistant", "content": "<think>\n"}を追加してください。
思考モードの無効化
DeepSeek-R1 シリーズのモデルは、現在、思考プロセスの無効化に対応していません。
マルチターン会話
モデルサービスは会話履歴を保存しません。クライアント側で会話履歴を保存し、モデルに送信するリクエストに含める必要があります。以下は、SGLang でデプロイされたサービスの例です。
curl -X POST \
-H "Content-Type: application/json" \
-H "Authorization: <EAS_TOKEN>" \
-d '{
"model": "<model_name>",
"messages": [
{
"role": "user",
"content": "Hello"
},
{
"role": "assistant",
"content": "Hello! Nice to meet you. How can I help you?"
},
{
"role": "user",
"content": "What was my previous question?"
}
]
}' \
<EAS_ENDPOINT>/v1/chat/completions