Platform For AI：一鍵部署DeepSeek-V4、DeepSeek-R1模型

方案架構

快速部署與驗證

{
    "messages": [
        {
            "role": "user",
            "content": "請計算3+5等於幾？"
        }
    ],
    "max_tokens": 2000
}

API調用

1. 擷取服務的訪問地址和Token。

   1. 在Model Gallery > 任务管理 > 部署任务中單擊已部署的服務名稱，進入服務詳情頁。

   2. 單擊查看调用信息擷取調用的訪問地址和Token。

2. 對話介面調用樣本。

   其中， <EAS_ENDPOINT>需替換為部署服務的訪問地址，<EAS_TOKEN>需替換為部署服務的Token。

   OpenAI SDK

   注意：

   • 需要補全endpoint最後的/v1。

   • BladeLLM加速部署不支援使用client.models.list()方式擷取模型列表，您可以直接指定model的值為""以相容使用。

   SGLang/vLLM加速部署

   from openai import OpenAI
   # 1. 配置用戶端
   # 將<<EAS_ENDPOINT>和<EAS_TOKEN>替換為實際的服務訪問地址和Token。
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   # 2. 擷取模型名稱 
   try:
       model = client.models.list().data[0].id
       print(model)
   except Exception as e:
       print(f"無法擷取模型列表，檢查Endpoint和Token。錯誤: {e}")
   # 3. 構造並發送請求
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "你好，請介紹一下你自己。"}
       ],
       model=model,
       max_tokens=2048,
       stream=stream,
   )
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   BladeLLM加速部署

   from openai import OpenAI
   ##### API 配置 #####
   # <EAS_ENDPOINT>需替換為部署服務的訪問地址，<EAS_TOKEN>需替換為部署服務的Token。
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   # BladeLLM加速部署目前不支援使用client.models.list()方式擷取模型名稱，您可以直接指定model的值為""以相容使用。
   model=""
   stream = True
   chat_completion = client.chat.completions.create(
       messages=[
                 {"role": "user", "content": "你好，請介紹一下你自己。"}
       ],
        model=model,
        max_tokens=2048,
        stream=stream,
       )
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   HTTP

   SGLang/vLLM加速部署

   其中，<model_name>請替換為模型列表介面<EAS_ENDPOINT>/v1/models擷取的模型名稱。

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<model_name>",
           "messages": [
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions
   

   Python

   import json
   import requests
   # <EAS_ENDPOINT>需替換為部署服務的訪問地址，<EAS_TOKEN>需替換為部署服務的Token。
   EAS_ENDPOINT = "<EAS_ENDPOINT>"
   EAS_TOKEN = "<EAS_TOKEN>"
   url = f"{EAS_ENDPOINT}/v1/chat/completions"
   headers = {
       "Content-Type": "application/json",
       "Authorization": EAS_TOKEN,
   }
   # <model_name>請替換為模型列表介面<EAS_ENDPOINT>/v1/models擷取的模型名稱。
   model = "<model_name>"
   stream = True
   messages = [
       {"role": "user", "content": "你好，請介紹一下你自己。"},
   ]
   req = {
       "messages": messages,
       "stream": stream,
       "temperature": 0.6,
       "top_p": 0.5,
       "top_k": 10,
       "max_tokens": 300,
       "model": model,
   }
   response = requests.post(
       url,
       json=req,
       headers=headers,
       stream=stream,
   )
   if stream:
       for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
           msg = chunk.decode("utf-8")
           if msg.startswith("data"):
               info = msg[6:]
               if info == "[DONE]":
                   break
               else:
                   resp = json.loads(info)
                   print(resp["choices"][0]["delta"]["content"], end="", flush=True)
   else:
       resp = json.loads(response.text)
       print(resp["choices"][0]["message"]["content"])
   

   BladeLLM加速部署

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "messages": [
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions
   

   Python

   import json
   import requests
   # <EAS_ENDPOINT>需替換為部署服務的訪問地址，<EAS_TOKEN>需替換為部署服務的Token。
   EAS_ENDPOINT = "<EAS_ENDPOINT>"
   EAS_TOKEN = "<EAS_TOKEN>"
   url = f"{EAS_ENDPOINT}/v1/chat/completions"
   headers = {
       "Content-Type": "application/json",
       "Authorization": EAS_TOKEN,
   }
   stream = True
   messages = [
       {"role": "user", "content": "你好，請介紹一下你自己。"},
   ]
   # 使用BladeLLM加速部署方式，如果不指定max_tokens參數，預設會按照max_tokens=16進行截斷。建議您根據實際需要調整請求參數max_tokens。
   req = {
       "messages": messages,
       "stream": stream,
       "temperature": 0.6,
       "top_p": 0.5,
       "top_k": 10,
       "max_tokens": 300,
   }
   response = requests.post(
       url,
       json=req,
       headers=headers,
       stream=stream,
   )
   if stream:
       for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
           msg = chunk.decode("utf-8")
           if msg.startswith("data"):
               info = msg[6:]
               if info == "[DONE]":
                   break
               else:
                   resp = json.loads(info)
                   if resp["choices"][0]["delta"].get("content") is not None:
                         print(resp["choices"][0]["delta"]["content"], end="", flush=True)
   else:
       resp = json.loads(response.text)
       print(resp["choices"][0]["message"]["content"])

3. 不同的模型以及不同的部署架構，在使用推理服務時也會存在區別。您可以在Model Gallery的模型介紹頁查看更多API調用方式的詳細說明。

   以 DeepSeek-R1-Distill-Qwen-7B 模型為例，Model Gallery 的模型介紹頁展示了 BladeLLM 加速部署的資源要求（需要 24G 顯存，僅支援 ecs.gn7 及後續型號），並說明該模型相容 OpenAI 的 v1/completions 和 v1/chat/completions 介面，同時提供了 curl 命令和 Python 指令碼的調用樣本。

整合第三方應用

接入Chatbox、Dify或Cherry Studio，請參見整合第三方用戶端。

構建本地WebUI

參見使用Gradio構建本地Web UI。

資源清理

使用公用資源部署的執行個體，拉起資源後即開始按資源佔用時間長度計費，不滿1小時按具體分鐘數折算計費；為避免產生更多資源消耗，在完成使用後，應停止或刪除執行個體。

1. 返回任務管理 > 部署任務頁面。

2. 找到需要停止的服務，在其操作列單擊停止或刪除。

   • 停止：服務執行個體將被釋放，停止計費，但服務配置會保留，可以稍後重新啟動。

   • 刪除：服務配置和執行個體都將被永久刪除。

選擇模型與資源

成本與風險說明

模型部署FAQ

模型調用FAQ

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
         {
            "role": "user", 
            "content": "你好"
        },
        {
            "role": "assistant",
            "content": "你好！很高興見到你，有什麼我可以幫忙的嗎？"
        },
        {
            "role": "user",
            "content": "我上一個問題是什麼"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions

相關文檔

• DeepSeek-V3

• DeepSeek-R1