Platform For AI：一鍵部署DeepSeek-V3、DeepSeek-R1模型

1. 選擇推理引擎

2. 選擇模型與資源

模型的選擇決定了所需的計算資源和部署成本。DeepSeek模型分為“滿血版”和“蒸餾版”，其資源需求差異巨大。

• 開發測試：推薦使用蒸餾版模型，如DeepSeek-R1-Distill-Qwen-7B。此類模型資源佔用小（通常為單張24GB顯存的GPU），部署快，成本低，適合快速驗證功能。

• 生產環境：根據效果和成本綜合評估。DeepSeek-R1-Distill-Qwen-32B在效果和成本之間取得了較好的平衡。如需更強的模型效果，可選擇滿血版，但這需要多卡高端GPU（如8卡96GB顯存的GPU），成本會顯著增加。

下表列出了不同模型版本所需的最低配置，以及使用不同機型和推理引擎時支援的最大Token數。

API調用

1. 擷取服務的訪問地址和Token。

   1. 在Model Gallery > 任務管理 > 部署任務中單擊已部署的服務名稱，進入服務詳情頁。

   2. 單擊查看調用資訊擷取調用的訪問地址和Token。

      

2. 對話介面調用樣本。

   其中， <EAS_ENDPOINT>需替換為部署服務的訪問地址，<EAS_TOKEN>需替換為部署服務的Token。

   OpenAI SDK

   注意：

   • 需要補全endpoint最後的/v1。

   • BladeLLM加速部署不支援使用client.models.list()方式擷取模型列表，您可以直接指定model的值為""以相容使用。

   SGLang/vLLM加速部署

   from openai import OpenAI
   
   # 1. 配置用戶端
   # 將<<EAS_ENDPOINT>和<EAS_TOKEN>替換為實際的服務訪問地址和Token。
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   # 2. 擷取模型名稱 
   try:
       model = client.models.list().data[0].id
       print(model)
   except Exception as e:
       print(f"無法擷取模型列表，檢查Endpoint和Token。錯誤: {e}")
       
   # 3. 構造並發送請求
   stream = True
   
   chat_completion = client.chat.completions.create(
       messages=[
           {"role": "user", "content": "你好，請介紹一下你自己。"}
       ],
       model=model,
       max_tokens=2048,
       stream=stream,
   )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   BladeLLM加速部署

   from openai import OpenAI
   
   ##### API 配置 #####
   # <EAS_ENDPOINT>需替換為部署服務的訪問地址，<EAS_TOKEN>需替換為部署服務的Token。
   openai_api_key = "<EAS_TOKEN>"
   openai_api_base = "<EAS_ENDPOINT>/v1"
   
   client = OpenAI(
       api_key=openai_api_key,
       base_url=openai_api_base,
   )
   
   # BladeLLM加速部署目前不支援使用client.models.list()方式擷取模型名稱，您可以直接指定model的值為""以相容使用。
   model=""
   stream = True
   
   chat_completion = client.chat.completions.create(
       messages=[
                 {"role": "user", "content": "你好，請介紹一下你自己。"}
       ],
        model=model,
        max_tokens=2048,
        stream=stream,
       )
   
   if stream:
       for chunk in chat_completion:
           print(chunk.choices[0].delta.content, end="")
   else:
       result = chat_completion.choices[0].message.content
       print(result)

   HTTP

   SGLang/vLLM加速部署

   其中，<model_name>請替換為模型列表介面<EAS_ENDPOINT>/v1/models擷取的模型名稱。

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "model": "<model_name>",
           "messages": [
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions
   

   Python

   import json
   import requests
   
   # <EAS_ENDPOINT>需替換為部署服務的訪問地址，<EAS_TOKEN>需替換為部署服務的Token。
   EAS_ENDPOINT = "<EAS_ENDPOINT>"
   EAS_TOKEN = "<EAS_TOKEN>"
   
   url = f"{EAS_ENDPOINT}/v1/chat/completions"
   headers = {
       "Content-Type": "application/json",
       "Authorization": EAS_TOKEN,
   }
   
   # <model_name>請替換為模型列表介面<EAS_ENDPOINT>/v1/models擷取的模型名稱。
   model = "<model_name>"
   stream = True
   messages = [
       {"role": "user", "content": "你好，請介紹一下你自己。"},
   ]
   
   req = {
       "messages": messages,
       "stream": stream,
       "temperature": 0.6,
       "top_p": 0.5,
       "top_k": 10,
       "max_tokens": 300,
       "model": model,
   }
   response = requests.post(
       url,
       json=req,
       headers=headers,
       stream=stream,
   )
   
   if stream:
       for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
           msg = chunk.decode("utf-8")
           if msg.startswith("data"):
               info = msg[6:]
               if info == "[DONE]":
                   break
               else:
                   resp = json.loads(info)
                   print(resp["choices"][0]["delta"]["content"], end="", flush=True)
   else:
       resp = json.loads(response.text)
       print(resp["choices"][0]["message"]["content"])
   

   BladeLLM加速部署

   curl

   curl -X POST \
       -H "Content-Type: application/json" \
       -H "Authorization: <EAS_TOKEN>" \
       -d '{
           "messages": [
           {
               "role": "user",
               "content": "hello!"
           }
           ]
       }' \
       <EAS_ENDPOINT>/v1/chat/completions
   

   Python

   import json
   import requests
   
   # <EAS_ENDPOINT>需替換為部署服務的訪問地址，<EAS_TOKEN>需替換為部署服務的Token。
   EAS_ENDPOINT = "<EAS_ENDPOINT>"
   EAS_TOKEN = "<EAS_TOKEN>"
   
   url = f"{EAS_ENDPOINT}/v1/chat/completions"
   headers = {
       "Content-Type": "application/json",
       "Authorization": EAS_TOKEN,
   }
   
   
   stream = True
   messages = [
       {"role": "user", "content": "你好，請介紹一下你自己。"},
   ]
   # 使用BladeLLM加速部署方式，如果不指定max_tokens參數，預設會按照max_tokens=16進行截斷。建議您根據實際需要調整請求參數max_tokens。
   req = {
       "messages": messages,
       "stream": stream,
       "temperature": 0.6,
       "top_p": 0.5,
       "top_k": 10,
       "max_tokens": 300,
   }
   response = requests.post(
       url,
       json=req,
       headers=headers,
       stream=stream,
   )
   
   if stream:
       for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
           msg = chunk.decode("utf-8")
           if msg.startswith("data"):
               info = msg[6:]
               if info == "[DONE]":
                   break
               else:
                   resp = json.loads(info)
                   if resp["choices"][0]["delta"].get("content") is not None:
                         print(resp["choices"][0]["delta"]["content"], end="", flush=True)
   else:
       resp = json.loads(response.text)
       print(resp["choices"][0]["message"]["content"])

3. 不同的模型以及不同的部署架構，在使用推理服務時也會存在區別。您可以在Model Gallery的模型介紹頁查看更多API調用方式的詳細說明。

本地構建WebUI

Gradio是一個基於Python的方便使用的介面庫，能快速建立機器學習模型的互動式介面。請參考以下步驟，在本地運行Gradio WebUI。

1. 下載代碼：根據部署時選擇的推理引擎，下載對應代碼。如網路環境可穩定訪問GitHub，請使用GitHub連結，否則請使用OSS連結。

   • vLLM、SGLang：vLLM/SGLang_github、vLLM/SGLang_oss

   • BladeLLM：BladeLLM_github、BladeLLM_oss

2. 環境準備：要求Python3.10 或更高版本，並安裝依賴 pip install openai gradio。

3. 啟動Web應用：在終端執行以下命令（其中<EAS_ENDPOINT>和<EAS_TOKEN> 需替換為部署服務的訪問地址和Token）。

   python webui_client.py --eas_endpoint "<EAS_ENDPOINT>" --eas_token "<EAS_TOKEN>"

4. 啟動成功後，會輸出一個本地URL（通常是 http://127.0.0.1:7860），在瀏覽器中開啟該URL進行訪問。

整合第三方應用

接入Chatbox、Dify或Cherry Studio，請參見整合第三方用戶端。

成本構成

使用公用資源部署的服務，從建立成功（狀態為“運行中”）到停止或刪除為止，按分鐘計費，賬單按小時結算。即使服務空閑，計費依然持續。停止服務即可停止計費。

更多詳情，請參見模型線上服務（EAS）計費說明。

成本控制建議

• 及時清理：開發測試後，立即停止或刪除服務，以有效控製成本。

• 選擇合適模型：在非生產環境，優先使用成本較低的蒸餾版模型。

• 競價使用資源：對於非生產任務，可在部署時開啟競價模式，但注意需滿足一定條件才能競價成功，且有資源不穩定的風險。

• 長期使用優惠：對於長期啟動並執行生產服務，可通過購買節省計劃或預付費資源來降低成本。

關鍵風險點

• 意外費用：忘記停止服務將導致持續計費。務必在使用完畢後立即清理資源。

• BladeLLM輸出截斷：使用BladeLLM引擎時，若API請求中未指定max_tokens，輸出將被截斷為16個token，導致功能不符合預期。

• API調用規範錯誤：

  • 調用DeepSeek-R1系列模型時，在messages中包含system prompt可能會導致非預期的行為。

  • API請求的URL必須以/v1/chat/completions等路徑結尾，否則將返回404錯誤。

• 資產庫存：部署大型模型（特別是滿血版）時，特定地區的高端GPU資源可能庫存緊張，導致部署失敗或長時間等待。可嘗試切換到其他地區。

點擊部署後服務長時間等待

可能的原因：

• 當前地區下機器資源不足。

• 由於模型較大，模型載入耗時較長（對於DeepSeek-R1、DeepSeek-V3這樣的大模型，需要20-30min）。

您可以耐心等待觀察一段時間，如果服務仍長時間無法正常啟動運行，建議嘗試以下步驟：

1. 進入任務管理-部署任務，查看部署任務詳情頁。在頁面右上方單擊更多 > 更多資訊，跳轉到PAI-EAS的模型服務詳情，查看服務執行個體狀態。

   

2. 關閉當前服務，並在控制台左上方切換到其他地區重新部署服務。

   說明

   對於DeepSeek-R1、DeepSeek-V3這樣的超大參數量模型，需要8卡GPU才能啟動服務（資產庫存較緊張），您可以選擇部署DeepSeek-R1-Distill-Qwen-7B等蒸餾小模型（資產庫存較富裕）。

調用API返回404

請檢查調用的URL是否加上了OpenAI的API尾碼，例如v1/chat/completions。詳情可以參考模型首頁調用方式介紹。

如果是vLLM加速部署，檢查對話介面的請求體中model參數是否填寫了正確的模型名稱。可以通過v1/models擷取模型名稱。

請求太長導致網關逾時

部署使用的預設閘道請求逾時時間是180秒，如果需要延長逾時時間，可以配置專屬網關，並提交工單調整專屬網關的請求逾時時間，最大可以調整到600秒。

為何沒有“連網搜尋”

“連網搜尋”功能並不是僅通過直接部署一個模型服務就能實現的，而是需要基於該模型服務自行構建一個AI應用（Agent）來完成。

模型跳過思考怎麼辦？

如果部署DeepSeek-R1模型，針對模型有時會跳過思考過程的情況，可採用DeepSeek更新的強制思考的chat模板。使用方式：

1. 修改啟動命令。

   如圖，在服務配置中，編輯JSON配置，修改containers-script欄位，加上"--chat-template /model_dir/template_force_thinking.jinja"（可以加在"--served-model-name DeepSeek-R1"之後）。

   如果是已經部署的服務，在Model Gallery > 任務管理 > 部署任務中單擊已部署的服務名稱，在詳情頁面右上方單擊更新服務，即可進入上述頁面。

   

2. 請求體修改。在每次請求中，message最後加上{"role": "assistant", "content": "<think>\n"}。

deepSeek-r1可以關閉思考模式麼?

deepseek-r1系列模型目前不支援關閉思考過程。

如何?多輪對話？

模型服務本身不會儲存歷史對話資訊，需要用戶端儲存歷史對話，再添加到模型調用的請求中。以SGLang部署的服務，樣本如下。

curl -X POST \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
         {
            "role": "user", 
            "content": "你好"
        },
        {
            "role": "assistant",
            "content": "你好！很高興見到你，有什麼我可以幫忙的嗎？"
        },
        {
            "role": "user",
            "content": "我上一個問題是什麼"
        }
        ]
    }' \
    <EAS_ENDPOINT>/v1/chat/completions