Platform For AI：通過EAS部署大語言模型

OpenAI SDK

推薦使用官方Python SDK與服務互動。確保已安裝OpenAI SDK：pip install openai。

from openai import OpenAI

# 1. 配置用戶端
# <EAS_TOKEN>需替換為部署服務的Token
openai_api_key = "<EAS_TOKEN>"
# <EAS_ENDPOINT>需替換為部署服務的訪問地址
openai_api_base = "<EAS_ENDPOINT>/v1"

client = OpenAI(
    api_key=openai_api_key,
    base_url=openai_api_base,
)

# 2. 擷取模型名稱
# 對於BladeLLM， 設定model = ""。 因為BladeLLM不需要model入參，也不支援使用client.models.list()方式擷取模型名稱。設定Null 字元串以相容OpenAI SDK的強制參數要求
models = client.models.list()
model = models.data[0].id
print(model)

# 3. 發起對話請求
# 支援流式（stream=True）和非流式（stream=False）輸出
stream = True
chat_completion = client.chat.completions.create(
    messages=[
        {"role": "system", "content": "You are a helpful assistant."},
        {"role": "user", "content": "hello"},          
    ],
    model=model,
    top_p=0.8,
    temperature=0.7,
    max_tokens=1024,
    stream=stream,
)

if stream:
    for chunk in chat_completion:
        print(chunk.choices[0].delta.content, end="")
else:
    result = chat_completion.choices[0].message.content
    print(result)

cURL

對於快速測試或指令碼整合，可使用cURL。

curl -X POST <EAS_ENDPOINT>/v1/chat/completions \
    -H "Content-Type: application/json" \
    -H "Authorization: <EAS_TOKEN>" \
    -d '{
        "model": "<model_name>",
        "messages": [
        {
            "role": "system",
            "content": "You are a helpful assistant."
        },
        {
            "role": "user",
            "content": "hello"
        }
        ],
        "max_tokens":1024,
        "temperature": 0.7,
        "top_p": 0.8,
        "stream":true
    }' 

其中：

• <EAS_ENDPOINT>和<EAS_TOKEN>需替換為部署服務的訪問地址和Token。

• <model_name>需替換為模型名稱。對於vLLM/SGLang，可通過模型列表介面<EAS_ENDPOINT>/v1/models擷取。對於BladeLLM，不支援該介面，可省略該欄位或設為 ""。

  curl -X GET <EAS_ENDPOINT>/v1/models -H "Authorization: <EAS_TOKEN>"

Python requests庫

對於不希望引入OpenAI SDK依賴的情境，可使用requests庫。

import json
import requests

# <EAS_ENDPOINT>需替換為部署服務的訪問地址
EAS_ENDPOINT = "<EAS_ENDPOINT>"
# <EAS_TOKEN>需替換為部署服務的Token
EAS_TOKEN = "<EAS_TOKEN>"
# <model_name>需替換為模型名稱，可通過模型列表介面<EAS_ENDPOINT>/v1/models擷取（對於BladeLLM，不支援該介面，可省略 "model" 欄位或設為 ""）。
model = "<model_name>"

url = f"{EAS_ENDPOINT}/v1/chat/completions"
headers = {
    "Content-Type": "application/json",
    "Authorization": EAS_TOKEN,
}

stream = True
messages = [
    {"role": "system", "content": "You are a helpful assistant."},
    {"role": "user", "content": "hello"},
]

req = {
    "messages": messages,
    "stream": stream,
    "temperature": 0.7,
    "top_p": 0.8,
    "max_tokens": 1024,
    "model": model,
}
response = requests.post(
    url,
    json=req,
    headers=headers,
    stream=stream,
)

if stream:
    for chunk in response.iter_lines(chunk_size=8192, decode_unicode=False):
        msg = chunk.decode("utf-8")
        # 以下代碼用於處理Server-Sent Events (SSE)格式的流式響應
        if msg.startswith("data:"):
            info = msg[6:]
            if info == "[DONE]":
                break
            else:
                resp = json.loads(info)
                if resp["choices"][0]["delta"].get("content") is not None:
                    print(resp["choices"][0]["delta"]["content"], end="", flush=True)
else:
    resp = json.loads(response.text)
    print(resp["choices"][0]["message"]["content"])

Dify

1. 安裝模型供應商OpenAI-API-compatible

   單擊頁面右上方的頭像-設定，左側選擇模型供應商。如果模型列表中沒有OpenAI-API-compatible，在下方列表尋找安裝。

   

2. 添加模型

   單擊OpenAI-API-compatible卡片右下角添加模型，參數如下配置：

   • 模型類型：選擇LLM。

   • 模型名稱：vLLM部署請通過/v1/models介面發送GET請求擷取。樣本填寫Qwen3-8B。

   • API Key：填寫EAS服務Token。

   • API endpoint URL：填寫EAS服務公網調用地址（注意末尾加上/v1）。

3. 測試使用

   1. 在Dify主介面單擊建立空白應用，選擇Chatflow類型，填入應用程式名稱等資訊後單擊建立。

   2. 單擊LLM節點，選擇添加的模型，並設定上下文和提示詞。

   3. 單擊右上方預覽，輸入問題。

      

Chatbox

1. 前往Chatbox，根據您的裝置下載並安裝合適的版本，或直接啟動網頁版。本方案以macOS M3為例。

2. 添加模型提供方。單擊設定，添加模型提供方，填寫名稱如pai，API模式選擇OpenAI API相容。

   

3. 選擇模型提供方pai，配置如下參數。

   • API 金鑰：填寫EAS服務Token。

   • API 主機：填寫EAS服務公網調用地址（注意末尾加上/v1）。

   • API 路徑：無需填寫。

   • 模型：單擊擷取進行添加（若推理引擎為BladeLLM，不支援通過介面擷取，可單擊建立填寫）。

   

4. 對話測試。單擊新對話，文本輸入框右下角選擇模型服務。

   

Cherry Studio

1. 安裝用戶端

   訪問 Cherry Studio 下載並安裝用戶端。

   也可以訪問https://github.com/CherryHQ/cherry-studio/releases進行下載。

2. 配置模型服務。

   1. 單擊左下角的設定按鈕，在模型服務欄下方單擊添加。在供應商名稱中填寫自訂名稱，如PAI，供應商類型為OpenAI。單擊確定。

   2. 在API 金鑰填寫EAS服務Token；在API 地址填寫EAS服務公網調用地址。

   3. 單擊添加，在模型ID 中填寫模型名稱（vLLM部署請通過/v1/models介面發送GET請求擷取），樣本填寫Qwen3-8B（注意大小寫）。

   4. 在API 金鑰輸入框旁單擊檢測來確認連通性。

3. 快速體驗模型

   回到對話方塊介面，在頂部選擇模型後開始對話。