本文介紹了小程式叢集對接方案如何進行平台模型部署與資源配置。
第一步：選擇模型
從多種來源中選擇基本模型或 LoRA 適配器進行部署。
模型選擇方式
瀏覽模型廣場
探索我們精心整理的預訓練模型集合，涵蓋業界領先的 AI 供應商。
可用模型：Qwen, GPT, DeepSeek, GLM, internlm 等
使用自有模型
部署您已在平台上上傳或微調的模型。
配置選項
選擇模型
基本模型：具備廣泛的語言理解和產生能力，適合作為起點部署
微調模型：在本平台基於基本模型後訓練完成的定製模型
顯示名稱
用於在控制台中標識該部署的描述性名稱（不超過 64 個字元）
模型架構
選擇模型部署架構（VLLM, SGLANG）
第二步：配置資源
為您的模型選擇合適的計算資源與部署設定。
資源配置
地區選擇
根據使用者所在位置選擇部署地區，以獲得最優訪問延遲。
可用地區：新加坡，日本，美國東部，印尼，法蘭克福，中國香港，馬來西亞
GPU 類型選擇
根據模型需求和效能要求選擇合適的 GPU 類型。
可選規格： NVIDIA A10、L20 等
副本數量
部署的副本數量，用於負載平衡與高可用保障。
第三步：確認並部署
在建立部署前，請確認您的配置資訊與費用明細。
費用概覽
GPU 計算費用
系統開銷（當前為 $0）
說明： 模型下載與儲存費用不計入費用概覽。