本文介绍了小程序集群对接方案如何进行平台模型部署与资源配置。
第一步：选择模型
从多种来源中选择基础模型或 LoRA 适配器进行部署。
模型选择方式
浏览模型广场
探索我们精心整理的预训练模型集合，涵盖业界领先的 AI 提供商。
可用模型：Qwen, GPT, DeepSeek, GLM, internlm 等
使用自有模型
部署您已在平台上上传或微调的模型。
配置选项
选择模型
基础模型：具备广泛的语言理解和生成能力，适合作为起点部署
微调模型：在本平台基于基础模型后训练完成的定制模型
显示名称
用于在控制台中标识该部署的描述性名称（不超过 64 个字符）
模型框架
选择模型部署框架（VLLM, SGLANG）
第二步：配置资源
为您的模型选择合适的计算资源与部署设置。
资源配置
地域选择
根据用户所在位置选择部署地域，以获得最优访问延迟。
可用地域：新加坡，日本，美国东部，印度尼西亚，法兰克福，中国香港，马来西亚
GPU 类型选择
根据模型需求和性能要求选择合适的 GPU 类型。
可选规格： NVIDIA A10、L20 等
副本数量
部署的副本数量，用于负载均衡与高可用保障。
第三步：确认并部署
在创建部署前，请确认您的配置信息与费用明细。
费用概览
GPU 计算费用
系统开销（当前为 $0）
说明： 模型下载与存储费用不计入费用概览。