部署模式决定了模型推理的计算区域和数据存储位置。选择合适的部署模式可以优化网络延迟,并确保数据在指定范围内进行处理。
部署模式对比
部署模式决定模型推理计算的可用算力资源与执行区域,地域决定静态数据的存储位置。当前二者为预设绑定关系,不支持自由组合。
为了降低网络延迟、提升模型响应速度,建议根据您主要用户或业务应用的地理位置选择就近地域对应的部署模式:
部署模式 | 绑定地域(数据存储) | 模型推理计算范围 |
全球 | 美国(弗吉尼亚) | 全球动态调度 |
国际 | 新加坡 | 全球动态调度(不含中国内地) |
美国 | 美国(弗吉尼亚) | 仅限美国境内 |
中国内地 | 华北2(北京) | 仅限中国内地 |
在全球部署模式和国际部署模式下,由于涉及跨境计算,您需自行确保用户业务数据跨境处理的合法性。跨区推理请求由所选地域的前端接入点接收。模型调用过程中产生的静态数据(如提示词输入、模型输出等)仅在推理过程中进行瞬时处理,不会在计算节点所在地域进行持久化存储;数据在传输过程中全程加密。
如何使用
使用全球部署模式的模型
使用前,请先配置请求地址、API Key和模型名称:
请求地址(Base URL):全球部署模式绑定美国(弗吉尼亚)地域,请使用
dashscope-us.aliyuncs.com域名。以下为部分请求地址示例,其他 API 请参考对应文档:OpenAI Chat Completions API :
https://dashscope-us.aliyuncs.com/compatible-mode/v1DashScope:
https://dashscope-us.aliyuncs.com/api/v1
API Key:请前往密钥管理(弗吉尼亚)页面获取。
模型名称:请参考模型列表,选择全球部署模式的模型。
使用国际部署模式的模型
使用前,请先配置请求地址、API Key和模型名称:
使用美国部署模式的模型
使用前,请先配置请求地址、API Key和模型名称:
请求地址(Base URL):美国部署模式绑定美国(弗吉尼亚)地域,请使用
dashscope-us.aliyuncs.com域名。以下为部分请求地址示例,其他 API 请参考对应文档:OpenAI Chat Completions API :
https://dashscope-us.aliyuncs.com/compatible-mode/v1DashScope:
https://dashscope-us.aliyuncs.com/api/v1
API Key:请前往密钥管理(弗吉尼亚)页面获取。
模型名称:请参考模型列表,选择美国部署模式的模型(带
-us后缀)。
使用中国内地部署模式的模型
使用前,请先配置请求地址、API Key和模型名称:
异步任务
对于异步任务(如图像生成、视频生成),所有后续操作必须使用创建任务时所用的服务域名和 API Key,否则会导致报错。
以下是在全球部署模式下创建图像生成任务并查询结果的示例:
# 创建任务(全球部署模式,服务域名dashscope-us.aliyuncs.com)
curl --location 'https://dashscope-us.aliyuncs.com/api/v1/services/aigc/image-generation/generation' \
--header 'Content-Type: application/json' \
--header "Authorization: Bearer $DASHSCOPE_API_KEY" \
--header 'X-DashScope-Async: enable' \
--data '{
"model": "wan2.6-t2i",
"input": {
"messages": [
{
"role": "user",
"content": [
{
"text": "一间有着精致窗户的花店,漂亮的木质门,摆放着花朵"
}
]
}
]
},
"parameters": {
"n": 1
}
}'
# 响应示例:{"output":{"task_id":"abc123..."},"request_id":"..."}
# 查询任务(必须使用相同服务域名)
curl -X GET https://dashscope-us.aliyuncs.com/api/v1/tasks/{task_id} \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"
# [错误] 使用其他服务域名查询将导致报错
curl -X GET https://dashscope.aliyuncs.com/api/v1/tasks/{task_id} \
--header "Authorization: Bearer $DASHSCOPE_API_KEY"地域信息
地域是指您接入百炼模型服务的物理节点位置,各地域的对应 ID 如下:
新加坡:
ap-southeast-1美国(弗吉尼亚):
us-east-1华北2(北京):
cn-beijing
各地域支持的平台功能如下:
板块 | 功能 | 新加坡 | 美国(弗吉尼亚) | 华北2(北京) |
使用 | 实时推理 | |||
批量推理 | ||||
模型体验 | ||||
管理 | 模型监控 | |||
模型告警 | ||||
传输安全 | ||||
权限管理 | ||||
优化 | 模型调优 |