您需要將已有的服務添加到網關中,登記為路由備選服務,以便網關擷取服務地址。AI 網關支援以Container Service、固定地址、DNS網域名稱和FCFunction Compute等幾種形式添加服務。
操作步驟
網關通過服務動態感知後端資源變化,實現流量路由、治理和安全防護的統一管理。AI網關支援建立AI 服務、Agent服務、DNS 網域名稱、固定地址、Container Service、SAE Kubernetes服務、Function ComputeFC 和 MSE Nacos。
AI 服務
-
登入AI網關控制台,在網關列表頁,選擇您執行個體所在的地區,並單擊目標執行個體ID。單擊左側導覽列的服务,單擊创建服务。
-
在创建服务面板中,配置以下參數:
-
服务来源:選擇AI服务。
-
服务名称:自訂服務名稱。
-
大模型供应商:支援阿里云百炼、PAI-EAS、Deepseek、OpenAI兼容(OpenAI Compatible)、OpenAI、Azure、Gemini、Bedrock、Claude、月之暗面、百川智能、零一万物、智谱AI、混元、阶跃星辰、星火、豆包、MiniMax。
重要本AI服務所提供的大模型能力並非由AI網關直接提供。在使用前,請您自行評估該服務的適用性和可靠性,並確保您的使用行為完全符合相關法律法規及產品使用協議的要求。對於因違反上述規定而產生的一切後果,我們將不承擔任何責任。
-
模型协议:選擇與服務通訊的協議,支援 OpenAI/v1 和原生協議兩種。選擇供應商後系統會填充預設值,可根據需要修改。
-
OpenAI/v1:使用 OpenAI 相容協議,適用於大多數供應商。
-
原生協議:使用供應商原生 API 協議。選擇原生協議時,服務地址將切換為對應的原生協議地址(如阿里雲百鍊為
https://dashscope.aliyuncs.com)。
說明Bedrock 端点模式為 Mantle 時,僅支援 Anthropic 相容協議(/v1/messages),不支援 OpenAI/v1 協議,且無法啟用 Prompt Caching 功能。
-
-
服务地址(base_url):大模型服務的 BaseURL。選擇供應商後,系統會自動填滿對應的服務地址,也可根據實際需求手動修改。
Azure 服務提供者服務地址格式:
https://{endpoint}/openai/deployments/{deployment-id}/chat/completions?api-version={api-version}OpenAI 相容(OpenAI Compatible)服務地址格式:
http://{endpoint}/v1各供應商配置樣本如下:
供應商
服務地址(base_url)
可用模型
特殊配置說明
阿里雲百鍊
https://dashscope-intl.aliyuncs.com/compatible-mode/v1qwen-max、qwen-plus、qwen-turbo、qwen-long、qwen-vl-max、qwen-vl-plus、qwen-vl-ocr、deepseek-r1、deepseek-v3
需選擇百炼地域,支援多地區切換
Bedrock
https://bedrock-runtime.{awsRegion}.amazonaws.com無預設(使用者自行輸入模型名)
需配置 awsRegion、端点模式(Runtime 或 Mantle)和認證方式(API Key 或 AK/SK);Mantle 模式僅支援 Anthropic 相容協議
Vertex AI
使用者手動輸入
無預設
需配置鉴权方式(GCP Service Account 或 Vertex AI Express Mode);GCP 模式需填寫 JSON 格式的 GCP Service Account KEY,自動解析 vertexProjectId
Azure
https://{endpoint}?api-version={api-version}gpt-3、gpt-35-turbo、gpt-4、gpt-4o、gpt-4o-mini
endpoint 為 Azure OpenAI 資源的存取點地址
OpenAI
https://api.openai.com/v1gpt-3、gpt-35-turbo、gpt-4、gpt-4o、gpt-4o-mini
—
OpenAI相容(OpenAI Compatible)
http://{endpoint}/v1無預設(使用者自行輸入模型名)
僅支援滿足 OpenAI 介面標準的 AI 服務
DeepSeek
https://api.deepseek.com/v1deepseek-chat、deepseek-reasoner
—
豆包
https://ark.cn-beijing.volces.com/api/v3doubao-seed-1-6-250615、doubao-seed-1-6-flash-250715、doubao-seed-1-6-thinking-250715、doubao-1-5-thinking-vision-pro-250428
—
Gemini
https://generativelanguage.googleapis.com/v1beta/openaigemini-1.5-flash、gemini-1.5-pro
—
MiniMax
https://api.minimaxi.com/v1abab6.5s、abab6.5g、abab6.5t、abab5.5s
—
月之暗面
https://api.moonshot.cn/v1moonshot-v1-8k、moonshot-v1-32k、moonshot-v1-128k
—
智譜AI
https://open.bigmodel.cn/api/paas/v4GLM-4-Plus、GLM-4-0520、GLM-4-Long、GLM-4-AirX、GLM-4-Air、GLM-4-FlashX、GLM-4-Flash、GLM-4-AllTools、GLM-4
—
PAI-EAS
通過工作空间和EAS服务選擇自動擷取
無預設(動態擷取)
需依次選擇工作空间、EAS服务和连接类型(私網或公網);API-KEY 自動擷取,無需手動設定
Claude
https://api.anthropic.comclaude-3-5-sonnet-latest、claude-3-5-haiku-latest、claude-3-opus-latest
可選開啟使用 Claude Code OAuth Token以相容 Claude Code 用戶端調用
百川智能
https://api.baichuan-ai.com/v1Baichuan4-Turbo、Baichuan4-Air、Baichuan4、Baichuan3-Turbo、Baichuan3-Turbo-128k、Baichuan2-Turbo
—
零一萬物
https://api.lingyiwanwu.com/v1yi-lightning、yi-large、yi-medium、yi-medium-200k、yi-spark、yi-large-rag、yi-large-fc、yi-large-turbo
—
混元
https://hunyuan.tencentcloudapi.comhunyuan-turbo-latest、hunyuan-turbo、hunyuan-large、hunyuan-pro、hunyuan-standard-256K、hunyuan-standard、hunyuan-lite
—
階躍星辰
https://api.stepfun.comstep-1-8k、step-1-32k、step-1-128k、step-1-256k、step-2-16k、step-1-flash
—
星火
https://spark-api-open.xf-yun.comlite、generalv3、pro-128k、generalv3.5、max-32k、4.0Ultra
—
-
API-KEY:訪問大模型需要的 API-KEY 憑證。選擇大模型供应商後,按以下方式擷取:
-
-
配置完成後單擊确定,完成建立。
Agent服務
-
登入AI網關控制台,在網關列表頁,選擇您執行個體所在的地區,並單擊目標執行個體ID。單擊左側導覽列的服务,單擊创建服务。
-
在创建服务面板中,配置以下參數:
-
服务来源:選擇Agent 服務。
-
服务名称:自訂服務名稱。
-
服务供应商:支援選擇阿里云百炼、Dify、自定义。
重要請注意,本Agent服務所提供的智能體相關能力並非由雲原生API Gateway直接提供。在使用前,請您自行評估該服務的適用性和可靠性,並確保您的使用行為完全符合相關法律法規及產品使用協議的要求。對於因違反上述規定而產生的一切後果,我們將不承擔任何責任。
阿里雲百鍊
-
API地址:輸入Agent服務的存取點地址。預設為:
https://dashscope.aliyuncs.com/api/v1。 -
APP ID 、API KEY:您可在阿里雲百鍊控制台擷取應用的ID和 API Key。
在 API Key 管理頁面,單擊我的 Tab 頁簽查看個人 API Key 列表,單擊右上方建立我的API-KEY可建立 API Key,單擊已有 API Key 操作列的查看可擷取完整 Key 值。
Dify
-
API地址:輸入Agent服務的存取點地址。預設為:
https://api.dify.ai/v1。 -
应用类型:支援選擇Agent或Workflow。
-
Agent:智能體類型。
-
Workflow:工作流程類型。
-
-
API KEY:請諮詢服務供應商擷取。
自訂
-
API地址:輸入Agent服務的存取點地址。
-
API KEY:請諮詢服務供應商擷取。
-
-
-
配置完成後單擊确定,完成建立。
DNS 網域名稱
AI 網關支援根據DNS解析的結果作為後端服務地址。
-
登入AI網關控制台,在網關列表頁,選擇您執行個體所在的地區,並單擊目標執行個體ID。單擊左側導覽列的服务,單擊创建服务。
-
在创建服务面板中,配置以下參數:
-
服务来源:選擇DNS域名。
-
服务名称:自訂服務名稱。
-
服务地址:服務的後端節點地址,不同來源的服務,後端節點有所不同。格式為
<DNS網域名稱>:<服務連接埠>,支援填寫多個,以英文,分隔。重要如果指定的是外網地址,需要配置NAT Gateway。
-
TLS模式:預設關閉。
-
关闭:訪問服務時,無需開啟TLS。
-
單向TLS:需要使用HTTPS訪問服務時開啟單向TLS。
-
雙向TLS(mTLS):需要做雙向認證時開啟mTLS。
-
-
-
配置完成後單擊确定,完成建立。
固定地址
如果該服務沒有服務發現機制,需要手動添加服務的後端節點地址。
-
登入AI網關控制台,在網關列表頁,選擇您執行個體所在的地區,並單擊目標執行個體ID。單擊左側導覽列的服务,單擊创建服务。
-
在创建服务面板中,配置以下參數:
-
服务来源:選擇固定地址。
-
服务名称:自訂服務名稱。
-
服务地址:服務的後端節點地址,不同來源的服務,後端節點有所不同。格式為
<IP>:<服務連接埠>,支援填寫多個,以英文,分隔。重要如果指定的是外網地址,需要配置NAT Gateway。
-
TLS模式:預設關閉。
-
关闭:訪問服務時,無需開啟TLS。
-
單向TLS:需要使用HTTPS訪問服務時開啟單向TLS。
-
雙向TLS(mTLS):需要做雙向認證時開啟mTLS。
-
-
-
配置完成後單擊确定,完成建立。
Container Service
如果在網關中添加了Container Service作為服務來源,網關會從ACK/ACK Serverless叢集擷取服務列表,將服務列表中的服務及其後端節點地址添加到網關中。
-
登入AI網關控制台。選擇您執行個體所在的地區,並單擊目標執行個體ID。在左側導覽列單擊服務。
-
建立來源
-
單擊来源頁簽,然後單擊创建来源,在创建来源面板中,配置以下參數:
-
来源类型:選擇容器服务,通過K8s Server發現後端服務。
-
ACK/ACS/ACK Serverless 叢集:選擇後端服務所在的叢集。
重要-
如當前VPC下不存在 ACK/ACS/ACK Serverless 叢集,則需要建立ACK託管叢集,再選擇該叢集。
-
如果需要添加其他VPC下的服務來源,請重新建立指定VPC下的網關執行個體後,再選擇該叢集。
-
單個網關執行個體最多隻能關聯3個ACKContainer Service。
-
雲原生API Gateway只能添加同VPC內的Nacos或者ACK,不支援跨VPC添加服務來源。
-
-
-
配置完成後單擊确定,完成建立。
-
-
建立服務
-
單擊服务頁簽,然後單擊创建来源,在创建来源面板中,配置以下參數:
-
服务来源:選擇容器服务。
網關會從ACK/ACK Serverless叢集擷取服務列表,將服務列表中的服務及其後端節點地址添加到網關中。
-
命名空间:選擇叢集的命名空間。預設不展示arms-prom、kube-system和mse-pilot命名空間的服務。
-
服务列表:在服務列表中選擇服務。預設不展示以consumers開頭的服務。
-
-
配置完成後單擊确定,完成建立。
-
SAE Kubernetes服務
添加SAE Kubernetes作為服務來源時,SAE應用需要開啟K8s Service服務註冊發現。
-
登入AI網關控制台,在網關列表頁,選擇您執行個體所在的地區,並單擊目標執行個體ID。單擊左側導覽列的服务,單擊创建服务。
-
在创建服务面板中,配置以下參數:
-
服务来源:SAE Kubernetes服務。SAE應用需要開啟基於K8s ServiceName配置應用服務訪問。
-
命名空间:選擇叢集的命名空間。預設不展示arms-prom、kube-system和mse-pilot命名空間的服務。
-
服务列表:在服務列表中選擇服務。預設不展示以
consumers:開頭的服務。
-
-
配置完成後單擊确定,完成建立。
Function ComputeFC
支援Function Compute3.0,暫不支援Function Compute2.0的服務來源。
-
登入AI網關控制台,在網關列表頁,選擇您執行個體所在的地區,並單擊目標執行個體ID。單擊左側導覽列的服务,單擊创建服务。
-
在创建服务面板中,配置以下參數:
-
服务来源:函数计算 FC。
-
函數列表:在函數列表中選擇函數。
-
版本或別名:選擇函數的版本或別名。
-
-
配置完成後單擊确定,完成建立。
MSE Nacos
-
登入AI網關控制台。選擇您執行個體所在的地區,並單擊目標執行個體ID。在左側導覽列單擊服务。
-
建立來源
-
單擊来源頁簽,然後單擊创建来源,在创建来源面板中,配置以下參數:
-
来源类型:選擇MSE Nacos,通過 MSE Nacos 註冊中心發現後端服務。
-
Nacos 叢集:選擇Nacos 叢集。
重要-
如果當前VPC下不存在MSE Nacos叢集,則需要先建立MSE Nacos叢集,再選擇該Nacos叢集。
-
如果需要添加其他VPC下的服務來源,請重新建立指定VPC下的網關執行個體,再選擇該Nacos叢集。
-
叢集列表僅展示
MCPEnabled = true的MSE Nacos執行個體,可在MSE Nacos參數設定中更改。 -
單個網關執行個體最多隻能關聯1個Nacos執行個體。
-
-
-
配置完成後單擊确定,完成建立。
-
-
建立服務
-
單擊服务頁簽,然後單擊创建服务,在创建服务面板中,配置以下參數:
-
服务来源:選擇MSE Nacos。
網關會從Nacos 叢集擷取服務列表,將服務列表中的服務及其後端節點地址添加到網關中。
-
命名空间:選擇命名空間。預設不展示arms-prom、kube-system和mse-pilot命名空間的服務。
-
服务列表:在服務列表中選擇服務。預設不展示以
consumers:開頭的服務。
-
-
配置完成後單擊确定,完成建立。
-