企業在跨地區調用 AI API 時,常面臨以下挑戰:根據業務情境不同需要訪問多種模型、用戶端與後端模型往往不在同一地區導致延遲高、後端模型分布在多個地區需要跨地區跨模型調度和容災、不同地區自建網關可能產生請求繞行問題。GA 終端節點群組支援 AI 服務類型,配合服務擴充能力,可在 GA 入口統一接入多家 AI 供應商進行流量分發。
產品功能邀測中,如需使用請聯絡商務經理。
模型代理:配置
AI模型的轉寄條件後,支援根據模型名稱將流量分流到不同的 AI 服務終端節點群組。API Key 統一管理:真實供應商 API Key 集中保留在 GA 側,支援多 Key 自動輪轉。
容錯回退:轉寄動作支援容錯回退 Fallback,支援跨地區跨模型的容錯回退,在終端節點群組不可用時自動容錯回退到其他終端節點群組。
服務擴充:GA 支援服務擴充,可以通過服務擴充完成 API Key 前向鑒權,每條轉寄規則支援關聯 1 個服務擴充。
多模型統一接入
企業需要在同一入口調用多種 AI 模型時,可通過 GA 終端節點群組的 AI 服務類型統一接入多家供應商。用戶端只需向 GA 發送符合 OpenAI 相容格式的請求並指定模型名稱,GA 的轉寄規則即可根據模型名稱將請求路由至對應的後端 AI 服務,實現統一入口,降低業務複雜度和維護成本。
部署前確保:
已開通Global Acceleration服務。
已擷取至少一家 AI 供應商的 API Key(阿里雲百鍊可通過百鍊控制台擷取;OpenAI 相容服務聯絡對應供應商擷取)。
如使用HTTPS監聽(推薦),需準備與自訂網域名匹配的伺服器憑證,並上傳至認證管理服務。
如果您的業務配置涉及中國內地與中國香港、中國澳門、中國台灣或其他國家和地區之間的訪問加速,需要根據介面提示完成資料跨境合規承諾。請您自行評估業務資料轉送的合規性,確保符合所適用法律法規及產品使用協議。
控制台
配置 AI 服務終端節點群組
登入Global Acceleration管理主控台,單擊建立標準型隨用隨付執行個體。
執行個體基礎配置:按需選擇加速IP類型。
配置加速地區:配置加速地區並分配頻寬。
配置監聽:配置智能路由(原標準監聽),協議推薦選擇HTTPS,連接埠為 443,配置SSL認證選擇已上傳的、與自訂網域名匹配的伺服器憑證。
配置終端節點群組:
GA 執行個體建立完成後,可前往監聽詳情頁,選擇終端節點群組頁簽,單擊添加終端節點群組,按照以下步驟配置不同地區的 AI 服務終端節點群組。每個終端節點群組僅支援添加1個
AI服務類型的後端服務類型,添加後不能添加其他後端服務。地區:選擇就近的 AI 供應商服務可用地區。
如果業務涉及中國內地與中國香港、中國澳門、中國台灣或其他國家和地區之間的訪問加速,請按介面提示閱讀並簽署數據跨境合規承諾。
後端服務類型:選擇AI服務。
大模型供應商:目前支援阿里雲百鍊和OpenAI相容(OpenAI Compatible)。
服務地址:選擇供應商後自動填滿。阿里雲百鍊預設為
https://dashscope.aliyuncs.com/compatible-mode/v1,OpenAI相容預設為https://api.openai.com/v1。如使用自建OpenAI相容服務,請按需修改。API Key:配置供應商 API Key,支援填寫多個 Key(按換行分隔),GA將在多個 Key 之間輪轉以提升可用性。
該 API Key 用於與 AI 供應商之間的身分識別驗證,請妥善保管,避免泄露。
權重(0-255):每個終端節點群組僅支援添加1個AI服務類型的後端服務類型,添加後不能添加其他後端服務。權重固定為255,不可修改。
組態稽核:提交配置。
配置轉寄策略
建立 GA 執行個體後,單擊執行個體 ID,選擇監聽頁簽,單擊監聽ID,單擊轉寄策略頁簽,單擊插入新策略。
配置轉寄策略,將不同模型的請求路由到對應的終端節點群組:
策略名稱:自訂策略名稱稱。
轉寄條件:選擇AI模型,配置如下:
協議:固定為OpenAI相容。
模型名稱(可選):使用Glob文法匹配模型名稱。例如qwen-*表示所有Qwen系列模型,*表示匹配所有模型。可添加多個模型名稱,多值之間為"或"關係。
轉寄動作:選擇轉寄至,並選擇對應的 AI 服務終端節點群組。
單擊確定完成轉寄策略建立。
如需按模型分流到多個供應商,可重複以上步驟,為不同Glob模型名稱分別建立轉寄策略。例如,用戶端調用
model=qwen-plus與model=gpt-4o命中不同轉寄規則,路由到對應供應商。
未填寫模型名稱時,本條件匹配所有 OpenAI 相容協議請求;填寫後僅匹配指定模型。可以通過滑鼠拖拽來調整規則優先順序。
配置DNS解析並驗證
在執行個體詳情頁複製GA加速網域名稱(CNAME),在自訂網域名的DNS服務位址添加一條CNAME記錄,將自訂網域名指向GA加速網域名稱。
DNS解析生效時間通常為分鐘級,具體以您DNS服務商的TTL設定為準。
用戶端使用自訂網域名調用 AI 服務 API,驗證接入是否生效。
以模型名稱為
qwen-*為例。curl -X POST https://your-domain.com/v1/chat/completions \ -H "Content-Type: application/json" \ -d '{ "model": "qwen-plus", "messages": [{"role": "user", "content": "你好"}] }'請求成功時,響應中的
model欄位為qwen-plus,表明請求已正確路由至阿里雲百鍊。
API
調用CreateEndpointGroup建立 AI 服務終端節點群組,關鍵參數:
EndpointGroupType=default;EndpointConfigurations[].Type=AIService;SubType=Bailian(阿里雲百鍊)或OpenAICompatible(OpenAI相容);ApiKeys傳入Key數組;Weight=255。調用CreateListener介面建立HTTPS監聽,預設終端節點群組關聯建立的AI服務終端節點群組。
調用CreateForwardingRules介面建立轉寄規則:
RuleConditions[].RuleConditionType:設定為AIModel。AIModelConfig.Protocol:設定為OpenAICompatible;AIModelConfig.ModelNames傳入Glob模型名稱數組(可選)。RuleActions:配置RuleActionType=ForwardGroup,轉寄至 AI 服務終端節點群組。
如果業務涉及中國內地與中國香港、中國澳門、中國台灣或其他國家和地區之間的訪問加速,需先完成資料跨境合規承諾簽署。
多地區容災
在完成多模型統一接入的基礎上,可進一步配置容錯回退實現跨地區容災。轉寄動作支援容錯回退 Fallback,可配置多個回退目標,當預設轉寄的終端節點群組不可用時自動切換到其他地區的終端節點群組,用戶端無需改造即可獲得多地區容災能力。
控制台
配置多地區終端節點群組
建立 GA 執行個體後,可單擊執行個體 ID,選擇監聽頁簽,單擊監聽ID,選擇終端節點群組頁簽,單擊添加終端節點群組,配置不同地區的 AI 服務終端節點群組。
配置轉寄策略
配置完成後可驗證:當預設轉寄的終端節點群組調用失敗時,請求自動依次回退到後續其他地區的終端節點群組,由對應供應商或地區響應。
在監聽詳情頁,單擊轉寄策略頁簽,單擊插入新策略或編輯已有策略。
配置轉寄策略:
轉寄條件:選擇AI模型,配置如下:
協議:固定為OpenAI相容。
模型名稱(可選):使用Glob文法匹配模型名稱。例如qwen-*表示所有Qwen系列模型,*表示匹配所有模型。可添加多個模型名稱,多值之間為"或"關係。
轉寄動作:按順序配置以下兩條動作:
轉寄至:選擇某一地區的終端節點群組。
添加動作,選擇容錯回退,並選擇其他地區的終端節點群組。
容錯回退動作,必須放置在轉寄至動作之後執行。一個轉寄規則中必須有且只能有一條轉寄至、重新導向至或返回固定響應類型的轉寄動作。
單擊確定完成轉寄策略建立。如需按模型分流到多個供應商,可重複以上步驟,為不同Glob模型名稱分別建立轉寄策略。
未填寫模型名稱時,本條件匹配所有 OpenAI 相容協議請求;填寫後僅匹配指定模型。可以通過滑鼠拖拽來調整規則優先順序。
API
調用CreateEndpointGroup建立多地區 AI 服務終端節點群組,以及通過CreateListener建立HTTPS監聽。
調用CreateForwardingRules建立轉寄規則:
RuleConditions[].RuleConditionType:設定為AIModel。AIModelConfig.Protocol:設定為OpenAICompatible;AIModelConfig.ModelNames傳入Glob模型名稱數組(可選)。RuleActions第1條:RuleActionType=ForwardGroup,關聯預設轉寄的終端節點群組。RuleActions第2條:RuleActionType=Fallback,關聯其他地區的終端節點群組,順序必須在ForwardGroup之後。
服務擴充
GA 支援服務擴充能力,當前可通過 API Key 認證類型的服務擴充在 GA 入口完成用戶端憑證校正。用戶端使用 GA 側統一頒發的 API Key 發起請求,僅通過鑒權的流量會被轉寄到 AI 服務終端節點群組。用戶端憑證可獨立於後端真實供應商 API Key 進行發放、更換和吊銷,便於企業按業務統一管理。
控制台
前往GA 控制台 - 服務擴充頁面,單擊建立服務擴充。
組件名稱:目前僅支援API Key認證。
逾時時間(毫秒):等待組件響應的最長時間,超過此時間判定請求失敗。
處理策略:組件執行失敗時請求的處理策略。當前僅支援終止,即不滿足API key鑒權的流量在此終止。
憑證來源:
Authorization:Bearer:從HTTP請求的
Authorization標題中按Bearer方案提取憑證。推薦用於OpenAI相容協議情境。自訂HTTP標題:從指定的HTTP標題中提取憑證。
自訂查詢字串:從指定的URL查詢字串中提取憑證。
憑證管理:最多可配置3個憑證。產生方式自訂。憑證儲存後將以
*******脫敏展示,請妥善保管。
在服務擴充詳情頁關聯資源頁簽,單擊添加關聯資源,選擇已完成配置的轉寄策略進行關聯。
服務擴充通過關聯轉寄規則在監聽流量上生效,可同時關聯多條轉寄規則。
用戶端使用 GA 頒發的憑證調用 AI 服務 API,驗證鑒權效果:
使用正確憑證且與配置的憑證來源匹配:請求正常轉寄到後端AI服務,由供應商API Key完成後端鑒權。
使用錯誤/缺失憑證且處理策略為終止:GA 入口拒絕請求。
更多資訊
使用限制
僅標準型隨用隨付執行個體支援AI 服務類型的終端節點群組。
AI 服務類型的終端節點群組:
僅支援 HTTP 和 HTTPS 協議的監聽。
不支援健全狀態檢查。
AI 模型轉寄條件與路徑(Path)轉寄條件互斥,同一轉寄規則中不可同時配置。
轉寄規則中配置的自訂 Header 名稱不可使用以下保留首碼:
X-Ga-、Ga-。
配額
配額項 | 預設值 | 上限值 | 配額提升 |
每個API Key認證組件中的憑據數 | 3 | 3 | 不支援提升。 |
每個轉寄規則中的回退(Fallback)服務數 | 5 | 10 | 前往配額中心申請提升配額。 |
每個使用者的服務向外延展群組件數 | 5 | 20 | 前往配額中心申請提升配額。 |
每個使用者可建立的服務擴充總數 | 50 | 50 | 不支援提升。 |
每個服務擴充可關聯的資源數 | 200 | 300 | 前往配額中心申請提升配額。 |
每個GA執行個體可關聯的服務擴充數 | 200 | 500 | 前往配額中心申請提升配額。 |
計費
AI 模型代理相關功能(包括 AI服務終端節點群組、模型轉寄條件、回退動作、API Key認證服務擴充)當前限時免費。您僅需按Global Acceleration執行個體本身的標準計費規則付費,詳情請參見Global Acceleration計費說明。