Edge Security Acceleration：AI網關

功能簡介

AI網關作為您的應用與AI服務提供者之間的代理層，提供以下核心能力：

• 統一接入：通過單一endpoint接入多家AI服務提供者，相容OpenAI API標準，無需修改現有代碼即可切換不同模型。

• 效能最佳化：利用智能緩衝機制，對重複請求直接返回緩衝結果，降低響應延遲並減少上遊API調用成本。

• 安全防護：內建速率限制、IP白名單、API密鑰認證等多層安全機制，保護您的AI服務免受濫用和攻擊。

• 高可用性：支援自動故障切換和請求重試，當主供應商服務異常時自動切換到備用供應商，保障商務持續性。

• 可觀測性：即時監控請求次數、Token使用量、回應時間和成本統計，提供詳細的請求日誌和審計追蹤。

功能原理

AI網關部署在ESA的全球邊緣節點上，請求處理流程如下：

1. 請求接收：用戶端應用通過統一的endpoint發送API請求到最近的邊緣節點；

2. 安全驗證：邊緣節點對請求進行認證（API令牌、IP白名單等）；

3. 路由轉寄：根據配置的路由規則，將請求轉寄到指定的AI服務提供者（如阿里雲百鍊、OpenAI等）；

4. 結果緩衝：將上遊響應結果緩衝到邊緣節點，並返回給用戶端。

5. 監控記錄：記錄採樣日誌以及請求數、Token數、錯誤數量等指標資料。

路由機制：通過model參數指定目標AI模型，格式為{provider}/{model-name}，例如：

• openai/gpt-4o：調用OpenAI的GPT-4o模型

• deepseek/deepseek-chat：調用DeepSeek的chat模型

• qwen/qwen-plus：調用阿里雲百鍊的通義千問Plus模型

適用情境

import OpenAI from "openai";

const client = new OpenAI({
  defaultHeaders: {
    "esa_aigw_auth": `Bearer ESA_API_TOKEN`,
  },
  baseURL: "https://YOUR_DOMAIN/v1",
});

const response = await client.chat.completions.create({
  model: "qwen/qwen-plus",  //填入使用的模型
  messages: [{ role: "user", content: "What is Edge Security Acceleration?" }],
});

import OpenAI from "openai";

const client = new OpenAI({
  defaultHeaders: {
    "esa_aigw_auth": `Bearer ESA_API_TOKEN`,
    "x-ai-route-metadata": "YOUR_IFELSE_CONDITION_RULE",  // 配置了ifelse條件時必傳
  },
  baseURL: "https://api.example.com/v1",
});

const response = await client.chat.completions.create({
  model: "dynamic/ai-test",  // 路由配置
  messages: [
    { role: "user", content: "Hello!" }
  ],
});

console.log(response.choices[0].message.content);

注意事項

• API密鑰管理：AI網關需要配置上遊AI服務提供者的API密鑰，請妥善保管密鑰並定期輪換。密鑰將加密儲存在ESA中。

• 模型相容性：統一介面遵循OpenAI API標準，部分AI服務提供者的特有功能可能不支援。

• 監控資料延遲：監控指標資料可能存在1-5分鐘的延遲，即時性要求高的情境建議結合日誌分析使用。

操作步驟

路由配置

您可以配置不同路由規則，AI網關將根據請求特徵，自動匹配模型。還可以增加故障切換規則，當AI主供應商某個模型服務異常時自動切換到備用供應商或該主供應商的其他模型。

1. 在AI網關應用中，選擇路由配置頁簽，單擊新增路由，並在新增路由頁面填寫自訂名稱。

2. 完成建立路由配置後，在路由列表單擊對應路由配置操作列的編輯按鈕。

3. 在編輯頁面，可進行可視化的模型路由配置：

   1. 配置路由條件：單擊可視化模型的開始和模型服務流程之間的添加符號，單擊添加條件即可自動產生If...Else判斷流程。單擊If...Else流程的點擊配置按鈕，在右側彈出框中單擊添加條件。

      • metadata.：填寫需要進行判斷的鍵，如test-key

      • 邏輯符號：選擇邏輯符號，等於==，不等於！=

      • 索引值：填寫metadata.對應的取值，如ok

      說明

      流程預設判斷條件為true時使用主供應商，為false時使用備用供應商，可以手動編輯模型配置進行調整。

   2. 配置模型服務：分別配置true和false分支的添加符號，單擊添加模型服務（也可以繼續單擊添加條件）後，單擊模型服務流程塊的點擊配置，添加模型資訊：

      • AI 服務商：下拉選擇AI服務商，如Qwen

      • 模型名稱：下拉選擇對應的模型，如qwen3-max

      • API Key：選擇已添加的API Key，如qwen-api-key

      可單擊添加 fallback 模型添加故障切換的備用模型配置。

4. 配置完成後，單擊儲存並部署。後續將根據請求中的headerx-ai-route-metadata來匹配路由條件進行模型服務選擇。

AI網關資料分析與日誌

ESA會統計所有經過AI網關的請求的關鍵資料，協助您分析AI應用的運行情況。

1. 在AI網關應用中，選擇可觀測看板頁簽。

2. 單擊過濾器，選擇資料統計範圍即可展示：

   • 請求數：在所選時間段內通過此 AI 網關發出的請求數

   • Token數：在所選時間段內此 AI 網關使用的預計 Token 數

   • 錯誤數量：在所選時間段內從此 AI 網關發出的錯誤請求數

   • 採樣日誌：詳細的請求和響應資訊，包括邊緣狀態代碼、時間、模型、請求、響應等資訊。

支援的AI服務商

AI網關支援以下主流AI服務提供者，其他服務商將逐步開放：

計費說明

AI網關預設為免費模式，無需任何額外計費，適用於廣大開發人員或者個人業務。後續將推出適用於企業使用者的線上業務接入付費模式。