更多策略與外掛程式 - API Gateway

AI 網關支援對API級進行添加策略和配置外掛程式，提高API的安全性、效能和可維護性。

重要

策略配置修改後即時生效，無需重新發布。

操作步驟

開啟AI網關控制台執行個體頁面，在頂部功能表列選擇目標執行個體所在地區，並單擊目標執行個體ID。
在左側導覽列，單擊Model API，然後單擊目標API名稱進入API詳情頁面。
單擊策略与插件頁簽，然後在更多策略与插件地區，選擇需要配置策略或外掛程式的位置（入站处理/出站处理），並單擊启用策略/插件。
在启用策略/插件面板中，選擇策略或外掛程式進行配置。詳情請參見策略配置和外掛程式配置。

策略配置

並發控制

並發規則的原理是統計當前網關處理中的請求數之和，當指標達到設定的閾值時立即攔截流量，可配置為後端服務的最大並發處理請求數，實現在高並發下的後端服務可用性保護。

操作步驟

可在添加策略頁簽，單擊并发控制卡片，在添加策略面板配置相關參數。

配置項			說明
是否开启			開啟後，並發規則生效。
总体并发数阈值			設定总体并发数阈值。
Web fallback 行为	返回指定内容	Http状态码	設定Http状态码。預設為429。
		返回 content-type	選擇返回 content-type為普通文本或JSON。
		HTTP 返回文本	輸入返迴文本。
	返回指定内容	跳转地址	輸入跳转地址。

流量控制

流控規則的原理是監控API的QPS指標，當指標達到設定的閾值時立即攔截流量，避免後端服務被瞬時的流量高峰衝垮，從而保障高可用性。

操作步驟

可在添加策略頁簽，單擊流量控制卡片，在添加策略面板配置相關參數。

配置項			說明
是否开启			開啟後，流量控制規則生效。
总体QPS阈值			設定总体QPS阈值。
Web fallback 行为	返回指定内容	Http状态码	設定Http状态码。預設為429。
		返回 content-type	選擇返回 content-type為普通文本或JSON。
		HTTP 返回文本	輸入返迴文本。
	跳转到指定页面	跳转地址	輸入跳转地址。

熔斷策略

熔斷規則的原理是監控API的回應時間或異常比例，當達到指定的閾值時立即降低依賴優先順序。在指定的時間內，系統不會調用該不穩定的資源，避免後端服務受到影響，從而保障後端的高可用性。當指定時間過後，再重新恢複對該資源的調用。

操作步驟

可在添加策略頁簽，單擊熔斷卡片，在添加策略面板配置相關參數。

配置項			說明
是否开启			開啟後，熔斷規則生效。
统计窗口时长			統計的時間視窗長度，取值範圍為1秒~120分鐘。
最小请求数目			觸發熔斷的最小請求數目，若當前統計視窗內的請求數小於此值，即使達到熔斷條件規則也不會觸發。
阈值类型			選擇以慢调用比例（%）或异常比例（%）作為閾值。選擇以慢调用比例（%）作為閾值，需要設定允許的慢调用RT（即最大的回應時間），請求的回應時間大於該值則統計為慢調用。在降級閾值中設定觸發熔斷的慢調用比例。規則開啟後，在單位統計時間長度內請求數目大於設定的最小請求數目，並且慢調用的比例大於閾值，則接下來的熔斷時間長度內請求會自動被熔斷。經過熔斷時間長度後，熔斷器會進入探測恢複狀態，若接下來的一個請求回應時間小於設定的慢調用RT，則結束熔斷；若大於設定的慢調用RT，則會再次被熔斷。選擇以异常比例（%）作為閾值，需要在降級閾值中設定觸發熔斷的異常比例。規則開啟後，在單位統計時間長度內業務異常數目大於設定的最小請求數目，並且異常的比例大於閾值，則接下來的熔斷時間長度內請求會自動被熔斷。
慢调用RT			設定允許的慢调用RT（即最大的回應時間）。
熔断比例阈值			觸發熔斷的慢調用比例閾值，取值範圍 0-100（代表 0%-100%）。
熔斷時間長度（s）			即熔斷觸發後持續的時間。資源進入熔斷狀態後，在配置的熔斷時間長度內，請求都會快速失敗。
Web fallback 行为	返回指定内容	Http状态码	設定Http状态码。預設為429。
		返回 content-type	選擇返回 content-type為普通文本或JSON。
		HTTP 返回文本	輸入返迴文本。
	跳转到指定页面	跳转地址	輸入跳转地址。

IP黑白名單策略

IP 黑白名單策略的原理是通過預先配置允許或拒絕訪問的 IP 位址列表，控制用戶端對服務的存取權限。

操作步驟

在添加策略頁簽，單擊IP黑白名單卡片，在添加策略面板配置相關參數。

參數	描述
开启	開啟後，IP黑白名單策略生效。
名称	自訂標識名稱，用於在多個策略中進行區分和管理。
备注	策略描述資訊，便於識別和管理。
类型	指定為黑名單或白名單，控制存取原則類型。白名单：僅允許指定的 IP 位址訪問服務，其餘預設拒絕。黑名单：阻止特定 IP 位址訪問服務，其餘預設允許。
IP地址/地址段	配置允許或拒絕訪問的 IP 位址列表或位址區段，支援多個條目，格式如`192.168.1.1/24`。

逾時策略

AI 網關提供API層級的逾時設定，可以按需為指定API配置網關等待請求響應結果的最大時間。如果網關在設定的時間內未收到後端服務的響應，將向用戶端返回一個 HTTP 狀態代碼為 504（Gateway Timeout）的響應結果。

操作步驟

在添加策略頁簽，單擊超时卡片，在添加策略面板配置相關參數。

說明

逾時策略配置完成且開啟後，請根據實際業務驗證服務逾時規則是否生效。

參數

描述

开启

是否開啟逾時策略。

開啟：網關API逾時策略生效。
關閉：網關API逾時策略失效。

超时时间

為當前API設定逾時時間，單位為秒。

說明

當設定為0或者關閉逾時策略時，表示網關會一直等待請求的響應結果。

重試策略

AI 網關提供API層級的重試設定，可以對出錯的請求進行自動重試。根據需求配置重試條件，例如在串連失敗、後端服務不可用，或者接收到指定的HTTP狀態代碼時觸發請求重試。

API的重試條件

當後端服務返回5xx錯誤時，AI 網關按照設定的重試次數對出錯的請求自動進行重試。

HTTP協議的重試條件如下：
- 5xx：如果後端服務返回任何5xx響應，或者發生串連斷開、重設、讀取逾時事件，AI 網關將嘗試對出錯請求進行重試。
  
  說明
  5xx包含connect-failure和refused-stream的條件。
- reset：如果發生串連斷開、重設、讀取逾時事件，AI 網關將嘗試對出錯請求進行重試。
- connect-failure：如果請求是由串連斷開導致的出錯，AI 網關將嘗試對出錯請求進行重試。
- refused-stream：如果後端服務以REFUSED_STREAM錯誤碼來重設流，AI 網關將嘗試對出錯請求進行重試。
- retriable-status-codes：如果後端服務響應結果的HTTP狀態代碼匹配上指定的重試狀態代碼，AI 網關將嘗試對該請求進行重試。
  
  說明
  只有在重試條件中指定了retriable-status-codes，才能使用重試狀態代碼。
gRPC協議的重試條件如下：
- cancelled：如果後端gRPC服務的回應標頭部中的gRPC狀態代碼為cancelled，AI 網關將嘗試對該請求進行重試。
- deadline-exceeded：如果後端gRPC服務的回應標頭部中的gRPC狀態代碼為deadline-exceeded，AI 網關將嘗試對該請求進行重試。
- internal：如果後端gRPC服務的回應標頭部中的gRPC狀態代碼為internal，AI 網關將嘗試對該請求進行重試。
- resource-exhausted：如果後端gRPC服務的回應標頭部中的gRPC狀態代碼為resource-exhausted，AI 網關將嘗試對該請求進行重試。
- unavailable：如果後端gRPC服務的回應標頭部中的gRPC狀態代碼為unavailable，AI 網關將嘗試對該請求進行重試。

操作步驟

可在添加策略頁簽，單擊重试卡片，在添加策略面板配置相關參數。

說明

重試策略配置完成且開啟後，請根據實際業務驗證服務重試規則是否生效。

參數	描述
开启	是否開啟重試策略。開啟：網關API重試策略生效。關閉：網關API重試策略失效。關閉重試後，網關內部有預設重試配置，重試次數預設為2次，重試條件預設為`connect-failure`、`refused-stream`、`unavailable`、`cancelled`、`non_idempotent`和`retriable-status-codes`。
重试次数	設定對出錯請求的最大重試次數。重試次數支援設定0~10次，建議不超過2次。重試次數設定為0，表示取消重試。
重试条件	選擇合適的，支援多選。
重试状态码	對特定HTTP狀態代碼的響應進行重試，支援配置多種HTTP狀態代碼。重要重试条件指定`retriable-status-codes`，才能配置重试状态码。

Header修改策略

在將請求轉寄至目標後端服務之前，或在後端服務的響應返回給用戶端之前，Header設定功能允許修改原始請求中的頭資訊。

操作步驟

可在添加策略頁簽，單擊Header 修改卡片，在添加策略面板配置相關參數。

配置項	說明
开启	是否開啟Header修改策略。開啟：開啟Header修改策略後，網關會控制請求和響應的Header。關閉：關閉Header修改策略後，網關不會控制請求和響應的Header。
Header类型	選擇Header類型。请求：表示將會對請求的Header進行設定。响应：表示將會對響應的Header進行設定。
操作类型	選擇操作類型。新增：向請求或響應新增一個Header。說明如果新增的Header已存在，那麼Header Value將會拼接在已有的Header值後面，並通過英文逗號（,）分隔。修改：修改請求或響應指定的Header。說明如果指定的Header不存在，將會按照Header Key和Header Value進行新增操作。如果指定的Header存在，將會進行覆蓋修改操作。删除：刪除請求或響應指定的Header。
Header Key	輸入請求或響應的頭部名。
Header Value	輸入請求或響應的頭部值。

外掛程式配置

單擊添加插件頁簽。
在快捷导航處，選擇要安裝的外掛程式類型或者搜尋外掛程式名稱，單擊外掛程式卡片：
- 如果外掛程式未安裝，在安裝外掛程式的彈出框中單擊安装并配置，在啟用外掛程式的彈框中配置外掛程式規則，並選擇啟用狀態。
- 如果外掛程式已安裝，在啟用外掛程式的彈框中，配置外掛程式規則，並選擇啟用狀態。
單擊确定，返回API的掛載列表，可以看到API的外掛程式掛載情況和啟用狀態。

在掛載列表中，入站處理地區顯示 jwt-auth（未開啟）和 key-auth（已啟用），出站處理地區顯示 key-auth（已啟用）和 jwt-auth（未開啟），後端服務地址為 test.static，請求流向為前端API → 入站處理 → 後端服務 → 出站處理。