更多策略與外掛程式 - API Gateway

AI 網關支援對API級進行添加策略和配置外掛程式，提高API的安全性、效能和可維護性。

重要

策略配置修改後即時生效，無需重新發布。

操作步驟

開啟AI網關控制台執行個體頁面，在頂部功能表列選擇目標執行個體所在地區，並單擊目標執行個體ID。
在左側導覽列，單擊Model API，然後單擊目標API名稱進入API詳情頁面。
單擊策略與外掛程式頁簽，然後在更多策略與外掛程式地區，選擇需要配置策略或外掛程式的位置（入站處理/出站處理），並單擊啟用策略/外掛程式。
在啟用策略/外掛程式面板中，選擇策略或外掛程式進行配置。詳情請參見策略配置和外掛程式配置。

策略配置

並發控制

並發規則的原理是統計當前網關處理中的請求數之和，當指標達到設定的閾值時立即攔截流量，可配置為後端服務的最大並發處理請求數，實現在高並發下的後端服務可用性保護。

操作步驟

可在添加策略頁簽，單擊並發控制卡片，在添加策略: 並發控制面板配置相關參數。

配置項			說明
是否開啟			開啟後，並發規則生效。
總體並發數閾值			設定總體並發數閾值。
Web fallback 行為	返回指定內容	HTTP狀態代碼	設定HTTP狀態代碼。預設為429。
		返回 content-type	選擇返回 content-type為普通文本或JSON。
		HTTP 返迴文本	輸入返迴文本。
	返回指定內容	跳轉地址	輸入跳轉地址。

流量控制

流控規則的原理是監控API的QPS指標，當指標達到設定的閾值時立即攔截流量，避免後端服務被瞬時的流量高峰衝垮，從而保障高可用性。

操作步驟

可在添加策略頁簽，單擊流量控制卡片，在添加策略: 流量控制面板配置相關參數。

配置項			說明
是否開啟			開啟後，流量控制規則生效。
總體QPS閾值			設定總體QPS閾值。
Web fallback 行為	返回指定內容	HTTP狀態代碼	設定HTTP狀態代碼。預設為429。
		返回 content-type	選擇返回 content-type為普通文本或JSON。
		HTTP 返迴文本	輸入返迴文本。
	跳轉到指定頁面	跳轉地址	輸入跳轉地址。

熔斷策略

熔斷規則的原理是監控API的回應時間或異常比例，當達到指定的閾值時立即降低依賴優先順序。在指定的時間內，系統不會調用該不穩定的資源，避免後端服務受到影響，從而保障後端的高可用性。當指定時間過後，再重新恢複對該資源的調用。

操作步驟

可在添加策略頁簽，單擊熔斷卡片，在添加策略: 熔斷面板配置相關參數。

配置項			說明
是否開啟			開啟後，熔斷規則生效。
統計視窗時間長度			統計的時間視窗長度，取值範圍為1秒~120分鐘。
最小請求數目			觸發熔斷的最小請求數目，若當前統計視窗內的請求數小於此值，即使達到熔斷條件規則也不會觸發。
閾實值型別			選擇以慢調用比例（%）或異常比例（%）作為閾值。選擇以慢調用比例（%）作為閾值，需要設定允許的慢調用RT（即最大的回應時間），請求的回應時間大於該值則統計為慢調用。在降級閾值中設定觸發熔斷的慢調用比例。規則開啟後，在單位統計時間長度內請求數目大於設定的最小請求數目，並且慢調用的比例大於閾值，則接下來的熔斷時間長度內請求會自動被熔斷。經過熔斷時間長度後，熔斷器會進入探測恢複狀態，若接下來的一個請求回應時間小於設定的慢調用RT，則結束熔斷；若大於設定的慢調用RT，則會再次被熔斷。選擇以異常比例（%）作為閾值，需要在降級閾值中設定觸發熔斷的異常比例。規則開啟後，在單位統計時間長度內業務異常數目大於設定的最小請求數目，並且異常的比例大於閾值，則接下來的熔斷時間長度內請求會自動被熔斷。
慢調用RT			設定允許的慢調用RT（即最大的回應時間）。
熔斷比例閾值			觸發熔斷的慢調用比例閾值，取值範圍 0-100（代表 0%-100%）。
熔斷時間長度（s）			即熔斷觸發後持續的時間。資源進入熔斷狀態後，在配置的熔斷時間長度內，請求都會快速失敗。
Web fallback 行為	返回指定內容	HTTP狀態代碼	設定HTTP狀態代碼。預設為429。
		返回 content-type	選擇返回 content-type為普通文本或JSON。
		HTTP 返迴文本	輸入返迴文本。
	跳轉到指定頁面	跳轉地址	輸入跳轉地址。

IP黑白名單策略

IP 黑白名單策略的原理是通過預先配置允許或拒絕訪問的 IP 位址列表，控制用戶端對服務的存取權限。

操作步驟

在添加策略頁簽，單擊IP黑白名單卡片，在添加策略：IP黑白名單面板配置相關參數。

參數	描述
開啟	開啟後，IP黑白名單策略生效。
名稱	自訂標識名稱，用於在多個策略中進行區分和管理。
備忘	策略描述資訊，便於識別和管理。
類型	指定為黑名單或白名單，控制存取原則類型。白名單：僅允許指定的 IP 位址訪問服務，其餘預設拒絕。黑名單：阻止特定 IP 位址訪問服務，其餘預設允許。
IP地址/位址區段	配置允許或拒絕訪問的 IP 位址列表或位址區段，支援多個條目，格式如`192.168.1.1/24`。

逾時策略

AI 網關提供API層級的逾時設定，可以按需為指定API配置網關等待請求響應結果的最大時間。如果網關在設定的時間內未收到後端服務的響應，將向用戶端返回一個 HTTP 狀態代碼為 504（Gateway Timeout）的響應結果。

操作步驟

在添加策略頁簽，單擊逾時卡片，在添加策略：逾時面板配置相關參數。

說明

逾時策略配置完成且開啟後，請根據實際業務驗證服務逾時規則是否生效。

參數

描述

開啟

是否開啟逾時策略。

開啟：網關API逾時策略生效。
關閉：網關API逾時策略失效。

逾時時間

為當前API設定逾時時間，單位為秒。

說明

當設定為0或者關閉逾時策略時，表示網關會一直等待請求的響應結果。

重試策略

AI 網關提供API層級的重試設定，可以對出錯的請求進行自動重試。根據需求配置重試條件，例如在串連失敗、後端服務不可用，或者接收到指定的HTTP狀態代碼時觸發請求重試。

API的重試條件

當後端服務返回5xx錯誤時，AI 網關按照設定的重試次數對出錯的請求自動進行重試。

HTTP協議的重試條件如下：
- 5xx：如果後端服務返回任何5xx響應，或者發生串連斷開、重設、讀取逾時事件，AI 網關將嘗試對出錯請求進行重試。
  說明
  5xx包含connect-failure和refused-stream的條件。
- reset：如果發生串連斷開、重設、讀取逾時事件，AI 網關將嘗試對出錯請求進行重試。
- connect-failure：如果請求是由串連斷開導致的出錯，AI 網關將嘗試對出錯請求進行重試。
- refused-stream：如果後端服務以REFUSED_STREAM錯誤碼來重設流，AI 網關將嘗試對出錯請求進行重試。
- retriable-status-codes：如果後端服務響應結果的HTTP狀態代碼匹配上指定的重試狀態代碼，AI 網關將嘗試對該請求進行重試。
  說明
  只有在重試條件中指定了retriable-status-codes，才能使用重試狀態代碼。
gRPC協議的重試條件如下：
- cancelled：如果後端gRPC服務的回應標頭部中的gRPC狀態代碼為cancelled，AI 網關將嘗試對該請求進行重試。
- deadline-exceeded：如果後端gRPC服務的回應標頭部中的gRPC狀態代碼為deadline-exceeded，AI 網關將嘗試對該請求進行重試。
- internal：如果後端gRPC服務的回應標頭部中的gRPC狀態代碼為internal，AI 網關將嘗試對該請求進行重試。
- resource-exhausted：如果後端gRPC服務的回應標頭部中的gRPC狀態代碼為resource-exhausted，AI 網關將嘗試對該請求進行重試。
- unavailable：如果後端gRPC服務的回應標頭部中的gRPC狀態代碼為unavailable，AI 網關將嘗試對該請求進行重試。

操作步驟

可在添加策略頁簽，單擊重試卡片，在添加策略: 重試面板配置相關參數。

說明

重試策略配置完成且開啟後，請根據實際業務驗證服務重試規則是否生效。

參數	描述
開啟	是否開啟重試策略。開啟：網關API重試策略生效。關閉：網關API重試策略失效。關閉重試後，網關內部有預設重試配置，重試次數預設為2次，重試條件預設為`connect-failure`、`refused-stream`、`unavailable`、`cancelled`、`non_idempotent`和`retriable-status-codes`。
重試次數	設定對出錯請求的最大重試次數。重試次數支援設定0~10次，建議不超過2次。重試次數設定為0，表示取消重試。
重試條件	選擇合適的，支援多選。
重試狀態代碼	對特定HTTP狀態代碼的響應進行重試，支援配置多種HTTP狀態代碼。重要重試條件指定`retriable-status-codes`，才能配置重試狀態代碼。

Header修改策略

在將請求轉寄至目標後端服務之前，或在後端服務的響應返回給用戶端之前，Header設定功能允許修改原始請求中的頭資訊。

操作步驟

可在添加策略頁簽，單擊Header修改卡片，在添加策略: Header修改面板配置相關參數。

配置項	說明
開啟	是否開啟Header修改策略。開啟：開啟Header修改策略後，網關會控制請求和響應的Header。關閉：關閉Header修改策略後，網關不會控制請求和響應的Header。
Header類型	選擇Header類型。請求：表示將會對請求的Header進行設定。響應：表示將會對響應的Header進行設定。
操作類型	選擇操作類型。新增：向請求或響應新增一個Header。說明如果新增的Header已存在，那麼Header Value將會拼接在已有的Header值後面，並通過英文逗號（,）分隔。修改：修改請求或響應指定的Header。說明如果指定的Header不存在，將會按照Header Key和Header Value進行新增操作。如果指定的Header存在，將會進行覆蓋修改操作。刪除：刪除請求或響應指定的Header。
Header Key	輸入請求或響應的頭部名。
Header Value	輸入請求或響應的頭部值。

外掛程式配置

單擊添加外掛程式頁簽。
在快捷導航處，選擇要安裝的外掛程式類型或者搜尋外掛程式名稱，單擊外掛程式卡片：
- 如果外掛程式未安裝，在安裝外掛程式的彈出框中單擊安裝並配置，在啟用外掛程式的彈框中配置外掛程式規則，並選擇啟用狀態。
- 如果外掛程式已安裝，在啟用外掛程式的彈框中，配置外掛程式規則，並選擇啟用狀態。
單擊確定，返回API的掛載列表，可以看到API的外掛程式掛載情況和啟用狀態。