當計算引擎出現效能瓶頸、資源分派不足或需控制任務下發時間和順序等情境時, 通過配置開發或生產環境任務的限流規則,保障系統的穩定性以及業務資料按序及時產出。本文為您介紹如何進行限流配置。
背景資訊
在未進行限流配置的情況下,任務是否可以運行主要受到上遊依賴、定時已耗用時間以及調度資源的影響,滿足上述條件即下發,但可能出現以下問題:
批量補資料情境下,如果圈選的時間周期過長,會搶佔調度資源,影響周期任務或即席查詢等任務的正常運行及業務資料產出。
低優先順序任務比高優先順序任務更早滿足運行條件並下發至計算引擎,佔用大量計算資源,影響高優先順序任務運行。
叢集調度資源或底層計算資源有限,可能導致大規模的任務等待運行,繼而引發計算引擎雪崩。
具備限流配置的能力後,可以達到以下目標:
控制同時下發到計算引擎側的任務數,保證計算引擎不會出現並發過高、請求過多等原因導致的系統性崩潰,保障系統穩定性。
控制高優先任務優先分配資源、優先運行,保證資料按序、及時的產出。
使用限制
已購買智能營運增值服務並且當前租戶已開通智能營運模組。
在進行限流配置前,需要關注以下限制:
目前僅支援離線任務限流配置,不支援即時任務(包括Realtime Compute任務和即時整合任務)。
最多建立50條限流規則。
開啟資料服務或標籤線上服務的高可用但未購買智能營運時,僅支援1條限流規則。
許可權說明
支援限流配置操作角色的許可權說明如下表所示。
操作 | 角色 |
新增、大量操作 | 超級管理員、系統管理員 |
編輯、刪除 | 超級管理員、系統管理員、規則負責人 |
查看規則詳情 | 無許可權管控 |
限流配置概覽
限流配置頁面主要由操作區、限流規則列表、大量操作組成。您可以在限流配置頁面建立及管理限流規則。

區塊 | 說明 |
①操作區 | |
②限流規則列表 | 為您展示已經建立的限制規則。包括規則名稱、生效環境、生效時間、並發運行數、最新更新時間、負責人、開啟狀態及支援的管理操作。 重要 成功建立限制規則後,限制規則的開啟狀態預設為啟動狀態。關閉開啟狀態限制規則將不生效。
|
③大量操作 |
|
建立限流規則
限流規則配置完成後立刻生效,請評估是否會影響相關業務資料使用,然後再進行配置。
在左側導覽列中選擇系統配置 > 限流配置。
在限流配置頁面,單擊+建立限流規則。
在建立限流規則對話方塊,配置參數。
參數
描述
規則名稱
填寫自訂限流規則名稱,不超過128個字元。
描述
填寫該規則的簡單描述資訊,不超過256個字元。
責任人
預設為當前建立人,您可以單擊下拉式清單選擇其他責任人。
標籤
單擊下拉式清單,選擇建立的標籤。更多資訊,請參見管理限流規則標籤。
生效環境
限流規則生效的環境。包括生產環境和開發環境。
說明不同環境可選的設定物件不同,切換環境後將清空現有的規則,您需要重新進行配置。
規則配置
全域限流:對目標環境下的所有任務進行限流。
自訂規則:根據配置的自訂規則對滿足篩選條件的任務進行限流。支援的任務屬性包括所屬專案、調度類型、任務類型、業務類型、任務名稱。不用任務屬性支援的條件及條件值不同。
所屬專案:
條件:支援屬於、不屬於。
條件值:
生效環境為開發環境時,可搜尋當前租戶下所有Dev專案。
生效環境為生產環境時,可搜尋當前租戶下所有Basic和Prod專案。
調度類型:
條件:支援等於、不等於。
條件值:
周期執行個體:周期任務按照調度配置自動定時運行產生的執行個體。
手動執行個體:包含計算任務、整合任務、同步任務、萃取補資料任務、標籤測試回合任務產生的執行個體。
補資料執行個體:通過不補資料操作產生的執行個體。
一次性運行:包含即席查詢、計算任務試運行、邏輯表煙霧測試 (Smoke Test)、整合任務試運行。
任務類型:
條件:支援屬於、不屬於。
條件值:不同計算引擎,支援不同的任務類型,具體支援類型請以實際頁面為準。
業務類型:
條件:支援等於、不等於。
條件值:
整合同步:對應離線整合任務。
離線資料處理:對應離線計算任務、同步任務、Flink Batch任務。
建模研發:僅智能研發版支援,對應所有邏輯表任務。
任務名稱:
條件:支援等於、不等於、包含、不包含、屬於、不屬於、以…開頭、不以…開頭、以…結尾、不以…結尾。
條件值:支援輸入任意篩選條件值。篩選條件為屬於、不屬於,支援按行輸入多個任務名稱,每行一個任務名稱。
並發運行數
設定並發運行數,請結合實際限流情境進行配置。
說明並發數為0代表不下發。
生效時間
設定限流規則生效時間。支援設定全時間段、指定時間範圍、指定時間區間。
全時間段:根據配置的限流規則持續生效。
指定時間範圍:指定時間範圍內均生效。
當系統時區(即使用者中心中的時區)與調度時區不一致時,系統將同時展示系統時區和調度時區。選擇時間範圍後,系統自動計算出對應的調度時區時間。例如,系統時區為GMT+08:00,調度時區為GMT+01:00,指定時間範圍配置為2025-06-10 00:00:00 ~ 2025-06-10 01:00:00,則對應的調度時區時間為
2025-06-09 17:00:00 ~ 2025-06-09 18:00:00。說明適用於需要在特定時間區間進行限流的情境。
指定時間區間:指定選中日期範圍內的具體時間段內生效。例如,
2022-09-11 ~2022-09-12 00:00:00 ~ 11:00:00。當系統時區(即使用者中心中的時區)與調度時區不一致時,系統將同時展示系統時區和調度時區。選擇指定的起始時間後,系統自動計算出對應的調度時區時間。當計算出的調度時區時間與系統時區時間不在同一天時,使用
(-1)表示前一天、(+1)表示後一天。例如,系統時區為GMT+08:00,調度時區為GMT+01:00,指定時間區間配置為2025-06-10 ~ 2025-06-11 00:00 ~ 01:00,則對應的調度時區時間為2025-06-10 ~ 2025-06-11 17:00(-1) ~ 18:00(-1)。說明適用於需要在特定時間段進行限流的情境。
單擊確定,完成限流規則建立。
管理限流規則標籤
限流規則標籤主要是用來對限流規則進行標識和分類,您可以建立限流規則標籤,設定目標關鍵詞,方便後續的定位與尋找。您可以在管理限流規則對話方塊進行建立及管理操作。

區塊 | 說明 |
①操作區 |
|
②標籤列表 | 對已經建立的標籤支援編輯和刪除操作。 |