全部產品
Search
文件中心

Dataphin:限流配置

更新時間:Jan 14, 2026

當計算引擎出現效能瓶頸、資源分派不足或需控制任務下發時間和順序等情境時, 通過配置開發或生產環境任務的限流規則,保障系統的穩定性以及業務資料按序及時產出。本文為您介紹如何進行限流配置。

背景資訊

  • 在未進行限流配置的情況下,任務是否可以運行主要受到上遊依賴、定時已耗用時間以及調度資源的影響,滿足上述條件即下發,但可能出現以下問題:

    • 批量補資料情境下,如果圈選的時間周期過長,會搶佔調度資源,影響周期任務或即席查詢等任務的正常運行及業務資料產出。

    • 低優先順序任務比高優先順序任務更早滿足運行條件並下發至計算引擎,佔用大量計算資源,影響高優先順序任務運行。

    • 叢集調度資源或底層計算資源有限,可能導致大規模的任務等待運行,繼而引發計算引擎雪崩。

  • 具備限流配置的能力後,可以達到以下目標:

    • 控制同時下發到計算引擎側的任務數,保證計算引擎不會出現並發過高、請求過多等原因導致的系統性崩潰,保障系統穩定性。

    • 控制高優先任務優先分配資源、優先運行,保證資料按序、及時的產出。

使用限制

  • 已購買智能營運增值服務並且當前租戶已開通智能營運模組。

  • 在進行限流配置前,需要關注以下限制:

    • 目前僅支援離線任務限流配置,不支援即時任務(包括Realtime Compute任務和即時整合任務)。

    • 最多建立50條限流規則。

  • 開啟資料服務標籤線上服務的高可用但未購買智能營運時,僅支援1條限流規則。

許可權說明

支援限流配置操作角色的許可權說明如下表所示。

操作

角色

新增、大量操作

超級管理員、系統管理員

編輯、刪除

超級管理員、系統管理員、規則負責人

查看規則詳情

無許可權管控

限流配置概覽

限流配置頁面主要由操作區、限流規則列表、大量操作組成。您可以在限流配置頁面建立及管理限流規則。

image

區塊

說明

操作區

  • 已開啟的:為您展示狀態為開啟的限流規則。

  • 搜尋:支援輸入限流規則名稱進行搜尋。

  • 篩選:單擊image篩選圖示,支援根據限流規則的標籤、負責人、生效環境進行篩選。

  • 管理規則標籤:規則標籤主要是用來對限流規則進行標識和分類,您可以建立限流規則標籤,設定目標關鍵詞,方便後續的定位與尋找。更多資訊,請參見管理限流規則標籤

  • 建立限流規則:通過建立規則對計算任務進行限流。具體操作,請參見建立限流規則

  • 重新整理:單擊image重新整理表徵圖,支援重新整理當前規則列表。

限流規則列表

為您展示已經建立的限制規則。包括規則名稱生效環境生效時間並發運行數最新更新時間負責人開啟狀態及支援的管理操作

重要

成功建立限制規則後,限制規則的開啟狀態預設為啟動狀態。關閉開啟狀態限制規則將不生效。

  • 詳情:查看規則詳情資訊。

  • 編輯:編輯限流規則。不支援變更生效環境

  • 複製:支援複製當前限流規則資訊快捷建立限流規則。

  • 刪除:刪除當前限流規則。

大量操作

  • 開啟:批量開啟選中的限流規則。開啟後,將對當前租戶下所有命中限流規則的任務生效,可能會影響運行正常下發,請確認是否需要開啟。

  • 關閉:批量關閉選中的限流規則。關閉後,已配置的限流規則失效。如果同一時間內任務並發度過高,可能會對計算引擎和外部資料源造成壓力,請謹慎評估。

  • 刪除:大量刪除選中的限流規則。刪除後,所有命中該限流規則且未下發的任務均不再受該規則管控,請謹慎評估是否會影響核心業務資料產出或產生過高並發造成較大的系統壓力。

  • 修改責任人:批量修改選中的限流規則的負責人。規則負責人可以修改自己負責的規則詳情或刪除該規則,修改後立即生效。

  • 修改標籤:批量修改選中的限流規則的標籤清空已有標籤

建立限流規則

重要

限流規則配置完成後立刻生效,請評估是否會影響相關業務資料使用,然後再進行配置。

  1. 在Dataphin首頁的頂部功能表列中,選擇研發 > 任務營運

  2. 在左側導覽列中選擇系統配置 > 限流配置

  3. 限流配置頁面,單擊+建立限流規則

  4. 建立限流規則對話方塊,配置參數。

    參數

    描述

    規則名稱

    填寫自訂限流規則名稱,不超過128個字元。

    描述

    填寫該規則的簡單描述資訊,不超過256個字元。

    責任人

    預設為當前建立人,您可以單擊下拉式清單選擇其他責任人。

    標籤

    單擊下拉式清單,選擇建立的標籤。更多資訊,請參見管理限流規則標籤

    生效環境

    限流規則生效的環境。包括生產環境開發環境

    說明

    不同環境可選的設定物件不同,切換環境後將清空現有的規則,您需要重新進行配置。

    規則配置

    全域限流對目標環境下的所有任務進行限流。

    自訂規則根據配置的自訂規則對滿足篩選條件的任務進行限流。支援的任務屬性包括所屬專案調度類型任務類型業務類型任務名稱。不用任務屬性支援的條件及條件值不同。

    • 所屬專案

      • 條件:支援屬於不屬於

      • 條件值

        • 生效環境開發環境時,可搜尋當前租戶下所有Dev專案。

        • 生效環境生產環境時,可搜尋當前租戶下所有Basic和Prod專案。

    • 調度類型

      • 條件:支援等於不等於

      • 條件值

        • 周期執行個體:周期任務按照調度配置自動定時運行產生的執行個體。

        • 手動執行個體:包含計算任務、整合任務、同步任務、萃取補資料任務、標籤測試回合任務產生的執行個體。

        • 補資料執行個體:通過不補資料操作產生的執行個體。

        • 一次性運行:包含即席查詢、計算任務試運行、邏輯表煙霧測試 (Smoke Test)、整合任務試運行。

    • 任務類型

      • 條件:支援屬於不屬於

      • 條件值:不同計算引擎,支援不同的任務類型,具體支援類型請以實際頁面為準。

    • 業務類型

      • 條件:支援等於、不等於。

      • 條件值

        • 整合同步:對應離線整合任務。

        • 離線資料處理:對應離線計算任務、同步任務、Flink Batch任務。

        • 建模研發:僅智能研發版支援,對應所有邏輯表任務。

    • 任務名稱

      • 條件:支援等於不等於包含不包含屬於不屬於以…開頭不以…開頭以…結尾不以…結尾

      • 條件值:支援輸入任意篩選條件值。篩選條件為屬於不屬於,支援按行輸入多個任務名稱,每行一個任務名稱。

    並發運行數

    設定並發運行數,請結合實際限流情境進行配置。

    說明

    並發數為0代表不下發。

    生效時間

    設定限流規則生效時間。支援設定全時間段指定時間範圍指定時間區間

    • 全時間段:根據配置的限流規則持續生效。

    • 指定時間範圍:指定時間範圍內均生效。

      當系統時區(即使用者中心中的時區)與調度時區不一致時,系統將同時展示系統時區和調度時區。選擇時間範圍後,系統自動計算出對應的調度時區時間。例如,系統時區為GMT+08:00,調度時區為GMT+01:00,指定時間範圍配置為2025-06-10 00:00:00 ~ 2025-06-10 01:00:00,則對應的調度時區時間為2025-06-09 17:00:00 ~ 2025-06-09 18:00:00

      說明

      適用於需要在特定時間區間進行限流的情境。

    • 指定時間區間:指定選中日期範圍內的具體時間段內生效。例如,2022-09-11 ~2022-09-12  00:00:00 ~ 11:00:00

      當系統時區(即使用者中心中的時區)與調度時區不一致時,系統將同時展示系統時區和調度時區。選擇指定的起始時間後,系統自動計算出對應的調度時區時間。當計算出的調度時區時間與系統時區時間不在同一天時,使用(-1)表示前一天、(+1)表示後一天。例如,系統時區為GMT+08:00,調度時區為GMT+01:00,指定時間區間配置為2025-06-10 ~ 2025-06-11 00:00 ~ 01:00,則對應的調度時區時間為2025-06-10 ~ 2025-06-11 17:00(-1) ~ 18:00(-1)

      說明

      適用於需要在特定時間段進行限流的情境。

  5. 單擊確定,完成限流規則建立。

管理限流規則標籤

限流規則標籤主要是用來對限流規則進行標識和分類,您可以建立限流規則標籤,設定目標關鍵詞,方便後續的定位與尋找。您可以在管理限流規則對話方塊進行建立及管理操作。

image

區塊

說明

操作區

  • 搜尋:支援輸入標籤名稱進行搜尋。

  • 建立標籤:您可以按照以下操作進列標籤的建立。

    1. 單擊建立標籤

    2. 在填寫輸入框中,填寫標籤參數。

      • 標籤名稱:填寫標籤名稱,最多輸入128個字元。

      • 描述:填寫標籤的簡單描述,最多輸入128個字元。

    3. 單擊image確定表徵圖,完成標籤建立。

標籤列表

對已經建立的標籤支援編輯刪除操作。