全部產品
Search
文件中心

Dataphin:配置離線管道調度配置

更新時間:Jul 08, 2025

調度配置用於定義周期性調度類型的離線管道任務在調度過程中的調度規則。本文為您介紹如何配置周期性離線管道調度配置。

背景資訊

  • 依賴關係是兩個或多個節點之間的語義串連關係,同時上遊節點的狀態將影響其他下遊節點的運行狀態。

  • 配置了依賴關係的節點調度規則為:首先,上遊節點運行完成後,才能調度下遊節點。其次,根據節點設定的調度時間判斷是否執行調度。

  • 您在設定的調度時間之前提交的調度配置,會在設定的調度時間之後生效。而在設定的調度時間之後配置的依賴關係,只能間隔一天再產生執行個體。

操作步驟

  1. 在Dataphin首頁,在頂部功能表列選擇研發 > Data Integration

  2. 整合頁面的頂部功能表列選擇專案

  3. 在左側導覽列中選擇整合 > 離線整合,在離線整合列表中,單擊目標任務名稱。

  4. 在該任務頁簽下,單擊右側的屬性,開啟屬性面板。

  5. 單擊調度配置頁簽,在調度配置地區設定相關參數資訊。

    參數

    描述

    配置方式

    可選擇自訂配置調度模板

    選擇調度模板後,可選擇所有在規劃 > 公用定義 > 離線調度模板中配置的基礎調度模板,若無符合需求的模板,您可單擊建立調度模板進行建立。模板選擇完成後下方調度類型生效日期調度周期參數不可修改,可對優先順序重跑屬性條件調度進行配置。

    調度類型

    支援正常調度、空跑調度及暫停調度3種調度類型。

    • 正常調度:按照調度周期的時間配置調度,並正常執行(即會真實跑資料),通常任務預設選中該項。

    • 空跑調度:按照調度周期的時間配置調度,但都是空跑執行(即不會真實跑資料),即當調度到該任務時便直接返回成功,沒有真正的執行任務。通常用於當某一個節點在一定時間內不需要執行,並且不阻塞他的下遊節點執行時,可選擇此類型調度

    • 暫停調度:暫停調度選擇是後,將按照調度周期配置的時間啟動調度,但節點狀態被置為暫停(即不會真實跑資料)。調度到該任務時,系統會直接返回失敗,並且會阻塞依賴當前節點的下遊節點執行。通常用於某個任務暫時不用執行,但後面還會繼續使用的情境。

    優先順序

    當前離線管道任務的優先順序,可選擇為最低

    建立離線管道任務時,此處優先順序的預設值取自於管理中心 > 研發平台設定 > 節點任務相關設定中的預設優先順序。

    說明

    當該任務發布到生產環境或在Basic環境下提交後,編輯任務時優先順序不可修改,需在生產環境下的營運中進行修改。此時優先順序的值為生產環境的最新值。

    調度時區

    當前租戶在管理中心 > 系統設定 > 租戶設定 > 基礎設定中設定的調度時區。執行個體產生時間、調度周期、生效日期均以此時區進行計算。

    調度周期

    調度周期即在生產環境調度系統中,多久會真實執行一次該任務中的代碼。當一個任務被成功提交後,該任務調度將提交當天次日開始該任務的時間屬性配置產生自動調度的周期執行個體,並根據上遊依賴的執行個體運行結果和時間點運行。

    調度周期可選擇小時分鐘

    • 日調度:即調度任務每天自動運行一次。建立周期任務時,系統預設的時間周期為每天0點運行一次。您可以根據需要,單擊image表徵圖,指定啟動並執行時間點。

    • 周調度:即調度任務每周的特定幾天,在特定時間點自動運行一次。您可以根據需要,單擊image表徵圖,指定啟動並執行時間點。

      說明

      在非指定的調度時間內,為保證下遊執行個體正常運行,系統會產生執行個體後直接設定為運行成功,而不會真正執行任何邏輯,也不會佔用資源。

    • 月調度:即調度任務在每月的特定幾天,在特定時間點自動運行一次。您可以根據需要,單擊image表徵圖,指定啟動並執行時間點。

      說明

      在非指定的調度時間內,為保證下遊執行個體正常運行,系統會每天產生執行個體後直接設定為運行成功,而不會真正執行任何邏輯,也不會佔用資源。

    • 小時調度:支援時間段整點自訂時間段自訂時間點調度。

      • 時間段調度:即調度任務每天在指定時間段內,按照設定的時間間隔自動開始調度。單擊image表徵圖設定時間段的開始時間結束時間,單擊image表徵圖選擇間隔n小時。例如,時間段選擇為00:00~23:00,間隔選擇1小時,則當前任務每天在00:00~23:00時間段內,每隔1小時自動調度一次。

      • 整點調度:單擊下拉式清單方塊選擇整點時間,調度系統會在所選擇的整點時間自動為任務產生執行個體並運行。

      • 自訂時間點調度:調度系統按照所選的自訂時間點自動為任務產生執行個體並運行。單擊下拉式清單方塊選擇自訂時間點,可單擊+添加自訂時間點添加多個時間點。

      • 自訂時間段調度:調度任務每天在某些時間段內按照設定的時間間隔自動開始調度。單擊image表徵圖設定時間段的開始時間結束時間,並在間隔後輸入間隔n分鐘(n為5~360之間的整數),可單擊+添加自訂時間段添加最多10個時間段,多個時間段之間時間不可重疊。例如,時間段1中,時間段選擇為00:00~03:00,間隔設定為30分鐘,則當前任務每天在00:00~03:00時間段內,每間隔30分鐘自動調度一次。

    • 分鐘調度:支援每天每小時

      • 每天:即每天指定的時間段內,調度任務按間隔時間數的時間間隔運行一次。

      • 每小時:即每小時指定的開始時間到該小時結束的時間段內,調度任務按間隔時間數的時間間隔運行一次。

    調度運行計劃

    單擊預覽,調度運行計劃中按照所配置的調度周期和條件調度,展示當前調度任務某個月每一天的所有調度執行個體及其調度類型,預覽日期類型可選擇按照業務日期運行日期(調度日期)

    若一天內所有執行個體有多個調度類型狀態,則按顏色展示所包含的所有調度類型狀態,並展示每個調度類型狀態名稱及其對應的執行個體個數。例如,下圖中展示為某月4日,當前調度任務有44個正常調度執行個體、2個暫停執行個體和12個空跑執行個體。image

    滑鼠懸浮在某天的調度類型模組上,可查看當前調度任務當日的詳細調度執行個體列表,包含已耗用時間(調度時區下任務周期調度的時間)、調度類型、和條件名稱。

    條件調度

    開啟條件調度後,需選擇配置方式,可選擇自訂設定調度模板

    重要
    • 多組調度條件(最多10個),系統將按照從上到下的順序進行條件判斷,命中條件後即執行相應調度動作,並終止後續所有條件的判斷。未命中任何條件時,則執行預設調度配置。

    • 條件調度僅在調度類型為正常調度時生效。

    • 調度條件、起調時間均使用所配置的調度時區進行計算。執行個體產生時,系統將根據執行個體的資訊判斷是否命中條件調度,從而決定調度類型。

    • 自訂設定

      1. 單擊+添加調度條件

      2. 編輯條件調度對話方塊中,配置條件調度相關配置資訊。

        • 條件名稱:支援任一字元,長度在32個字元以內。

        • 生效狀態:預設開啟。關閉後,進行調度時該條件調度將被忽略。

        • 滿足以下條件:條件的判斷規則,當條件判斷為真時,按執行調度的配置資訊進行調度。配置說明,請參見條件調度規則說明

        • 執行調度:支援自訂與跟隨調度屬性:

          • 自訂:條件判斷為真,根據所配置的調度類型運行調度。

          • 跟隨調度屬性:與調度屬性中的調度策略一致,等同於關閉條件調度時的調度設定。

        • 調度類型:配置說明,請參見上文調度類型

      3. 單擊確定。

        完成條件調度設定後,單擊預覽調度運行計劃,可查看條件調度在日曆中命中的日期。

        重要
        • 修改條件調度設定,提交並發布到生產環境後,將對發布時為未運行狀態的執行個體即時生效,對已進入等待已耗用時間的執行個體不生效。

        • 條件調度中使用了跨節點參數判斷類型時,須提供可能的參數取值進行預覽。

    • 調度模板

      選擇調度模板後,可選擇所有在規劃 > 公用定義 > 離線調度模板中配置的條件調度模板,若無符合需求的模板,您可單擊建立調度模板進行建立。模板選擇完成後無法新增調度條件,可單擊每條調度條件後的查看詳情表徵圖,查看條件調度詳情。

      說明

      若當前任務的調度周期為日、周,則引用的條件調度模板中的起調時間參數將生效;若當前任務的調度周期為小時分鐘,則起調時間參數將失效

  6. 單擊確定,完成離線管道調度配置。