全部產品
Search
文件中心

Dataphin:配置離線管道任務屬性

更新時間:Jan 25, 2025

對於離線整合任務,若需要周期性調度運行,您需定義該任務的調度相關屬性,包括調度周期、調度依賴、調度參數等。本文為您介紹離線任務屬性與調度的相關內容。

注意事項

  • 系統僅支援調度類型周期性節點的離線整合任務進行調度配置。

  • 依賴關係是兩個或多個節點之間的語義串連關係,同時上遊節點的狀態將影響其他下遊節點的運行狀態。

  • 配置了依賴關係的節點調度規則為:首先,上遊節點運行完成後,才能調度下遊節點。其次,根據節點設定的調度時間判斷是否執行調度。

  • 您在設定的調度時間之前提交的調度配置,會在設定的調度時間之後生效。而在設定的調度時間之後配置的依賴關係,只能間隔一天再產生執行個體。

  • 任務的調度配置僅用於定義任務調度運行時的相關屬性,任務需通過發布流程發布至生產環境後,才會根據該配置進行最終調度。

  • 調度時間僅定義任務預期執行時間,其實際執行時間還受上遊執行情況控制,關於任務執行條件說明,詳情請參見執行個體運行診斷

離線整合任務屬性入口

  1. 在Dataphin首頁,在頂部功能表列選擇研發 > Data Integration

  2. 整合頁面的頂部功能表列選擇專案

  3. 在左側導覽列中選擇整合 > 離線整合,在離線整合列表中,單擊目標任務名稱。

  4. 在該任務頁簽下,單擊右側的屬性,開啟屬性面板。

配置離線任務屬性

在離線任務屬性頁面,您需根據下表配置任務的基本資料與調度相關屬性。

配置項

描述

基本資料

包括任務名、ID、節點類型、開發負責人、營運責任人及描述。

  • 任務名:該任務建立時所填寫的名稱。

  • 節點ID:該節點的唯一標識,將在節點提交後產生。

  • 開發負責人:預設為目前使用者, 可選當前專案所有成員。

    說明

    生產環境中不支援配置開發負責人,將以開發環境所配置資訊為準。

  • 營運責任人:預設為節點的建立人。您也可選擇當前專案中的成員為營運責任人。

調度配置

用於定義任務在生產環境的周期調度方式。

  • 調度類型:定義該任務所產生的樣本在生產環境的運行狀態。

  • 優先順序:該任務的優先順序。建立任務時,會從管理中心 > 研發平台 >節點任務相關設定 > 預設優先順序中擷取當前任務優先順序的預設值。

    說明

    當該任務發布到生產環境或在Basic環境下提交後,編輯任務時優先順序不可修改,需在生產環境下的營運中進行修改。此時優先順序的值為生產環境的最新值。

  • 調度周期:定義該任務的調度頻率,即多久執行一次任務。

  • 條件調度:定義該任務調度的條件。支援設定多組調度條件,系統按照從上往下的順序評分準則,命中條件後即執行相應調度,並終止後續所有條件的評估。未命中任何條件時,執行預設調度配置。

  • 參數配置:用於定義節點調度時使用的參數。Dataphin提供內建參數並支援自訂參數,可供任務在調度時實現參數動態賦值。

    說明

    若您在編輯節點代碼時,在代碼中定義了變數,需在此處對該變數進行賦值。若未定義可無須進行定義。

調度依賴

用於定義該任務的上下遊依賴關係。通過依賴關係有序調度運行上下遊節點,即當上遊節點運行成功後,下遊節點才會啟動運行,保障適時的產出有效業務資料。您可使用自動解析快速設定節點依賴,也可手動添加節點的依賴關係。

回合組態

用於定義任務運行逾時時間和任務運行失敗時的重跑策略,可杜絕因計算任務長時間資源佔用造成資源浪費的同時提高計算任務啟動並執行可靠性。