如果您的商務程序不需要周期性運行,但又需要將任務發布至生產環境運行,則可以建立手動商務程序,本文為您介紹如何建立手動商務程序,並將其發布到生產環境。
使用說明
手動商務程序僅支援手動觸發執行,不支援自動調度。
手動商務程序各節點間的連線僅表示執行順序,並非設定調度依賴。
手動商務程序與周期工作流程存在部分差異,詳情請參見功能說明。
設計手動商務程序
建立商務程序
進入DataWorks工作空間列表頁,在頂部切換至目標地區,找到目標工作空間,單擊操作列的,進入Data Studio。
在左側導覽列單擊
,然後在手動商務程序右側單擊,自訂手動商務程序名稱,單擊確認進入手動商務程序編輯頁面。
編排節點
在商務程序編輯頁面頂部單擊建立內部節點,選擇需要的內部節點類型,自訂內部節點名稱,單擊確認建立,對應節點即會出現在畫布中。
按需規劃手動商務程序。
進行商務程序設計時,當商務程序中節點個數較多時可能會影響實際運行,建議單個商務程序下節點總數不要超過100個,商務程序中最多建立200個節點。
配置商務程序參數
如需在商務程序內部所有節點間共用參數,可在畫布右側的調度配置 > 調度參數中,單擊添加參數進行設定。在節點代碼中通過
${參數名}格式引用該參數。說明與工作流程參數的優先順序不同,商務程序內部節點若配置了同名調度參數,其優先順序會低於商務程序調度參數。
優先順序與並發數(進階配置)
當多個商務程序或任務同時被觸發,導致系統資源出現瓶頸時,您可以通過優先順序和加權策略實現智能化的資源調度,確保最重要的任務優先執行。
保障核心業務:為核心業務的商務程序設定一個更高的優先順序,使其總能優先於其他非核心商務程序運行。
縮短關鍵流程耗時:在同一個協調流程執行個體內部,通過優先順序加權策略,可以影響節點的執行順序。例如,使用向下加權策略,可以讓處於關鍵路徑上、擁有更多上遊依賴的節點獲得更高的動態權重,從而優先執行,有效縮短整個商務程序的運行時間長度。
配置項
功能說明
優先順序
定義協調流程執行個體在調度隊列中的絕對優先順序別。可選層級為1、3、5、7、8(數字越大,優先順序越高)。高優先順序的任務/商務程序總會優先於低優先順序的任務/商務程序擷取調度資源。
優先順序加權策略
定義同一優先順序下,商務程序內部各節點(Task)權重的動態計算方式。權重越高的節點將優先獲得執行機會。
不加權:所有節點的權重均為固定基準值。
向下加權:節點的權重會動態調整,其上遊依賴的節點越多,權重越高。此策略有助於DAG(有向非循環圖)中關鍵路徑上的節點優先執行。權重計算方式為:
權重初始值 + 其上遊所有節點的優先順序之和。
最大並行執行個體數
控制此商務程序在同一時間可啟動並執行最大執行個體數量,用於並發控制和資源保護。當運行中的執行個體數達到上限時,後續被觸發的新執行個體將進入等待狀態。支援設定不限制或自訂一個最大值(上限100,000)。
說明設定上限時若超過資源群組最大可承受能力,則實際的並發瓶頸將由資源群組的物理上限決定。
DataWorks的優先順序系統遵循層級覆蓋規則:
運行時指定>節點級配置>商務程序級配置。商務程序級配置 (基準):在商務程序的調度策略中配置,作為所有節點的預設設定。
節點級配置 (局部):在商務程序內部單個節點的調度配置 > 調度策略中為特定節點單獨設定更高優先順序,會覆蓋商務程序層級的設定。
運行時指定 (臨時):在營運中心手動運行時,通過運行時重設優先順序開關指定的配置。該配置優先順序最高,僅對當次運行生效,不修改任何永久配置。
開發商務邏輯
DataWorks將引擎能力進行封裝,您可以基於引擎節點進行資料開發,無需接觸複雜的引擎命令列,同時您也可以結合平台提供的通用類型節點進行複雜邏輯處理。
在商務程序內,您可以基於同步和計算節點等進行具體的商務程序開發。
發布手動商務程序
標準模式工作空間下,資料開發介面僅作為任務節點的開發與測試頁面,如果您需要將代碼發布到生產環境,您可以直接發布該商務程序,從而批量發布該商務程序下的節點。
單擊手動商務程序頂部的運行,進入商務程序運行頁面,測試各節點運行是否成功。
在商務程序運行頁面,單擊頂部的返回,然後進行發布。
單擊開始發布生產後,您可選擇增量發布或全量發布。
增量發布:可選擇部分內部節點任務進行發布。
全量發布:全量發布手動商務程序及所有內部節點任務。
在發布流程中,依次完成發布包構建、開發檢查器、發布到開發環境、生產檢查器和發布到生產環境步驟。
生產環境運行手動商務程序
任務發布完成後,您可以單鍵發行介面的去營運,前往營運中心查看。
說明您也可以前往DataWorks工作空間列表頁,在頂部切換至目標地區,找到已建立的工作空間,單擊操作列的,進入資料營運,然後在左側導覽列找到手動任務營運。
單擊目標手動任務操作列的運行,來運行手動商務程序。
其他動作
複製手動商務程序
您可通過複製功能,快速複製現有手動商務程序以建立新的商務程序。複製內容包括商務程序及其內部節點(含代碼、調試配置、調度配置),以及節點間的依賴關係和商務程序本身的調度配置。
在左側手動商務程序中,按右鍵需要複製的手動商務程序名稱。
在快顯功能表中選擇複製,進入複製彈窗。
在彈窗中修改手動商務程序名稱和路徑(或保留預設值),單擊確認開始複製。
在複製過程中,可通過彈窗查看複製的當前進度、期間、完成節點數等詳細資料。
複製完成後,您可以在手動商務程序中查看新產生的手動商務程序。
版本管理
系統支援通過版本管理功能將手動商務程序還原到指定的歷史版本,同時還提供版本查看與對比功能,方便您分析差異並做出調整。
在左側手動商務程序中,雙擊目標手動商務程序名稱,進入商務程序畫布。
單擊商務程序畫布右側的版本,在版本頁面查看和管理開發記錄及發布記錄資訊。
查看版本:
您可以在開發記錄或發布記錄頁簽中,找到需要查看的手動商務程序版本。
單擊操作欄中的查看,在詳情頁中即可查看手動商務程序代碼以及調度配置資訊。
說明調度配置資訊支援指令碼模式和可視化模式查看,您可在調度配置頁簽右上方切換查看模式。
對比版本:
您可以在開發記錄或發布記錄頁簽中,對不同版本的手動商務程序進行對比。下面以開發記錄為例,為您示範對比操作。
開發或發布環境對比:在開發記錄頁簽中,勾選兩個版本,單擊上方的選擇對比按鈕,即可對比不同版本的手動商務程序代碼資訊和調度配置資訊。
開發與發布或構建環境對比:
在開發記錄頁簽中,定位到手動商務程序的某個版本。
單擊操作欄中的對比按鈕,在彈出的請選擇對比的內容視窗中選擇與發布記錄或構建記錄中的某個版本進行對比。
還原版本:
僅支援將開發記錄中的手動商務程序還原到指定的歷史版本。您可在開發記錄頁簽中找到目標版本,單擊操作欄中的還原按鈕,即可將該手動商務程序資訊還原至目標版本。
說明還原時,系統會基於目標版本進行恢複,並產生一條新的版本記錄。