Dataphin通過各個節點的調度依賴配置結果,有序的運行商務程序中各個節點,保障業務資料有效、適時地產出。本文為您介紹如何配置流批一體任務的離線模式依賴關係。
背景資訊
調度依賴就是節點間的上下遊依賴關係,在Dataphin中,上遊任務節點運行完成且運行成功,下遊任務節點才會開始運行。配置調度依賴後,可以保障調度任務在運行時能取到正確的資料(當前節點依賴的上遊節點成功運行後,Dataphin通過節點啟動並執行狀態識別到上遊表的最新資料已產生,下遊節點再去取數)。避免下遊節點取資料時,上遊表資料還未正常產出,導致下遊節點取數時出現問題。
操作步驟
請參見離線模式配置入口,進入離線模式配置面板。
在離線模式配置面板依賴關係地區,配置依賴關係設定。

參數
描述
開始解析
當節點的任務類型為SQL時,您可以單擊開始解析,系統會解析代碼中的表,並尋找到與該表名相同的輸出名稱。輸出名稱所在的節點作為當前節點的上遊依賴。
如果代碼中引用專案變數或不指定專案,則系統預設解析為生產專案名,以保證產生調度的穩定性。例如,開發專案名稱為
onedata_dev:如果代碼裡指定
select * from s_order,則調度解析依賴為onedata.s_order。如果代碼裡指定
select * from ${onedata}.s_order,則調度解析依賴為onedata.s_order。如果代碼裡指定
select * from onedata.s_order,則調度解析依賴為onedata.s_order。如果代碼裡指定
select * from onedata_dev.s_order,則調度解析依賴為onedata_dev.s_order。
上遊依賴
通過執行如下操作,添加該節點任務調度時依賴的上遊節點:
單擊手動添加上遊。
在建立上遊依賴對話方塊中,您可以通過以下兩種方式搜尋依賴節點:
輸入所依賴節點的輸出名稱的關鍵字進行搜尋節點。
輸入virtual搜尋虛擬節點(每個租戶或企業在初始化時都會有一個根節點)。
說明節點的輸出名稱是全域唯一的,且不區分大小寫。
單擊確定新增。
同時您還可以單擊操作列下的
表徵圖,刪除已添加的依賴節點。當前節點
通過執行如下操作,設定當前節點的輸出名稱,根據需要您可以設定多個輸出名稱,供其他節點依賴使用:
單擊手動添加輸出。
在新增當前節點輸出對話方塊中,填寫輸出名稱。輸出名稱的命名規則請盡量統一,一般命名規則為
產生專案名.表名且不區分大小寫,以標識本節點產出的表,同時其他節點更好地選擇調度依賴關係。例如,開發專案名稱為
onedata_dev,建議將輸出名稱設定為onedata.s_order。如果您將輸出名稱設定為onedata_dev.s_order,則僅限代碼select * from onedata_dev.s_order能解析出上遊依賴節點。單擊確定新增。
同時您還可以對當前節點已添加的輸出名稱執行如下操作:
單擊操作列下的
表徵圖,刪除已添加的輸出名稱。如果該節點已提交或發行,且被任務所依賴(任務已提交),則單擊操作列下的
表徵圖,查看下遊節點。
單擊確定,完成離線模式依賴關係配置。