全部產品
Search
文件中心

Dataphin:離線模式依賴關係配置

更新時間:Jan 25, 2025

Dataphin通過各個節點的調度依賴配置結果,有序的運行商務程序中各個節點,保障業務資料有效、適時地產出。本文為您介紹如何配置流批一體任務的離線模式依賴關係。

背景資訊

調度依賴就是節點間的上下遊依賴關係,在Dataphin中,上遊任務節點運行完成且運行成功,下遊任務節點才會開始運行。配置調度依賴後,可以保障調度任務在運行時能取到正確的資料(當前節點依賴的上遊節點成功運行後,Dataphin通過節點啟動並執行狀態識別到上遊表的最新資料已產生,下遊節點再去取數)。避免下遊節點取資料時,上遊表資料還未正常產出,導致下遊節點取數時出現問題。

操作步驟

  1. 請參見離線模式配置入口,進入離線模式配置面板。

  2. 在離線模式配置面板依賴關係地區,配置依賴關係設定。

    image

    參數

    描述

    開始解析

    當節點的任務類型為SQL時,您可以單擊開始解析,系統會解析代碼中的表,並尋找到與該表名相同的輸出名稱。輸出名稱所在的節點作為當前節點的上遊依賴。

    如果代碼中引用專案變數或不指定專案,則系統預設解析為生產專案名,以保證產生調度的穩定性。例如,開發專案名稱為onedata_dev

    • 如果代碼裡指定select * from s_order,則調度解析依賴為onedata.s_order

    • 如果代碼裡指定select * from ${onedata}.s_order,則調度解析依賴為onedata.s_order

    • 如果代碼裡指定select * from onedata.s_order,則調度解析依賴為onedata.s_order

    • 如果代碼裡指定select * from onedata_dev.s_order,則調度解析依賴為onedata_dev.s_order

    上遊依賴

    通過執行如下操作,添加該節點任務調度時依賴的上遊節點:

    1. 單擊手動添加上遊

    2. 建立上遊依賴對話方塊中,您可以通過以下兩種方式搜尋依賴節點:

      • 輸入所依賴節點的輸出名稱的關鍵字進行搜尋節點。

      • 輸入virtual搜尋虛擬節點(每個租戶或企業在初始化時都會有一個根節點)。

      說明

      節點的輸出名稱是全域唯一的,且不區分大小寫。

    3. 單擊確定新增

    同時您還可以單擊操作列下的fagaga表徵圖,刪除已添加的依賴節點。

    當前節點

    通過執行如下操作,設定當前節點的輸出名稱,根據需要您可以設定多個輸出名稱,供其他節點依賴使用:

    1. 單擊手動添加輸出

    2. 新增當前節點輸出對話方塊中,填寫輸出名稱。輸出名稱的命名規則請盡量統一,一般命名規則為產生專案名.表名且不區分大小寫,以標識本節點產出的表,同時其他節點更好地選擇調度依賴關係。

      例如,開發專案名稱為onedata_dev,建議將輸出名稱設定為onedata.s_order。如果您將輸出名稱設定為onedata_dev.s_order,則僅限代碼select * from onedata_dev.s_order能解析出上遊依賴節點。

    3. 單擊確定新增

    同時您還可以對當前節點已添加的輸出名稱執行如下操作:

    • 單擊操作列下的fagaga表徵圖,刪除已添加的輸出名稱。

    • 如果該節點已提交或發行,且被任務所依賴(任務已提交),則單擊操作列下的表徵圖,查看下遊節點。

  3. 單擊確定,完成離線模式依賴關係配置。