Dataphin通過各個節點的調度依賴配置結果,有序的運行商務程序中各個節點,保障業務資料有效、適時地產出。本文為您介紹周期離線管道調度依賴配置說明。
操作步驟
在Dataphin首頁的頂部功能表列,選擇研發 > Data Integration。
在整合頁面頂部功能表列選擇專案(Dev-Prod模式需要選擇環境)。
單擊左側導覽列的離線整合,選擇並單擊需要配置通道的離線管道。
在右側導覽列單擊屬性,開啟屬性面板。
在調度依賴地區,配置整合任務調度依賴參數。
上遊依賴
自動解析
整合任務上遊依賴,您可以單擊自動解析,Dataphin將根據整合任務自動解析擷取上遊任務和輸出表。解析後將在上遊依賴列表中添加解析出來的全部依賴表。您可查看解析出的依賴表詳情或進行編輯和刪除操作。更多資訊,請參見自動解析流程。
說明自動解析出的輸入表如果存在多個產出任務, 預設將所有產出任務作為上遊依賴。
解析出的所有依賴表,依賴周期預設為本周期。
添加根節點
若任務無對應上遊依賴時,您可單擊添加根節點作為當前任務的上遊依賴。
說明每個租戶或企業在初始化時都會有一個以virtual_root_node開頭的虛擬根節點。
添加本節點上周期
即該節點任務的調度需要依賴於本節點上一周期(前1天或前n小時)運行成功。
添加依賴
若自動解析無法解析出調度依賴關係或自動解析產生的上遊依賴配置與實際應用不符時,您可手動單擊+添加依賴添加節點的上遊依賴。
重要添加依賴時,依賴周期與依賴策略自動使用系統推薦的最佳設定。若您需要修改,您可以單擊依賴列表
編輯單個依賴的依賴周期和依賴策略。依賴周期:上遊任務執行個體的定時已耗用時間(起調時間)區間範圍。 一般情況下為當日,即區間範圍為當日[00:00~24:00)。
依賴策略:某些依賴周期內,可能存在多個執行個體,需要指定依賴策略。 只有一個執行個體時,依賴策略可以設定為任意選項。為了相容上遊任務可能的調度設定修改,僅支援相對路徑策略。
跨周期依賴的預設策略,請參見附錄:跨周期依賴預設策略。
添加依賴-物理節點
您可以在節點列表中選擇一個或多個物理節點,並支援根據本專案、專案、節點類型、節點名稱關鍵字或輸出表名關鍵字對所需依賴的物理表節點進行搜尋篩選。
添加依賴-邏輯表節點
您可在節點列表中選擇一個或多個邏輯表節點,並支援根據邏輯表類型、所屬的板塊以及邏輯表名對所需依賴的邏輯表節點進行搜尋篩選。
若您需依賴邏輯表中某些欄位,非整個邏輯表。您可在節點列表的依賴欄位欄單擊
可查看邏輯表所擁有的表欄位,您可根據您的需求進行選擇。添加依賴-跨租戶節點
您可在節點列表中選擇一個或多個跨租戶節點,支援根據租戶、節點類型和節點名稱關鍵字對所需依賴的跨租戶節點進行搜尋篩選。
本節點輸出
系統將為您所建立的節點自動產生輸出名,若您需添加多個輸出名,您可單擊自動產生輸出名。
重要系統使用輸出名構建調度依賴圖,系統將自動產生輸出名,不建議人工幹預設定。
單擊確定,即可完成調度依賴配置。
附錄:跨周期依賴預設策略
本節點調度周期 | 上遊節點 | 上遊節點調度周期 | 上遊節點是否自依賴 | 預設依賴周期 |
月 | 本節點(自依賴) | - | | 上周期(前 1 日) |
周 | 本節點(自依賴) | - | | 上周期(前 1 日) |
日 | 本節點(自依賴) | - | | 上周期(前 1 日) |
小時 | 本節點(自依賴) | - | | 最近 24 小時 |
分鐘 | 本節點(自依賴) | - | | 最近 24 小時 |
日/周/月 | 非本節點 | 日 | | 本周期(當日) |
日/周/月 | 非本節點 | 小時/分鐘 | 否 | 本周期(當日) |
日/周/月 | 非本節點 | 小時/分鐘 | 是 | 本周期(當日) |
月/周/日/小時/分鐘 | 非本節點 | 月/周 | 是 | 本周期(當日) |
月/周/日/小時/分鐘 | 非本節點 | 月 | 否 | 本周期(當日) |
月/周/日/小時/分鐘 | 非本節點 | 周 | 否 | 本周期(當日) |
小時/分鐘 | 非本節點 | 日 | | 本周期(當日) |
小時/分鐘 | 非本節點 | 小時/分鐘 | | 本周期(當日) |