全部產品
Search
文件中心

Dataphin:配置邏輯表上遊依賴

更新時間:Jan 25, 2025

調度依賴用於配置邏輯表和事實邏輯表任務節點,Dataphin通過各個節點的調度依賴的配置結果,有序的運行商務程序中各個節點,保障業務資料有效、適時地產出。本文為您介紹如何配置邏輯表和事實邏輯表的調度依賴配置。

操作步驟

  1. 在Dataphin首頁,單擊頂部功能表列研發->資料開發

  2. 按照以下操作指引,進入調度配置資訊頁面。

    選擇專案(Dev-Prod 模式需要選擇環境)->單擊邏輯表->選擇需要配置任務調度的邏輯表任務->單擊調度配置

    image

  3. 調度屬性地區,配置邏輯表上遊依賴。

    image.png

    1. 上遊依賴

      • 自動解析

        • 邏輯表上遊依賴,您可以單擊自動解析,Dataphin將根據邏輯表的計算邏輯自動解析擷取上遊任務和輸出表。解析後將在上遊依賴列表中添加解析出來的全部依賴表。您可查看解析出的依賴表詳情或進行編輯和刪除操作。更多資訊,請參見自動解析流程

        說明
        • 自動解析出的輸入表如果存在多個產出任務, 預設將所有產出任務作為上遊依賴。

        • 解析出的所有依賴表,依賴周期預設為本周期

      • 添加根節點

        若任務無對應上遊依賴時,您可單擊添加根節點作為當前任務的上遊依賴

        說明

        每個租戶或企業在初始化時都會有一個以virtual_root_node開頭的虛擬根節點。

      • 添加本節點上周期

        即該節點任務的調度需要依賴於本節點上一周期(前1天或前n小時)運行成功。

      • 添加依賴

        自動解析無法解析出調度依賴關係或自動解析產生的上遊依賴配置與實際應用不符時,您可手動單擊+添加依賴添加節點的上遊依賴。

        重要

        添加依賴時,物理節點和邏輯表節點的依賴周期依賴策略自動使用系統推薦的最佳設定。若您需要修改,您可以單擊依賴列表image.png編輯單個依賴的依賴周期依賴策略

        • 依賴周期:上遊任務執行個體的定時已耗用時間(起調時間)區間範圍。 一般情況下為當日,即區間範圍為當日[00:00~24:00)。

        • 依賴策略:某些依賴周期內,可能存在多個執行個體,需要指定依賴策略。 只有一個執行個體時,依賴策略可以設定為任意選項。為了相容上遊任務可能的調度設定修改,僅支援相對路徑策略。

        跨周期依賴的預設策略,請參見附錄:跨周期依賴預設策略

        • 添加物理節點依賴

          image.png

          地區

          說明

          搜尋與篩選區域

          您可在搜尋與篩選區域中根據支援的篩選條件式篩選您所需依賴的物理表節點。支援的篩選條件包括本專案專案節點類型以及輸入節點名稱輸出表名進行篩選。

          節點列表

          節點列表為您展示可依賴的物理節點,您可根據您的需求進行選擇。

        • 添加邏輯表節點

          image.png

          地區

          說明

          搜尋與篩選區域

          您可在搜尋與篩選區域中根據支援的篩選條件式篩選您所需依賴的邏輯表節點。支援的篩選條件包括邏輯表類型所屬的板塊以及輸入邏輯表名進行篩選。

          節點列表

          節點列表為您展示可依賴的邏輯表節點,您可根據您的需求進行選擇。

          若您需依賴邏輯表中某些欄位,非整個邏輯表。您可在節點列表的依賴欄位欄單擊image..png可查看邏輯表所擁有的表欄位,您可根據您的需求進行選擇。

    2. 本節點輸出

      系統將為您所建立的節點自動產生輸出名,若您需添加多個輸出名,您可單擊自動產生輸出名

      重要

      系統使用輸出名構建調度依賴圖,系統將自動產生輸出名,不建議人工幹預設定。

      image..png

  4. 單擊確定,即可完成調度依賴配置。

附錄:跨周期依賴預設策略

本節點調度周期

上遊節點

上遊節點調度周期

上遊節點是否自依賴

預設依賴周期

本節點(自依賴)

-



上周期(前 1 日)

本節點(自依賴)

-



上周期(前 1 日)

本節點(自依賴)

-



上周期(前 1 日)

小時

本節點(自依賴)

-



最近 24 小時

分鐘

本節點(自依賴)

-



最近 24 小時

日/周/月

非本節點



本周期(當日)

日/周/月

非本節點

小時/分鐘

本周期(當日)

日/周/月

非本節點

小時/分鐘

本周期(當日)

月/周/日/小時/分鐘

非本節點

月/周

本周期(當日)

月/周/日/小時/分鐘

非本節點

本周期(當日)

月/周/日/小時/分鐘

非本節點

本周期(當日)

小時/分鐘

非本節點



本周期(當日)

小時/分鐘

非本節點

小時/分鐘



本周期(當日)