DataWorks：周期依賴配置

節點輸出

節點輸出即本節點輸出名稱，是其他節點與本節點建立依賴關係的媒介（標識符），而不是節點實際產出的資料。其他節點通過本節點的輸出名稱找到本節點，從而將本節點設定為上遊依賴。

DataWorks會為每個節點自動產生兩個輸出名：

• 隨機ID：全域唯一，且不支援修改和刪除。

• projectName.nodeName：帶節點名的輸出，可修改。節點名稱變更後，此輸出名不會自動更新。

同時，DataWorks也支援通過手動添加或者從代碼解析輸入輸出，其中不同的節點類型對代碼解析的支援情況可參考：代碼解析結果對比。

節點輸入

節點輸入即本節點依賴的上遊節點，可通過指定節點的輸出名稱（推薦）、節點名稱或者節點ID指定。

其中節點ID需要上遊節點提交至生產環境才會產生。

1. 通過代碼解析表血緣設定節點依賴

代碼解析是通過解析節點代碼中的表血緣，自動化佈建節點的輸出名稱和依賴的上遊節點。解析後，節點產出的表將被自動添加為projectname.tablename格式的節點輸出；節點查詢的表將被自動添加為節點輸入。

例如，SELECT一張表，該表將被自動解析為本節點依賴的上遊；INSERT一張表，該表將被自動解析為本節點的輸出。各類型節點自動解析支援的關鍵字，詳情請參見各類型節點自動解析情境。

• 配置依賴

  代碼解析支援手動從代碼中解析輸入輸出和提交前自動解析兩種方式。兩者原理一致，提交前自動解析會在代碼提交時自動解析輸入輸出，並提醒您掛載依賴。

  例如：當前在工作空間yunwan_lingyi下有一個MaxCompute節點mc2，此節點需依賴MaxCompute節點mc1的輸出表dws_user_info_all_di，節點mc2的代碼內容如下：

  INSERT OVERWRITE TABLE ads_user_info_1d PARTITION (dt='${workflow.var}')
  SELECT uid
    , MAX(region)
    , MAX(device)
    , COUNT(0) AS pv
    , MAX(gender)
    , MAX(age_range)
    , MAX(zodiac)
  FROM dws_user_info_all_di
  WHERE dt = '${workflow.var}'
  GROUP BY uid;

  單擊從代碼中解析輸入輸出後，解析出本節點的輸入為dws_user_info_all_di表，並且自動匹配到上遊節點的輸出表名和上遊節點名稱：

  上遊節點輸出名	上遊節點輸出表名	上遊節點名稱	節點ID	工作空間	責任人	調度周期	添加方式	最近運行情況	操作
  yunwan_lingyi.dws_user_info_all_di	yunwan_lingyi.dws_user_info_all_di	mc1	-	測試空間	lingyi01_testcloud_com	日	代碼解析	暫無資料	刪除

  同時，解析出本節點的輸出為ads_user_info_1d表，對應解析情況如下：

  輸出名	輸出表名	下遊節點名稱	責任人	添加方式	下遊節點影響基準	操作
  ide.505487297_out	-	-	-	系統預設添加	-	刪除
  ide.mc2	-	-	-	手動添加	-	刪除
  yunwan_lingyi.ads_user_info_1d	yunwan_lingyi.ads_user_info_1d	-	-	代碼解析	-	刪除

  至此，節點mc2完成與節點mc1的依賴配置。

• 修改代碼解析的依賴關係

  當代碼解析的依賴關係不符合預期，或存在不支援調度依賴的情境（非周期性調度產出資料的表）需手動刪除依賴關係時，您可參考以下內容修改自動解析的依賴關係。

  操作	描述
  手動刪除解析結果	在依賴的上遊節點列表中中刪除不符合預期的輸入，執行刪除操作，並重新解析。刪除後，自動添加相應注釋至代碼中，防止下次解析再次添加： --@exclude_input=刪除輸入 --@exclude_output=刪除輸出
  手動添加輸入輸出	在代碼編輯框中右擊表名，選擇添加輸入或者添加輸出，添加後，自動添加相應注釋至代碼中 --@extra_output=添加輸出 --@extra_input=添加輸入 或者也可以參考通過調度配置介面手動添加上遊節點依賴或者通過商務程序面板拉線設定節點依賴的方式來添加依賴。

  重要

  DataWorks不支援直接刪除已存在下遊依賴的節點輸出，直接刪除將導致下遊任務執行或取數異常。建議您先調整下遊業務，在下遊節點移除該上遊依賴，再在上遊節點刪除該節點輸出。

• 不納入自動解析的情境

  DataWorks中的暫存資料表（即工作空間表管理中定義的固定格式的表。例如，t_開頭的表），不會被自動解析為本節點的輸出或依賴的上遊節點。

• 自動解析使用注意事項

  使用自動解析設定依賴關係時，需保證節點輸出在當前地區下唯一。在DataWorks開發情境下，使用自動解析需注意以下問題：

  • 節點建立：節點預設內建一個同名的節點輸出，若同一個工作空間存在同名節點，需手動修改其中一個節點的節點輸出。

  • 代碼開發：自動解析會將節點的產出表作為節點輸出。若同一個工作空間中，兩個調度節點往同一張表插入資料，自動解析情境下將導致其中一個節點產生報錯，詳情請參見多個節點往同一張表寫資料，自動解析報錯節點輸出名相同。

  • 依賴配置 ：對於使用SQL任務加工離線同步任務的產出表的情境，為了方便SQL任務對離線同步任務產出表進行加工時，可通過血緣自動解析快速依賴離線同步任務，您需手動將離線同步節點的產出表配置為節點輸出，或者將離線同步任務產出表名作為離線同步任務節點名（平台會自動建立與節點名相同的節點輸出），否則下遊SQL節點提交時可能報錯當前節點依賴的父節點輸出名${projectname.tablename}不存在，不能提交本節點，請確保擁有該輸出名的父節點已被提交。

2. 通過調度配置介面手動添加上遊節點依賴

在調度配置->調度依賴->同周期依赖配置介面，通過輸入某節點的節點輸出/節點名稱/節點ID，手動添加依賴的上遊節點。節點名稱容易出現重複，推薦使用節點輸出進行依賴掛載。

3. 通過商務程序面板拉線設定節點依賴

在商務程序的DAG面板使用拉線方式設定依賴關係時，DataWorks將自動為下遊節點添加上遊節點_out格式的輸出，形成節點依賴。

1. 就近依賴（標準同周期依賴）

• 含義：這是最常用、最基礎的同周期依賴方式。它遵循“就近掛載”原則，下遊執行個體會自動關聯並等待上遊同業務周期內，最新產出的一個執行個體，無需額外配置（有少量例外情況，可參見複雜依賴情境調度配置原則與樣本）。

• 適用情境：

  • 標準的日/周/月度 ETL 流程。

  • 上下遊任務為一對一的依賴關係，例如一個日任務依賴另一個日任務。

2. 指定區間（依賴一個連續的時間視窗）

當簡單的“一對一”依賴無法滿足需求時，例如下遊需要彙總上遊一個時間段內的資料，您可以使用指定區間進行更靈活的配置。

• 配置方式：

  1. 選擇依賴節點後，單擊操作列的配置，選擇依賴類型為指定區間。

  2. 設定以本節點自身定時時間為基準的左右位移量。允許的最位移區間最大範圍是-1440和1440，單位：分鐘。

• 含義：允許下遊任務依賴一個連續時間區間內的所有上遊執行個體。這個區間是一個相對於下遊任務自身定時已耗用時間而動態計算的“滑動視窗”，只允許選擇運行當天和前一天限定區間範圍內的執行個體。

• 核心邏輯樣本：
  一個小時任務下遊，依賴另一個小時任務上遊，並配置區間為 [-2h, +2h]。
  

  • 當下遊 12:00 的執行個體運行時，它會依賴上遊 10:00 到 14:00 這個區間內的所有執行個體。

  • 當下遊 13:00 的執行個體運行時，依賴視窗則會自動“滑動”到 11:00 到 15:00。

• 適用情境：

  • 跨時區資料匯總：中國（UTC+8）的天任務，需匯總印度（UTC+5:30）全天24個小時任務的資料。可配置區間為 [-3h, 21h] 來精確覆蓋印度當地業務日對應的物理時間視窗。

  • 跨自然日視窗彙總：一個淩晨執行的天任務，需要加工的資料範圍是從昨天下午到今天淩晨。例如，可配置區間 [-12h, 4h] 來依賴上遊從昨天12:00到今天04:00的小時執行個體。

3. 指定集合（依賴一組離散的固定執行個體）

當您的依賴邏輯與上遊某些特定的、離散的產出執行個體相關時，“指定集合”是最佳選擇。

• 配置方式：

  1. 選擇依賴節點後，單擊操作列的配置，選擇依賴類型為指定集合。

  2. 設定以本節點自身定時時間為基準的左右位移量。允許的最位移區間範圍是-1440和1440，單位：分鐘。

• 含義：允許下遊任務依賴一個固定的、離散的上遊執行個體集合。與“指定區間”的滑動視窗不同，這個執行個體集合是靜態，對於所有下遊執行個體都完全相同。

• 核心邏輯樣本：
  下遊任務配置依賴上遊的 {02:00, 06:00, 10:00} 這三個執行個體。無論是下遊的 08:00 執行個體，還是 12:00 的執行個體，都會等待這三個特定執行個體全部成功後才運行。
  

• 適用情境：

  依賴關鍵裡程碑：下遊任務的啟動條件是上遊在一天中的幾個關鍵時間點（如早、中、晚快照）的資料準備就緒。