DataWorks：補資料執行個體營運

一、 執行個體生命週期與日誌保留

• 執行個體清理：補資料執行個體不支援手動刪除，將在建立約 30 天后由平台自動清理。若任務無需再運行，可凍結其執行個體以停止其調度。

• 保留原則：不同資源群組的執行個體與日誌保留時間長度不同。

  資源群組類型	執行個體保留原則	日誌保留原則
  公用調度資源群組	30 天	7 天
  獨享調度資源群組	30 天	30 天
  Serverless 資源群組	30 天	30 天

• 大日誌清理：對於已完成的執行個體，當其作業記錄超過 3MB 時，平台會每日定時進行清理。

二、 執行個體運行規則

• 嚴格按天依賴：補資料按業務日期串列執行。只有前一天的所有執行個體全部成功後，後一天的執行個體才會開始運行。若任一執行個體失敗，將阻塞後續日期的所有任務。

• 跨天依賴不生效：任務間的跨天依賴關係在補資料時不生效。如果使用者補一段時間（多天）的任務，預設下一天的執行個體會等前一天的所有執行個體都運行完成以後再運行，而非依據原有的跨天依賴關係觸發。

• 指定區間/集合依賴的跨天處理：對於指定區間、集合類型的依賴，如果依賴關係跨天，在產生補資料執行個體時，只會對當天的執行個體加上依賴關係，跨天的依賴會自動忽略。

• 小時/分鐘任務的並發行為：當對某一天的所有執行個體進行補資料時，其運行方式由任務的 “自依賴” 屬性決定：

  • 未設定自依賴：當天內的所有執行個體（如 00:00, 01:00...）允許分組執行，只要各自的上遊依賴滿足即可。

  • 已設定自依賴：當天內的所有執行個體將嚴格串列執行（如 01:00 的執行個體會等待 00:00 的執行個體成功後才運行）。

• 與周期執行個體的衝突：為保障常規調度，周期執行個體的優先順序高於補資料執行個體。若兩者同時運行，請手動終止補資料執行個體。

• 黑名單任務處理：若被加入黑名單的任務是補資料鏈路的中間節點，該任務同樣會執行空跑，可能影響下遊任務的資料產出。

三、 調度資源與優先順序

• 合理配置資源：過多的補資料執行個體或過高的並行度會佔用大量調度資源，可能影響周期任務的正常運行。請按需合理配置。

• 優先順序降級策略：為保障核心業務，平台會根據補資料的業務日期，對任務優先順序進行動態調整：

  • 補昨日 (T-1) 資料：任務優先順序保持不變，由其所屬基準的優先順序決定。

  • 補歷史 (T-2及更早) 資料：任務將自動降級，規則如下：

    • 原 7級、8級 → 降至 3級

    • 原 5級、3級 → 降至 2級

    • 原 1級 → 保持不變

步驟一：進入補資料介面

1. 進入營運中心頁面。

   登入DataWorks控制台，切換至目標地區後，單擊左側導覽列的數據開發與營運 > 營運中心，在下拉框中選擇對應工作空間後單擊進入營運中心。

2. 在左側導覽列單擊运维助手 > 補數據，進入補資料頁面。

步驟二：建立補資料任務

在補資料頁面單擊新建补数据任务，根據業務需求配置補資料任務。

1. 配置基礎資訊。

   平台自動產生預設格式的補資料名稱，您可按需修改。

2. 選擇要補資料的任務。

   您可通過手动选择、按链路、按工作空间、指定任务及所有下游等方式，對您有許可權操作的任務發起補資料，並基於該任務選擇需要補資料的其他任務，不同方式的配置參數存在差異。

   手動選擇

   選擇一個或多個任務作為根任務，再選擇根任務的下遊任務作為本次補資料的任務範圍。該方式相容原當前節點、當前節點及下遊節點以及進階模式補資料方案。

   詳細參數說明如下。

   參數	描述
   方式選擇	選擇手动选择。
   搜索根任务	通過名稱或ID搜尋、添加根任務。您也可單擊批量添加，通過資源群組、調度周期、工作空間等條件搜尋，大量新增多個根任務。 說明 僅支援選擇您已加入工作空間（即您為工作空間成員）的任務。
   已選補資料列表	待執行補資料的任務。列表展示已添加的根任務，您可基於根任務選擇要執行補資料的下遊任務。 說明 支援根據依賴關係的層級篩選下遊任務，根任務的直接下遊任務預設在第一層，以此類推。 最大支援同時執行補資料的根任務數上限為500，總任務數（即根任務及其下遊任務）上限為2000（北京、杭州地區為3000）。 當任務配置最大並行執行個體數後，補資料執行個體也受此限制，與周期執行個體共用並發配額。
   任务黑名单	若某任務無需補資料，可將其添加至黑名單。黑名單中的任務將不參與本次補資料。 說明 僅支援將根任務納入黑名單，若根任務中的子任務不需要補資料，請在已選補資料列表將其移除。 若黑名單中的任務為本次補資料的中間任務（即該任務的上下遊依賴在此次補資料範圍內），為保障下遊任務運行，該任務將空跑（不會真實執行，任務啟動運行後立即返回成功狀態），但可能導致該任務的下遊任務資料產出異常。

   按鏈路選擇

   選擇一個起始任務，以及一個或多個結束任務，通過自動分析，將根任務與結束任務間的所有任務作為本次補資料的任務範圍（包括起始任務和結束任務）。

   詳細參數說明如下。

   參數	描述
   方式選擇	選擇按链路。
   搜尋任務	通過名稱或ID搜尋，添加一個起始任務，以及一個或多個結束任務，平台將根據起始及結束任務分析中間任務（即中間任務為起始任務的直接或間接下遊任務，為結束任務的直接或間接上遊任務）。
   中間工作清單	平台根據起始任務及結束任務自動分析到的中間工作清單。 說明 列表僅展示2000個任務，超過2000的任務不會被展示，但會正常執行。
   任务黑名单	若某任務無需補資料，可將其添加至黑名單。黑名單中的任務將不參與本次補資料。 說明 若黑名單中的任務為本次補資料的中間任務（即該任務的上下遊依賴在此次補資料範圍內），為保障下遊任務運行，該任務將空跑（不會真實執行，任務啟動運行後立即返回成功狀態），但可能導致該任務的下遊任務資料產出異常。

   按工作空間選擇

   選擇一個任務作為根任務，並按照下遊節點所在工作空間確定本次補資料的任務範圍。該方式相容原海量節點模式補資料方案。

   說明

   • 相容原海量節點模式補資料方案。

   • 不支援配置任務黑名單。

   詳細參數說明如下。

   參數	描述
   方式選擇	選擇按工作空间。
   搜索根任务	通過名稱或ID搜尋、添加根任務。平台將對根任務下遊任務所在工作空間的任務進行補資料。 說明 僅支援選擇您已加入工作空間（即您為工作空間成員）的任務。
   包含根節點	定義此次補資料是否包含根任務。
   補資料工作空間	基於根任務下遊任務所在的工作空間，選擇需要對哪些工作空間中的節點進行補資料。 說明 僅支援選擇當前所在地區中的DataWorks工作空間進行補資料操作。 選擇工作空間後，預設對工作空間的所有節點補資料，您可根據需要自訂補資料的黑白名單。
   任务白名单	除選中的工作空間包含的節點外，仍需要進行補資料的節點。
   任务黑名单	選中的工作空間中不需要進行補資料的節點。

   指定任務及所有下遊

   選擇一個根任務後，平台會自動分析，將該任務及所有下遊任務作為本次補資料的任務範圍。

   重要

   僅在補資料任務運行時，才能看到觸發啟動並執行任務，請謹慎使用。

   詳細參數說明如下。

   參數	描述
   方式選擇	選擇指定任务及所有下游。
   搜索根任务	通過名稱或ID搜尋、添加根任務。平台將對根任務及其所有下遊任務進行補資料。 說明 僅支援選擇您已加入的工作空間（即您為工作空間成員）的任務。 若所選根任務沒有下遊任務，則補資料任務提交後將只補當前根任務的資料。
   任务黑名单	若某任務無需補資料，可將其添加至黑名單。黑名單中的任務將不參與本次補資料。 說明 若黑名單中的任務為本次補資料的中間任務（即該任務的上下遊依賴在此次補資料範圍內），為保障下遊任務運行，該任務將空跑（不會真實執行，任務啟動運行後立即返回成功狀態），但可能導致該任務的下遊任務資料產出異常。

   1. 配置補資料運行策略。

      根據業務需要配置補資料任務的已耗用時間、是否分組執行、是否觸發警示、所使用的資源群組等資訊。

      參數說明如下。

      參數	描述說明
      業務日期	您可以為任務指定需要補資料的業務日期。支援手動填寫、AI智能產生和批量填寫方式。 根據您選擇的日期和選項，系統將採用不同的執行策略： 情境一：補歷史資料（業務日期 < 當前日期） 這是最常見的補資料情境。當您選擇的業務日期早於今天時，系統將立即建立並運行該歷史日期的任務執行個體，用於回溯和重新計算過去的資料。 用途：修複歷史資料錯誤、回填遺失資料。 執行方式：立即執行。 情境二：預定未來任務（業務日期 > 當前日期） 如果您選擇一個未來的業務日期，且不勾選任何特殊選項，這相當於建立了一個未來的“一次性”定時任務。 用途：為未來已知的特定日期預先安排一次性的任務運行。 執行方式：到時執行。執行個體會建立並進入等待狀態，直到其對應的業務日期到來時，才會按任務自身的調度配置自動運行。 情境三：立即執行定時時間大於當前時刻的執行個體（勾選立即運行） 立即運行定時時間大於此刻的補數據實例為進階選項。當補資料的業務日期大於當前日期，或業務日期為 T-1 且任務包含定時時間大於當前時刻的執行個體，系統將顯示此選項。勾選後，定時時間大於當前時刻的執行個體將立即執行，而不是等待到對應的定時時間才運行。 用途：提前執行未來日期的任務執行個體、為資料移轉或測試提前準備特定分區的資料，或在補 T-1 資料時讓定時時間尚未到達的小時、分鐘執行個體立即運行。 執行方式：選擇後立即執行。 樣本一（補未來資料）：當前是 2024-03-12，您選擇補 2024-03-17 的資料並勾選立即運行定時時間大於此刻的補數據實例。那麼，任務執行個體會在 2024-03-12 馬上啟動，但它運行時所使用的業務日期參數（例如，影響資料分區將是 2024-03-17。 樣本二（補 T-1 資料）：當前是 2024-03-12 14:30，您選擇補 2024-03-11（T-1）的資料。任務為小時調度（每小時運行一次）。不勾選該選項時，定時時間為 15:00、16:00 等大於 14:30 的執行個體需要等待到各自的定時時間才能執行。勾選立即運行定時時間大於此刻的補數據實例後，所有執行個體將立即執行。 說明 業務日期的概念：在離線計算中，任務通常在今天（T）處理昨天（T-1）的資料。補資料功能就是通過產生指定“業務日期”的執行個體，讓您能精確控制任務處理的是哪一天的資料。 多時間段：如需對多個不連續的日期進行補資料，可單擊【添加】來配置多個時間段。 資源規劃：建議單次補資料的時間跨度不要太長。大量的補資料執行個體會佔用調度資源，可能影響常規周期任務的運行。
      指定周期	指定所選任務需要啟動並執行周期。任務的定時時間在該時間段內，任務才會產生執行個體並執行。您可通過本功能指定小時、分鐘調度任務只運行指定周期的執行個體（即只補指定周期內的資料）。預設為00：00~23：59。 說明 任務的定時時間不在該時間段內，任務不會產生執行個體。若存在大周期依賴小周期的情況（例如，天任務依賴小時任務），可能會產生孤立執行個體，阻塞任務運行。 建議僅在小時、分鐘調度任務需要補指定周期的資料時修改該參數配置。
      分組運行	若對多個業務日期執行補資料時，可指定若干個分組並發運行本次補資料任務。取值如下： 係：平台將按照指定的分組數對業務日期進行拆分，根據分組結果產生多個補資料批次分組並發運行。 否：按照業務日期順序串列執行，前一個補資料執行個體運行結束後下一個補資料執行個體才會運行。 說明 小時、分鐘任務某天執行個體是否分組並發運行，與小時、分鐘任務本身是否設定自依賴有關。 分組數取值範圍為2~10組，多個執行個體分組並發啟動並執行情況如下： 若業務日期的跨度時間少於分組數，則任務分組並發運行。 例如，業務日期為1月11日~1月13日，分組數為4組，則只會產生三個補資料執行個體（每個補資料執行個體對應一個業務日期），三個執行個體分組並發運行。 若業務日期的跨度時間大於分組數，則平台根據業務日期順序兼有串列和並存執行任務。 例如，業務日期為1月11日~1月13日，分組數為2組，則會產生兩個補資料執行個體（其中一個補資料執行個體會包含兩個業務日期，這兩個業務日期對應的任務串列執行），兩個補資料執行個體並存執行。
      补数据告警	設定此次補資料操作是否會觸發警示。 係：滿足觸發條件則產生警示。 否：此次補資料不會觸發警示。
      触发条件	僅當补数据告警選擇係時，設定警示觸發條件： 失败或成功皆告警：無論補資料運行成功或失敗，均會產生警示。 成功告警：補資料成功時才會產生警示。 失败告警：補資料失敗時才會產生警示。
      告警方式	僅當补数据告警選擇係時，才可選擇通過短信与邮件、SMS、郵件等方式接收警示，警示接收人為補資料的發起人。 說明 單擊检验联系方式，即可驗證警示接收人的手機號或郵箱是否已登記。若未登記，可參考查看和設定警示連絡人配置。
      順序	選擇按照業務日期正序或業務日期倒序進行補資料。
      調度資源組	指定運行補資料執行個體使用的資源群組。 跟住任務配置：使用周期任務原本配置的資源群組執行補資料執行個體。 指定调度资源组：使用指定資源群組執行補資料執行個體，避免補資料執行個體與周期執行個體搶佔資源。 說明 請注意配置資源群組網路連通，否則任務可能運行失敗。若指定的資源群組未綁定相關工作空間，則仍將使用原有周期任務的資源群組。 推薦使用Serverless資源群組或獨享調度資源群組計費，在任務高並發運行且無法錯峰啟動並執行情況下，可提供專有的計算資源群組來保障資料快速、穩定的傳輸。
      運行時間段	指定本次產生的補資料任務在什麼時間執行。 跟住任務配置：按照補資料執行個體的定時時間執行。 指定时间段：設定補資料任務均在指定時間段內才會觸發執行，請根據需要補資料的任務量合理設定已耗用時間段。 說明 超過該時間段且處於未運行狀態的任務不會執行，超過該時間段但處於運行狀態的任務會繼續執行。
      計算資源	目前僅支援EMR、Serverless Spark類型的計算資源設定為補資料的計算資源。 請確保映射計算資源存在且可用，否則可能影響任務調度。

3. 配置補資料任務校正策略。

   用於配置補資料校正失敗時是否終止任務執行。平台將對本次補資料任務的基本情況和潛在風險項進行檢測，具體如下：

   • 基本情況：本次補資料涉及的任務數，產生的執行個體數，是否存在節點成環、節點孤立、執行個體無許可權等情況。

   • 風險項檢測：檢測是否存在節點成環和節點孤立，以上情況均會導致任務運行異常，您可設定校正不通過時終止補資料任務運行。

4. 單擊提交，補資料任務建立完成。

步驟三：運行補資料任務

補資料任務到達配置的已耗用時間，且不存在異常情況時，補資料任務將自動觸發運行。

若滿足如下條件，補資料任務將無法運行：

• 補資料任務開啟校正，校正失敗將阻塞任務運行。詳情請參見建立補資料任務：步驟4。

• 補資料操作開啟了擴充程式檢查，檢查未通過將阻塞任務運行。詳情請參見擴充程式概述。

查詢補資料執行個體

在左側導覽列單擊运维助手 > 補數據，進入補資料頁面。

在補資料頁面右側，單擊展開搜索，可通過補數據名稱、運行狀態、任務類型等條件式篩選需要查詢的執行個體，也可快速批量終止正在啟動並執行補資料任務。

查看補資料執行個體狀態

在該地區，您可查看補資料執行個體的相關資訊，主要包括：

• 任務名稱：展示補資料執行個體的名稱。單擊執行個體名稱前的表徵圖，即可顯示該執行個體的運行日期、運行狀態，以及執行個體包含的節點及運行詳情。

• 檢查狀態：當前補資料執行個體的檢查狀態。

• 運行狀態：包括運行成功、運行失敗、等待資源、等待觸發等多種狀態。您可根據異常狀態排查處理相關問題。

• 節點數：補資料執行個體包含的節點數量。

• 業務日期：運行補資料執行個體的日期。

• 最大並行實例數：展示任務配置的最大並行執行個體數，值為不限制或具體數值（1～10000）。該配置用於限制同一任務同時可啟動並執行最大執行個體數，該數值由周期執行個體、補資料執行個體和測試執行個體共用。

• 查看任务分析结果：可查看任務預計的產生執行個體、運行日期及風險校正結果，及時處理阻塞任務。補資料任務分析結果頁面展示以下資訊：補資料名稱、任務分析（以表格形式列出各工作空間名稱及預計產生的執行個體數）、業務日期範圍、指定周期時間範圍，以及風險校正結果（包括成環檢測和孤立任務檢測是否通過）。

• 操作：可對補資料執行個體進行批量终止、批量重跑、復用等操作。

  操作名	說明
  批量终止	可選擇批量終止補資料執行個體中运行中狀態的執行個體，執行此操作後，對應執行個體將被置為運行失敗狀態。 說明 不支援終止運行未運行、運行成功、運行失敗狀態的執行個體
  批量重跑	批量重新運行補資料執行個體。 說明 僅支援重跑運行成功、運行失敗狀態的執行個體。 批量重跑會立即對選中的多個執行個體進行重跑，不會按照執行個體間的依賴關係運行。如需按順序運行，請使用重跑下遊或重新執行補數據操作。
  復用	可選擇複用某次補資料操作的節點集，方便您快速選定需要進行補資料的節點。

管理補資料任務

在該地區，可查看補資料執行個體所包含節點的相關資訊，主要包括：

• 名稱：單擊節點名稱，即可進入節點詳情頁查看更多節點資訊。

• 定時時間：節點任務設定的定時已耗用時間。

• 開始執行時間：節點任務啟動並執行起始時間。

• 結束時間：節點任務啟動並執行結束時間。

• 運行時長：節點任務啟動並執行時間長度。

• 操作：可對補資料節點任務進行查看DAG圖、終止運行、重跑等操作管理。

  操作名		說明
  DAG圖		查看節點的DAG圖，分析節點的上下遊任務。詳情請參見DAG圖功能介紹。
  終止運行		可終止運行运行中狀態的節點，執行此操作後，該節點將被置為運行失敗狀態。 說明 不支援終止運行未運行、運行成功、運行失敗狀態的節點。 該操作將使執行個體運行失敗，並阻塞執行個體的下遊節點的運行。請知悉風險並謹慎操作。
  重跑		重新運行目標節點任務。 說明 僅支援重跑狀態為運行成功和運行失敗的節點。
  更多	重跑下遊	重新運行目標節點任務的下遊節點。
  	置成功	將該節點任務的狀態置為成功。
  	暫停（凍結）	將當前節點置為暫停（凍結）狀態，並停止調度。 說明 等待資源、等待時間、运行中（節點代碼運行中、資料品質檢驗中）狀態不支援凍結操作。
  	解凍	將暫停（凍結）的節點恢複調度。
  	查看血緣	查看節點的血緣關係圖。

對勾選的任務節點，單擊終止運行或重跑，即可批量終止運行或重新運行所選的節點任務。