全部產品
Search
文件中心

DataWorks:補資料常見問題

更新時間:May 26, 2026

本文為您介紹補資料的相關問題。

說明

推薦您優先閱讀使用指南補資料執行個體營運

補資料功能說明

補資料支援補歷史一段時間區間的資料或者需要補未來一段時間的資料時,可以選擇補資料功能。節點使用的調度參數會根據補資料選擇的業務時間自動替換為對應的值。將MySQL增量資料寫入MaxCompute對應的時間分區中的樣本如下。在離線同步任務中,調度參數 bizdate=$bizdate 需在三處協同配置:1)資料來源的資料過濾條件中使用 STR_TO_DATE('${bizdate}','%Y%m%d') <= gmt_modify_time AND gmt_modify_time < DATE_ADD(STR_TO_DATE('${bizdate}','%Y%m%d'), interval 1 day) 實現增量過濾;2)資料去向的分區資訊設為 pt=${bizdate},清理規則選擇寫入前清理已有資料(Insert Overwrite);3)調度配置面板的參數欄填寫 bizdate=$bizdate,產生執行個體方式選擇T+1次日產生。三處的 ${bizdate} 取值保持一致,確保每次調度僅同步對應業務日期的增量資料。

為什麼小時分鐘任務補資料選擇了分組運行但實際不生效?

  • 問題現象

    小時分鐘任務補資料選擇了分組運行但實際不生效。

  • 產生原因

    補資料分組運行控制是,補一段以天為維度業務日期區間的資料以及幾天的執行個體是否同時執行。此功能不控制小時、分鐘任務當天的所有執行個體是否並發執行,當天小時分鐘任務的執行個體是否並發執行與您小時分鐘任務是否設定了自依賴有關。自依賴使用說明,請參見情境2:依賴上一周期的結果時,如何配置調度依賴

  • 解決措施

    • 選擇不分組運行,一個補資料執行個體下的多個業務日期串列執行,即上一個業務日期的補資料執行個體執行完,下一個業務日期的補資料執行個體才會執行。

    • 選擇分組運行,您可以設定同時使用2組、3組、4組或5組等多個補資料執行個體進行補資料,即多個補資料執行個體下有多個業務日期分組運行執行。

    即時情境:假設小時或分鐘任務選擇補一個星期資料。

    • 如果小時、分鐘任務設定了自依賴,那麼小時、分鐘節點的執行個體會按照時間順序依次執行。

    • 如果小時節點任務沒有設定自依賴,那麼小時、分鐘節點每天的執行個體會一併執行。

為什麼補資料選擇業務時間後不運行,執行個體顯示黃色,執行個體狀態顯示等待時間?

  • 問題現象

    補資料選擇業務時間後不運行,執行個體顯示黃色,執行個體狀態顯示等待時間。

  • 產生原因

    如果您補資料選擇的業務日期執行個體,其定時時間為未來時間時,會出現等待時間的情況。

  • 解決措施

    您可以選擇立即執行未來時間的資料。在補資料對話方塊中,勾選立即運行定時時間大於此刻的補資料執行個體選項。

    說明
    • 如果您補資料選擇的業務時間(執行個體定時時間)為未來時間,當不勾選此選框時,執行個體會出現等待時間的情況(執行個體顯示黃色,執行個體狀態為等待時間)。

    • 如果您補資料選的業務時間(執行個體定時時間)為未來時間,當勾選此選框時,執行個體會馬上執行。

為什麼補資料選擇業務時間昨天和今天,也會出現等待時間的情況?

  • 問題現象

    補資料選擇業務時間昨天和今天,會出現等待時間的情況。

  • 產生原因

    從平台維度來看,業務時間昨天的資料,今天調度運行。補資料補對應業務時間的資料相當於重新執行了一次對應業務時間的周期執行個體。

    如果您需要過濾今天的周期執行個體,您需要在周期執行個體面板選擇過濾業務時間昨天的執行個體,執行個體的定時時間為今天。在營運中心周期任務營運 > 周期執行個體頁面,將業務日期篩選為昨天,即可查看對應業務日期的周期執行個體記錄及其運行狀態。

為什麼補資料選擇補0點~1點產生了多個執行個體?

  • 問題現象

    補資料選擇補0點~1點產生了多個執行個體。

  • 產生原因

    補資料產生多少個執行個體與您節點配置的定時時間有關。

    • 假設小時任務設定0:00開始至23:59分每小時調度一次。如果選擇補資料區間為00:00~1:00,那麼將產生兩個執行個體,執行個體定時時間分別為0:00,1:00。

    • 假設分鐘任務設定0:00開始至23:59分每30分鐘調度一次。如果選擇補資料區間為00:00~1:00,那麼將產生三個執行個體,執行個體定時時間分別為0:00,00:30,1:00。

為什麼進行大量補資料操作時,會出現等待資源情況(執行個體顯示黃色,執行個體狀態為等待資源)?

  • 問題現象

    進行大量補資料操作時,出現等待資源情況(執行個體顯示黃色,執行個體狀態為等待資源)。

  • 產生原因

    資源群組可執行任務最大並發數有上限,如果當前任務執行並發數超過資源群組所支援的最大並發數時,將會出現等待資源的情況。

    說明

    等待資源排查,詳情請參見等待資源

為什麼補資料報錯調起的節點已耗用時間不在所選業務時間範圍內?

  • 問題現象

    補資料報錯調起的節點已耗用時間不在所選業務時間範圍內。

  • 產生原因

    小時分鐘任務需要選擇具體的調度時間區間才可以正常產生補資料執行個體並執行。在補資料彈窗中,選擇已耗用時間區間設定為 00:00 ~ 01:00,但被調起的節點實際調度已耗用時間不在該區間內,因此頁面頂部出現警示提示"調起的節點已耗用時間不在所選業務時間範圍之內",導致補資料失敗。需將已耗用時間區間調整為覆蓋目標節點調度時間的範圍。

為什麼有節點選擇了補資料,但是沒有產生補資料執行個體?

  • 問題現象

    某節點選擇了補資料,但是沒有產生補資料執行個體。

  • 產生原因

    不在生效日期範圍內的節點不產生執行個體,請檢查需要補資料的節點生效時間是否在有效期間內。在任務的調度配置面板中,時間屬性設定為正常調度重跑屬性未選擇,出錯自動重跑未勾選,生效日期為1999-09-09至1999-10-22(調度僅在有效日期內生效並自動調度),暫停調度未勾選,調度周期定時調度時間為00:19。若補資料的業務日期不在生效日期範圍內,則不會產生補資料執行個體。

周、月任務如何執行補資料操作

  • 操作說明:周、月調度的任務在補資料時,業務時間請選擇真實調度時間的前一天。任務定時時間為定時每周幾或每月定時幾號跑的任務,只有在指定調度時間才會真實跑資料,在非指定時間內,非調度時間內其他時間會產生空跑執行個體,不會實際執行任務,該執行個體狀態為周、月執行個體空跑周期,更多空跑介紹,詳情請參見情境一:周月執行個體空跑周期

    說明
    • 補資料選擇的時間為業務日期,業務日期=任務定時調度日期-1

    • 調度參數與業務日期、執行個體定時時間、實際已耗用時間的關係,請參見調度參數支援的格式

  • 情境樣本:對月調度任務進行補資料

    任務調度周期定義:定時每月1號0點調度的任務,在補資料時,需要選擇業務為上個月末。對月調度任務(如 調度周期_月)進行補資料時,任務屬性中 調度周期執行時間00 00 00 1 * ?。在 補資料 對話方塊中,業務日期 按月粒度選擇,例如將起止日期均設為 2022-11-30,表示補填 2022 年 11 月的資料,然後單擊 確定

補資料執行個體如何受最大並行執行個體數限制?

  • 當任務在調度策略中開啟了任務最大並行執行個體數後,補資料執行個體也受此限制,與周期執行個體共用並發配額。

  • 當多類執行個體同時堆積時,僅非今日的補資料執行個體降低。

  • 開啟最大並行執行個體數限制後,僅對此後新產生的執行個體生效,在此之前已產生的執行個體不受限制。

  • 最大並行執行個體數的取值範圍為1~10000,預設值為1。