本文匯總介紹任務執行成功沒有資料的相關問題。
情境一:節點狀態成功,有執行日誌
節點運行完成說明節點裡面的邏輯完成了,但是周期執行個體自動調度時,節點沒有取到上遊資料或者報錯不存在該表分區。手動重跑執行個體可以正常取到資料。
- 沒有依賴產出該上遊表資料的節點任務。
- 有依賴產出表的節點,但是依賴的節點產生的表分區不是想要的,那就說明依賴的周期不對,可以在周期執行個體參數配置及日誌詳情裡面查看一天的執行個體上下遊參數替換情況。
請重新設定節點依賴關係
查看上下遊節點參數配置:在營運中心的周期執行個體頁面,DAG圖展示上遊虛擬節點xc_demo_start串連下游離線同步節點xc_oss_資料同步。選中節點後,在下方屬性Tab中可查看資料去向類型(MaxCompute)、運行時間長度(40s)、執行個體狀態(運行成功)等資訊,其中執行參數為
bizdate=20210614,表示該執行個體的業務日期為2021-06-14。情境二:節點狀態成功,無執行日誌
節點空跑,請檢查屬性介面節點狀態。
情境三:任務日誌成功但執行個體狀態失敗
任務作業記錄顯示 Shell run successfully,但執行個體狀態顯示執行失敗。該情境通常由 DQC(資料品質校正)規則校正未通過導致。
DQC 在任務執行完成後對產出資料做品質校正。如果校正規則配置了阻塞策略,校正不通過時系統將執行個體標記為失敗,即使任務本身執行成功。
排查方式:
-
進入。
-
找到相應產出表綁定的品質監控規則。
-
查看該規則的運行記錄,確認校正是否通過。校正未通過時,修正資料問題或調整 DQC 規則後重跑執行個體。