注意事項
在使用DMS任務編排功能時,可能會出現任務調度延遲或由於SQL及指令碼缺少等冪性而影響下遊資料正確性的情況。如下為您說明出現這種情況的情境以及處理方案。
任務調度延遲
在每日淩晨和每小時整點的任務調度高峰期,可能會出現任務調度延遲的情況。因此,在設定SQL條件時您需要考慮調度延遲,以確保在發生調度延遲時下遊資料的正確性。
SQL及指令碼的等冪性
說明SQL指令碼等冪性是指一條SQL語句或一組SQL語句,無論執行多少次,其結果都是一致的,不會因為重複執行而導致資料不一致。
為保證資料的正確性,建議您在編寫SQL及指令碼時使用具有等冪性的動作陳述式,如
insert overwrite、replace into等,並重複執行SQL以驗證是否會影響下遊資料的正確性。
數量限制
單個DMS租戶最多可建立5000個任務流(任務編排+數倉開發)。
每個任務流中最多包含100個任務節點。
任務編排最多包含200個業務情境。
任務流、任務節點執行時間長度限制
任務編排中任務流執行的時間長度不能超過18小時。
任務編排的任務節點存在執行時間長度限制,超過限制後,該任務節點會被強制停止執行,並顯示執行失敗。如下為各任務節點執行時間長度限制說明:
任務節點類型 | 任務節點名稱 | 執行時間長度限制 |
資料加工 | 單一實例SQL | 大約14小時。 |
通用 | 單一實例SQL賦值 | 與執行個體配置中的查詢逾時時間有關。 |
條件分支 | 執行任務節點時間極短。 | |
ECS遠程命令 | 大約11小時。 | |
狀態檢查 | 表時間列狀態檢查 | 執行任務節點時間極短。 |
稽核任務 | 執行任務節點時間極短。 | |
任務流依賴檢查 | 執行任務節點時間極短。 |
說明
以上任務節點均可在進階設定中開啟重跑(任務失敗後)。開啟後,若任務執行失敗,則在一定時間後會重新執行該任務,此時任務節點的總執行時間長度(包含重跑前的時間)可能會超過18小時。