離線同步任務營運

功能介紹

• 離線同步任務的營運操作與其他離線調度任務操作一致，本文僅以離線同步典型營運操作為例進行說明，更多關於離線調度任務的營運操作，詳情請參見：周期任務基本營運操作。

• 標準模式下的工作空間支援資料來源環境隔離。同一個名稱的資料來源可存在開發環境和生產環境兩套配置，設定兩個不同的資料庫/執行個體，使任務在測試和生產調度時操作的資料隔離，確保生產環境資料的安全。

功能入口

登入DataWorks控制台，切換至目標地區，單擊左側導覽列的運維中心 > 周期任务运维 > 周期任務，在下拉框中選擇對應工作空間後單擊進入運維中心。

任務調度與管理

離線同步依託DataWorks強大的調度能力，為您實現離線任務的周期性自動調度執行，同時，可以結合DataWorks調度參數，實現增量資料和全量資料寫入到目標表對應分區，離線同步任務的營運操作與其他離線調度任務操作一致，支援手動觸發執行與自動調度執行。

同步歷史資料

DataWorks的調度參數結合補資料功能，可實現基於一套任務配置，批量將歷史資料同步至目標資料庫或資料倉儲指定表或表指定分區。若您的任務配置為增量同步處理，且需要同步歷史資料至目標表對應分區中，您可以使用補資料功能，調度參數將根據補資料配置的業務日期自動替換為具體的值，關於補資料功能使用，請參見補資料執行個體營運。

任務狀態監控

您可以進入運維中心 > 智能監控配置監控規則，監控任務的運行狀態。包括完成、未完成、出錯、逾時等狀態。詳情請參見：智能監控概述。

資源群組營運

• 資源群組監控：您可以在營運中心監控任務運行所用資源群組的使用方式。詳情請參見資源營運。

• 資源群組切換：您可以通過如下方式切換任務使用的資源群組。

  說明

  修改資源群組前，請確保待切換的資源群組與資料來源網路已經連通，避免由於資源群組與資料來源網路不通導致任務執行失敗。

  作業環境	支援的切換操作	介面入口
  切換生產環境資源群組	批量切換	進入運維中心 > 周期任務介面設定。 勾選需要修改資源群組的任務，單擊底部功能表列的修改數據集成資源組，即可批量修改。
  切換開發環境資源群組 說明 開發環境切換資源群組後需要將任務重新提交發布至生產環境。	單個任務切換 批量切換	進入DataStudio版面設定。 單個任務切換 進入目標節點的編輯頁面，在運行資源處可修改資源群組。在運行資源地區，資源群組選擇dwGroup（10CU，訂用帳戶），資源佔用(CU)設定為1 CU。單擊連通性檢查，確認來源和去向的MaxCompute(ODPS)均顯示連通成功。 批量切換 單擊表徵圖，勾選需要修改資源群組的任務，單擊底部功能表列的修改數據集成資源組，即可批量修改。

表資料品質監控

Data Integration部分目標端資料來源支援配置產出表的資料品質監控，您可以進入資料品質規則頁面，對資料同步寫入的目標表配置資料品質校正規則。對於配置了資料品質監控規則的表，當表關聯的調度節點運行（執行節點代碼邏輯）完成後，將會觸發資料品質校正。DataWorks平台將會根據資料品質規則強弱和資料品質規則校正結果決定任務是否由於品質規則校正失敗退出，並阻塞下遊節點執行，防止髒資料影響範圍進一步擴大。Data Integration目標端資料來源是否支援資料品質監控，及資料品質監控的使用詳情請參見資料品質概述。

查看離線任務作業記錄

查看離線資料大屏

您還可以在运维大屏 > 離線同步頁面查看離線同步任務的運行狀態分布、資料同步進度、同步資料量統計、同步任務執行詳情（可基於來源端與目標端資料來源，以及任務是否產生公網等條件過濾目標任務）等運行指標資訊。詳情請參見：查看營運大屏。

使用Logview查看任務運行資訊

Data IntegrationLogView是在Data Integration同步任務中進行埋點採集、分析處理、可視化展現等更加細粒度展示分析同步任務過程的同步速率，日誌等資訊。

1. 在運維中心，找到離線任務的運行執行個體，單擊運行診斷。在執行個體視角頁面的執行個體列表中，找到目標任務，單擊操作列的運行診斷。

2. 在智能診斷頁面，單擊任務執行 > 數據集成頁簽，查看大模型分析的錯誤記錄檔原因，協助問題排查。

   智能診斷結果區提供 Qwen、DeepSeek、DW知識庫 三種大模型分析，展示嚴重錯誤日誌、錯誤分析、解決建議及快捷操作（包括編輯代碼、重跑、前往資料地圖）。頁面頂部狀態流程指標顯示上遊依賴、定時檢查、調度資源、任務執行各階段的通過狀態。

   參數	描述
   日誌	在日誌頁面下，可以查看Data Integration同步任務的詳細日誌。
   進度	在進度頁面下，可以查看Data Integration同步任務的詳細進度資訊。包括同步條數、同步字節數、同步條數速率、同步字節數速率。 您還可以在該頁面執行如下操作： 您可以通過時間篩選框，篩選某段時間內任務的同步資訊。 說明 時間篩選最多支援查看15天內的詳細資料。 在進程列表右側，單擊表徵圖，可以選擇展現更多的列資訊。在進程列表地區，可通過列設定彈窗勾選需要顯示的監控指標列，可選列包括子任務ID、開始時間、已同步條數、當前同步條數平均速率、當前同步位元組平均速率、執行機器、GC平均耗時、GC次數、狀態、結束時間、執行時間長度、讀端等待時間、寫端等待時間和髒資料條數。 在進程列表中，可以單擊具體的內容，查看某個指標的曲線變化。
   實例瀏覽	如果該執行個體是周期執行個體，您還可以在實例瀏覽頁面下，查看該執行個體下不同周期各維度對比詳情。 您可以在任務列表中查看該任務的狀態以及對應的實例ID，單擊實例ID可以查看任務詳情。 您還可以在柱狀圖中對比不同執行個體之間的同步速率、同步條數、等待時間、同步時長的差異。

後續：離線同步資料品質問題與同步任務調優

• 離線同步提速或限速

• 離線同步資料品質排查

• 離線同步處理記錄分析

整庫離線同步全量進度顯示為0%

整庫離線同步任務的全量進度持續顯示為0%時，逐項排查以下原因。

1. 檢查任務是否處於WAIT狀態

   在營運中心查看執行個體狀態。WAIT狀態表示任務正在等待上遊依賴完成或等待調度資源分派，全量進度不會推進。上遊依賴滿足且資源就緒後，任務自動開始執行。

2. 檢查資源群組CU是否充足

   資源群組CU不足會導致任務排隊等待。在資源群組監控頁面確認CU使用率，若持續接近100%，需擴容資源群組或降低並發任務數。

3. 檢查網路連通性是否正常

   資源群組與資料來源之間網路不通會導致同步任務無法讀寫資料。在資料來源配置頁面執行連通性測試，確認來源端和目標端均連通。

4. 檢查子任務是否已產生並運行

   整庫離線同步任務由多個子任務組成。在Logview的進度頁面查看子任務列表，確認子任務已產生且處於運行中狀態。子任務未產生時，檢查任務配置中的表選擇規則是否正確匹配到源表。

離線同步任務營運常見問題

• 離線同步傳輸資料時，髒資料超出限制，已同步的資料是否會保留？

• 如何排查離線同步任務已耗用時間長的問題？

• 離線資料同步任務執行完成後，探索資料缺失

• 髒資料如何排查和定位？