即時同步任務對接CloudMonitor - DataWorks

功能概述

DataWorks Data Integration解決方案的即時同步任務現已接入阿里雲CloudMonitor。您可以在CloudMonitor產品中查看即時同步任務的各項運行指標，包括資源使用率、業務延遲、同步條數、同步速率以及 DML 操作統計等。通過這些指標，您可以全面瞭解任務的運行狀態，及時發現並定位效能瓶頸或異常情況。

接入方式採用 DataWorks → CloudMonitor 方案，您只需開通CloudMonitor服務即可免費查看相關指標面板並配置警示規則，無需額外購買 Prometheus 執行個體。

前提條件

在使用 DataWorks Data Integration即時同步指標前，請確保滿足以下條件：

已開通阿里雲CloudMonitor服務：前往 CloudMonitor控制台開通服務。
已建立 DataWorks 工作空間：即時同步任務所屬的 DataWorks 工作空間必須處於正常運行狀態。
即時同步任務正常運行。

指標查看入口

進入CloudMonitor產品監控頁面

登入阿里雲CloudMonitor控制台。
在左側導覽列中選擇雲產品監控。在雲產品列表中找到並點擊DataWorks-Data Integration同步任務。

篩選目標工作空間

進入Data Integration任務監控頁面後，在頁面頂部的篩選框中，選擇DataWorks工作空間所在的地區。隨即在工作空間列表中，點擊工作空間名稱，進入監控詳情。

支援的監控指標

DataWorks Data Integration解決方案即時同步任務在CloudMonitor中提供以下四大類指標，涵蓋基礎指標、資源使用率指標、任務維度DML指標和表維度DML指標。

1. 基礎指標

功能說明：用於監控即時同步任務的核心運行狀態，包括延遲和資料轉送量。
查看維度：在二級篩選中選擇解決方案任務 ID + 子任務 ID。對於源端資料來源類型為分庫分表的解決方案存在子任務ID，需精確到子任務ID。

指標名稱	指標含義	單位
業務延遲 DIJobDelayTime	資料從源端到目標端的同步延遲	ms
讀端同步條數 DIJobTotalRecordsRead	源端讀取的資料總條數	條
寫端同步條數 DIJobTotalRecordsWrite	目標端寫入的資料總條數	條
讀端同步速率 DIJobSpeedRecordsRead	源端讀取資料的速率	條/秒
寫端同步速率 DIJobSpeedRecordsWrite	目標端寫入資料的速率	條/秒

2. 資源使用率指標

功能說明：用於監控即時同步任務運行節點的資源消耗情況，協助您判斷是否需要擴容或最佳化資源配置。
查看維度：
- 在二級篩選中選擇解決方案任務 ID + 子任務 ID。對於源端資料來源類型為分庫分表的解決方案存在子任務ID，需精確到子任務ID。
- Worker 相關指標支援按Worker ID區分不同曲線，便於對比各 Worker 節點的資源消耗差異。

指標名稱	指標含義	單位
Master CPU 利用率 DIJobMasterCpuUtilization	任務 Master 節點的 CPU 使用率	%
Master 記憶體利用率 DIJobMasterMemUtilization	任務 Master 節點的堆記憶體使用量率	%
Master 資源使用率 DIJobMasterResourceUtilization	Master 節點 CPU 和記憶體利用率的較大值	%
Worker CPU 利用率 DIJobWorkerCpuUtilization	各 Worker 節點的 CPU 使用率	%
Worker 記憶體利用率 DIJobWorkerMemUtilization	各 Worker 節點的記憶體使用量率	%
Worker 資源使用率 DIJobWorkerResourceUtilization	各 Worker 節點 CPU 和記憶體利用率的較大值	%

3. 任務維度DML指標

功能說明：用於監控即時同步任務中各類 DML（Insert / Update / Delete）操作的執行情況。統計整個任務層級（或子任務層級）的 DML 操作總量。
查看維度：在二級篩選中選擇解決方案任務 ID + 子任務 ID。對於源端資料來源類型為分庫分表的解決方案存在子任務ID，需精確到子任務ID。

指標名稱	指標含義	單位
任務層級讀端 Insert DIJobTotalDmlInsertRead	任務從源端讀取的 Insert 操作條數	條
任務層級讀端 Update DIJobTotalDmlUpdateRead	任務從源端讀取的 Update 操作條數	條
任務層級讀端 Delete DIJobTotalDmlDeleteRead	任務從源端讀取的 Delete 操作條數	條
任務層級寫端 Insert DIJobTotalDmlInsertWrite	任務向目標端寫入的 Insert 操作條數	條
任務層級寫端 Update DIJobTotalDmlUpdateWrite	任務向目標端寫入的 Update 操作條數	條
任務層級寫端 Delete DIJobTotalDmlDeleteWrite	任務向目標端寫入的 Delete 操作條數	條

4. 表維度DML指標

功能說明：用於監控即時同步任務中各類 DML（Insert / Update / Delete）操作的執行情況。統計表維度任務層級（或子任務層級）的 DML 操作總量。
查看維度：
- 在二級篩選中選擇解決方案任務 ID + 子任務 ID + 資料庫名 + Schema名 + 表名。對於源端資料來源類型為分庫分表的解決方案存在子任務ID，需精確到子任務ID。
- 必須精確到具體的表名才能查看對應資料。讀取指標選擇源端資料庫名、Schema名、表名，寫入指標選擇目標端資料庫名、Schema名、表名。

讀取指標

指標名稱	指標含義	單位
表層級讀端 Insert DIJobTableDmlInsertRead	指定表從源端讀取的 Insert 操作條數	條
表層級讀端 Update DIJobTableDmlUpdateRead	指定表從源端讀取的 Update 操作條數	條
表層級讀端 Delete DIJobTableDmlDeleteRead	指定表從源端讀取的 Delete 操作條數	條

寫入指標

指標名稱	指標含義	單位
表層級寫端 Insert DIJobTableDmlInsertWrite	指定表向目標端寫入的 Insert 操作條數	條
表層級寫端 Update DIJobTableDmlUpdateWrite	指定表向目標端寫入的 Update 操作條數	條
表層級寫端 Delete DIJobTableDmlDeleteWrite	指定表向目標端寫入的 Delete 操作條數	條

五、配置警示規則

警示規則配置方法可參考CloudMonitor文檔：建立警示規則。

六、常見問題

Q：為什麼我在CloudMonitor中看不到 DataWorks Data Integration的指標？
A：請檢查以下事項：
- CloudMonitor服務是否已開通。
- DataWorks 專案中是否存在正在啟動並執行即時同步任務，指標上報依賴最新引擎版本，您可能需要重啟任務以採用最新版本。
- 一級篩選中是否選擇了正確的地區和 DataWorks 專案。
Q：分庫分表任務的子任務指標如何查看？
A：在二級篩選中，除了選擇解決方案任務 ID 外，還需要選擇對應的子任務 ID（如 mysql 分庫分表情境下的各分表子任務）。子任務 ID 來源於指標埋點維度，可在下拉框中搜尋篩選。
Q：表維度 DML 指標為什麼有時沒有資料？
A：表維度 DML 指標需要精確選擇資料庫名、Schema 名和表名。如果該表在選定時間範圍內沒有發生對應的 DML 操作（如該時間段內無 Delete 操作），則對應指標會顯示為空白或零值。