當您在DataStudio中完成任務開發,並發布至生產環境後,您可以進入營運中心運行即時同步任務,同時,您還可以在營運中心監控任務運行狀態、查看任務運行指標等。本文列舉即時同步任務的常見營運操作。
前提條件
已完成即時同步任務的建立、發布。詳情請參見:單表即時同步任務配置。
運行與管理即時同步任務
任務配置完成後,您可以在面板启动、停止、下線對應同步任務,詳情請參見即時同步任務運行與管理。
啟動任務運行時,支援您設定同步位點和FailOver次數。
-
位點設定:支援斷點續傳或從指定同步起始位置開始同步。
-
FailOver:為避免FailOver導致頻繁啟動任務佔用系統資源,您可配置指定時間段內FailOver出現次數超過指定次數時,任務自動結束運行。如果您不配置Failover次數,將根據5分鐘內,Failover次數超過100來自動結束任務。
任務運行狀態監控
為避免任務出錯導致業務資料產出延遲,您可以進入頁面,找到對應同步任務,單擊操作列的報警設置。詳情請參見:即時同步任務運行與管理。
-
警示條件:支援對任務狀態、業務延遲、Failover記錄、消息堆積量和爛數據設定監控警示。
-
警示通知方式:支援通過郵件、短信和釘釘等方式將警示資訊發送給警示接收人。
-
疲勞度控制:為了避免短時間內產生大量警示,Data Integration即時同步還支援疲勞度控制,即為DataWorks支援您設定當前規則在指定時間間隔內只發送一次警示資訊。
使用Logview查看任務運行資訊
Data IntegrationLogView是在Data Integration同步任務中進行埋點採集,分析處理,可視化展現,更加細粒度展示分析同步任務過程的同步速率,日誌等資訊。
在頁面,找到目標任務,單擊即時任務的任務名稱,即可進入即時任務Logview頁面。
您可以在該頁面查看如下資訊:
|
參數 |
描述 |
|
日誌 |
您可以在該頁面查看即時任務的日誌詳情,並可以根據時間篩選日誌。 |
|
進度 |
您可以在該頁面查看即時任務的詳情進展,包括業務延遲、同步條數、同步字節數、同步條數速率、同步位元組速率、窗口等待時間等變化曲線。 您還可以在該頁面執行如下操作:
|
|
數據庫DDL事件 |
您可以在此頁面查看源端發現的DDL記錄。 |
|
數據庫DML統計 |
您可以在此頁面對來源表、目標表進行統計分析。 |
|
Failover記錄 |
您可以在此頁面查看即時任務的Failover狀態和變化曲線,也可以在日誌詳情中查看該次Failover的日誌資訊。 |
修改即時同步任務
您可進入DataStudio介面重新編輯即時同步任務,但若要此次變更操作生效,您需要先停止線上即時同步任務,變更操作完成後重新提交、發布任務,然後進入運維中心啟動任務運行。
修改DDL規則
您可以在啟動同步任務前,進入DataStudio介面,重新定義該任務對源端DDL訊息的處理策略。詳情請參見:配置整庫即時同步任務。
DataStudio介面的變更操作,若要生效,都需要先停止線上即時同步任務,在操作完成後重新提交、發布任務,然後進入運維中心啟動任務運行。