DataWorks：單表即時同步能力說明

能力

描述

多種資料來源間的資料同步

即時同步支援多種資料來源，您可以將多種輸入及輸出資料來源搭配組成同步鏈路進行資料同步。詳情請參見支援的資料來源及同步方案。

複雜網路環境下的資料同步

即時同步支援阿里雲雲資料庫，本地IDC、ECS自建資料庫或非阿里雲資料庫等環境下的資料同步。配置前需確保資源群組與源端/目的端的網路連通性，配置詳情請參見：網路連通方案。

同步情境

即時同步支援單表即時資料同步至目標端單表、分庫分表即時增量資料同步至目標端單表。

• 單表增量即時同步

  • 資料開發：拖拽式配置單表到單表ETL同步，支援資料過濾、字串替換、資料脫敏等資料處理功能。

  • Data Integration：嚮導化配置單表到單表ETL同步，除了豐富的資料處理功能外，還支援資料採樣、類比運行、進階參數等進階功能。

• 分庫分表至單表全增量即時同步

  當前僅支援MySQL和PolarDB寫入MaxCompute的分庫分表即時同步，分庫分表同步可以將源端表結構一致的表合并為一張邏輯表寫入目的端單表。

即時同步任務配置

即時同步任務配置時支援的能力如下，您無需編寫代碼，通過簡單的任務配置即可實現單表ETL即時資料的收集。詳情請參見：配置單表即時同步任務，分庫分表同步至MaxCompute。

單表即時同步：

• 配置方式：支援圖形化拖拽或嚮導式的低代碼開發。無需編寫代碼，業務新手也能夠輕鬆上手。

• 欄位對應：支援同名映射、同行映射，並支援自訂欄位關係。若上遊欄位在目標表中沒有對應欄位，可以指定加列、忽略或報錯的動態欄位處理策略。同步任務同時提供對目標欄位進行常量、變數和函數動態賦值功能。

• 資料處理：支援對源端資料進行資料過濾、字串替換、資料脫敏和JSON解析等處理，再將處理後的資料輸出至目標資料庫。

• 代碼調試：支援對源端資料來源進行資料採樣，並在每個資料處理過程輸出中間結果，通過類比運行，類比最終資料輸出。類比運行輸出的資料不會寫入目標表，無需擔心調試過程對真實資料的影響。

分庫分表即時同步：

• 邏輯表規則設定：通過Regex設定來源表的搜尋整合範圍，作為分庫分表來源，設為邏輯表。並設定邏輯表與目標表的映射關係。

• DDL和DML規則設定：設定源端的DDL和DML變更對目標表的影響支援，可根據變更類型選擇目標表的具體應對措施。

即時同步任務營運

支援對同步任務設定監控警示

• 支援斷點續傳。您可以在任務中斷或因異常波動導致資料丟失時，指定合適的時間點位，保障資料的完整性。

• 支援對業務延遲、Failover、DDL策略、心跳檢查設定監控警示。詳情請參見：即時同步任務營運。

• 並通過郵件、簡訊、電話和DingTalk等方式將警示資訊發送給警示接收人，方便您及時發現並處理任務異常。

• 支援警示疲勞度控制。為了避免短時間內產生大量警示，DataWorks支援您設定當前規則在指定時間間隔內只發送一次警示資訊。

• 支援心跳檢測，並隨任務啟停自動開啟/關閉心跳警示功能。如手動關閉，則保持現狀。