DataWorks：離線同步能力說明

能力

描述

異構資料來源間的資料同步

Data Integration目前支援50+資料來源類型，包括關係型資料庫、非結構化儲存、巨量資料儲存、訊息佇列間的資料同步。您可以通過定義來源與去向資料來源，並通過Data Integration提供的資料幫浦外掛程式（Reader）、資料寫入外掛程式（Writer），實現任意結構化、半結構化資料來源之間資料轉送。詳情請參見：支援的資料來源及同步方案。

複雜網路環境下的資料同步

離線同步支援阿里雲雲資料庫，本地IDC、ECS自建資料庫或非阿里雲資料庫等環境下的資料同步。配置前需確保資源群組與源端/目的端的網路連通性，配置詳情請參見：網路連通方案。

同步情境

1. 支援的同步模式

• 周期性全量：將源表資料完整地、周期性地覆蓋寫入到目標表。適用於全量更新的情境。

• 周期性增量：每天/每小時只同步源表中新增或發生變化的資料。通過內建的調度參數（如${bizdate}）配合資料過濾的WHERE條件來實現，確保每次只拉取指定的資料寫入對應的時間分區。詳情參見：情境：配置增量資料離線同步任務。

• 歷史資料回填：當需要一次性補錄大量歷史資料時，可利用營運中心的補資料功能，批量執行同步任務，高效完成歷史資料的歸檔。

2. 支援的源端結構

• 單表到單表：最基礎的同步方式，將一張源表的資料同步至一張目標表。

• 分庫分表到單表 ：

  • 自動彙總來自多個物理表（如訂單庫 order_01, order_02...）的資料，並統一寫入到一張目標表中。

  • 支援的資料來源包括：MySQL、SQL Server、Oracle、PostgreSQL、PolarDB和AnalyticDB等。詳情請參見：分庫分表同步。

配置方式

您可以通過以下方式配置Data Integration離線同步任務。

• 嚮導模式：通過可視化引導介面逐步完成配置，適合快速上手。該模式操作簡單學習成本低，但部分進階功能不可用。

• 指令碼模式：採用JSON指令碼直接定義同步邏輯，適合進階使用。該模式支援更複雜的配置情境，可實現精細化控制。

• OpenAPI建立：通過OpenAPI介面實現任務全生命週期管理，支援程式化操作。介面說明請參見：。

離線同步任務營運

• 監控警示：支援對離線同步任務的運行狀態進行監控，包括任務未完成、出錯、完成等情境的監控警示，並且支援通過郵件、簡訊、電話、DingTalk群機器人和WebHook等多種警示方式將警示資訊發送給警示接收人。

• 資料品質：任務提交發布後，可以在營運中心對目標表配置資料品質監控規則。目前僅部分資料庫類型支援配置資料品質監控規則。

• 資料來源環境隔離：同一資料來源名稱綁定開發與生產兩套獨立配置，任務執行時自動按環境切換資料來源——開發調試用開發環境，生產調度用生產環境，防止測試誤操作線上資料的風險。