Data Transmission Service是阿里雲提供的一站式資料轉送與處理平台。它整合了資料移轉、資料同步、資料訂閱、資料加工以及資料校正等核心能力,致力於在多種資料來源之間,構建安全、可靠、高效能的資料流動鏈路,以滿足業務上雲、異地災備和即時數倉等多樣化情境需求。
視頻簡介
核心能力
DTS圍繞資料的流動,提供了豐富且強大的核心能力,覆蓋從資料移轉、即時同步到增量訂閱等多種情境。這些能力可以歸納為以下幾大類型:
功能類型 | 主要能力 | 適用情境 | |
資料轉送 | 將資料從一個資料來源一次性地遷移至另一個資料來源。支援同構和異構資料庫,可實現在業務不停服的情況下進行資料移轉,將停機時間降至分鐘級。 | 業務上雲、資料庫搬遷等。 | |
在不同資料來源之間建立即時、持續的資料同步鏈路,可以實現資料庫之間的對等同步(支援單向或雙向),從而構建高可用或高效能的資料架構。同時,提供額外的資料投遞鏈路,支援使用SDK將各種類型的增量資料(如日誌資料或其他特殊資料類型)投遞至指定資料來源。 | 版本升級、資料拆分或擴容、異地多活、異地災備、跨境同步、查詢報表分流、構建即時資料倉庫等。 | ||
即時捕獲來源資料庫的增量變化資料(如 | 緩衝更新策略、商務邏輯非同步解耦、為複雜ETL或異構資料來源同步提供即時資料流。 | ||
在資料流動過程中,對流式資料進行即時的抽取(Extract)、轉換(Transform)和載入(Load)。 | 滿足即時資料清洗、格式轉換、欄位增刪等資料處理和計算需求。 | ||
支援在資料移轉或同步任務中,或建立獨立的資料校正任務,對比源端和目標端的資料,以驗證資料的一致性。 | 作為一項保障能力,協助您及時發現並定位元據不一致問題,確保資料轉送的準確性。 | ||
產品優勢
相較於傳統的資料移轉或同步工具,DTS提供的服務功能更豐富、效能更強、易用性更高且安全可靠,可協助您簡化複雜的資料互動工作。DTS的主要優勢如下:
相容性強
異構資料來源支援: 支援關係型資料庫(如MySQL、PostgreSQL、SQL Server、Oracle)、NoSQL資料庫(如MongoDB、Redis)以及巨量資料倉庫(如AnalyticDB、MaxCompute)等多種資料來源之間的資料轉送。詳細資料,請參考支援的資料庫。
跨環境無縫串連: 支援雲上(如雲資料庫 RDS、雲原生資料庫 PolarDB)、本地IDC自建資料庫、以及其他雲廠商資料庫之間的自由流轉,實現混合雲、多雲架構下的資料協同。
支援跨帳號協同: 為了滿足企業級的複雜協作需求,DTS同樣支援配置跨阿里雲帳號的任務。您只需配置RAM授權,即可安全地打通不同帳號間的資料壁壘,實現集團內部或跨部門的資料統一管理與流轉。
靈活的網路拓撲: 支援公網、專線、VPN網關、智能網關等多種網路接入方式,適應企業複雜的網路環境。
功能豐富
提供資料移轉、資料同步和資料訂閱等多種傳輸方式。對於異構資料來源的遷移,DTS支援結構定義(庫表結構)的轉化。
即時同步功能支援單向或雙向同步,可應用於異地災備、異地多活和即時資料倉庫等多種情境。
簡單易用
DTS提供了可視化的管理介面和引導式的鏈路建立流程,使您能夠輕鬆地建立和管理傳輸鏈路。控制台會展示鏈路的傳輸狀態、進度及效能等相關資訊。此外,DTS還具備鏈路斷點續傳和自動修複重啟功能,有效應對網路或系統異常。
高效能
DTS採用高規格伺服器以確保傳輸效能。在資料移轉方面,通過對底層進行多項效能最佳化,全量資料移轉的峰值效能可達到70 MB/s。在即時同步方面,DTS能夠將並發粒度縮小至事務層級,峰值效能可達30,000 RPS。同時,DTS支援多並發壓縮傳輸,以降低頻寬的佔用。
安全可靠
DTS 底層採用服務叢集架構,單個節點故障可實現快速切換,從而確保鏈路的高穩定性。服務內部提供7x24小時的資料準確性校正,並通過安全傳輸協議、安全 Token認證及 SSL加密等手段保障資料轉送的可靠性與安全性。在跨境、跨地區同步情境中,DTS使用專線網路進行隔離,進一步增強了資料的安全性。
不停機遷移
您能夠在來源資料庫持續啟動並執行情況下實施資料移轉,從而將業務應用的停機時間縮短至分鐘層級。
應用情境
不停機資料庫上雲遷移
將本地IDC的資料庫(如MySQL、Oracle)或ECS上的自建資料庫遷移至阿里雲RDS、PolarDB等雲資料庫時,為避免業務長時間中斷,可使用資料移轉功能。該功能通過全量遷移+增量同步處理的方式,在業務不停止寫入的情況下完成資料移轉,即可將應用程式切換至新的雲資料庫。
構建異地多活與災備架構
為實現核心業務系統的高可用和異地容災,可在不同地區的資料庫執行個體間建立即時雙向同步。推薦使用資料同步功能。它能確保任意一端的資料變更都能即時同步至另一端,當單地區發生故障時,業務流量可迅速切換至另一資料中心,保障商務持續性。
即時數倉ETL與緩衝更新
當業務資料發生變化,需要即時更新下遊的分析型數倉(如AnalyticDB、ClickHouse)或Redis緩衝時,可使用資料訂閱功能。DTS會捕獲源庫的增量日誌(Binlog、WAL等),並將其轉化為結構化的JSON格式資料流。應用程式可消費此資料流,寫入數倉或直接更新緩衝,實現資料鏈路的即時解耦。
即時資料清洗與格式化
在將生產庫資料同步至分析庫或測試環境時,往往需要對資料進行處理。例如,對客戶的手機號或身份證等敏感資訊進行脫敏處理,或將源庫中的姓與名兩個欄位合并為目標庫中的一個全名欄位。此時可使用資料加工功能,在資料轉送過程中即時完成這些轉換,無需在目標端進行二次開發,簡化了資料鏈路並保障了資料安全。
資料一致性校正
在完成一次重要的資料庫遷移後,或在長期的異地災備同步過程中,為確保資料一致性,可使用資料校正功能。它能自動對全量或指定範圍的資料進行比對,並產生詳細的校正報告,明確指出哪些表、哪些行存在資料差異。這為遷移後的業務切換提供了資料層面的信心保障,也為長期同步鏈路的健康度提供了監控手段,讓潛在的資料不一致問題無處遁形。
開始使用DTS
根據您的業務情境,明確適用的產品功能。
查看您的資料庫在當前產品功能下是否支援進行資料移轉、同步或訂閱。
建立DTS任務。您可以通過可視化的Data Transmission Service控制台進行任務建立,同時,也可以使用API或SDK進行建立。
更多資訊
深入瞭解
智能助手
DTS Insight:DTS為您提供的智能化營運助手,可協助您更好地瞭解和使用DTS產品及服務,同時,它能夠即時監控任務的運行狀態,並在任務出現異常時協助您進行修複。
常見問題
資料移轉和資料同步有什麼區別?如何選擇?
DTS的費用是如何計算的?
DTS的費用主要由兩部分組成:任務執行個體費用和公網/資料流量費用。不同任務類型的收費規則不同,具體資訊,請參考計費項目。