資料移轉
資料移轉功能協助您實現同構或異構資料來源之間的資料移轉,適用於資料上雲遷移、阿里雲內部跨執行個體資料移轉、資料庫拆分擴容等業務情境。
功能集 | 功能 | 功能描述 | 參考文檔 |
同構遷移 | 邏輯遷移 | 支援同構資料庫間的資料移轉。 | |
物理遷移 | 通過物理網關將自建資料庫遷移上雲。 | ||
異構遷移 | 邏輯遷移 | 支援異構資料庫間的資料移轉。 | |
切流 | 資料庫上雲割接 | 資料庫割接用於協助使用者在完成資料庫評估、應用評估改造後,將業務最終平滑地遷移到雲上資料庫。 | |
週期性任務 | 定時全量遷移 | 通過Data Integration功能的調度策略配置,定期地將源庫中的結構和存量資料移轉至目標庫中。 | |
帳號遷移 | 全量帳號遷移 | 在配置同步或遷移任務過程中啟用帳號遷移功能,協助您方便快捷地將源庫的帳號(包含密碼和許可權)遷移至目標庫。 |
資料同步
資料同步功能協助您實現資料來源之間的資料即時同步,適用於資料異地多活、資料異地災備、本機資料災備、跨境資料同步、雲BI及即時資料倉庫等多種業務情境。
功能集 | 功能 | 功能描述 | 參考文檔 |
同步鏈路管理 | 一鍵反向容災切換 | 為正常啟動並執行同步執行個體一鍵建立反向增量同步處理執行個體。 | |
容災&多活 | 雙向同步 | 支援建立兩個資料庫之間(比如RDS MySQL與自建MySQL)的雙向資料即時同步,適用於異地多活(單元化)、資料異地容災等多種應用情境。 | |
一鍵調轉正反向同步 | 支援將雙向同步執行個體的方向進行調轉。在業務情境需要進行主備資料庫切換或雙雲切換時,您可以輕鬆地調整已有雙向同步執行個體的方向,而無需重新設定執行個體。 | ||
全球多活資料庫叢集GAD | 支援通過RDS+DTS構建全球多活資料庫叢集,實現資料庫容災保護的同時,為使用者提供就近訪問的服務體驗。 | - | |
同步拓撲管理 | 支援對同步任務的同步拓撲進行升級,將單向同步任務升級為雙向同步任務,以滿足不斷髮展的業務需求。 | ||
衝突策略管理 | 衝突檢測 | 支援對INSERT導致的唯一性衝突、UPDATE更新的記錄不完全符合、DELETE對應的記錄不存在進行衝突檢測。 | - |
衝突處理 | 支援TaskFailed(遇到衝突,任務報錯退出)、Ignore(遇到衝突,直接使用目標執行個體中的衝突記錄)、Overwrite(遇到衝突,直接覆蓋目標執行個體中的衝突記錄)三種衝突修複策略。 | - | |
異構同步 | 即時數倉同步 | 支援將資料同步到即時數倉中,協助您完成高吞吐離線處理和高效能線上分析。 | |
非資料庫同步 | 支援將資料同步至Function ComputeFC的指定函數。您可以編寫函數代碼,對資料進行二次加工。 | ||
異構資料庫同步 | 支援異構資料庫間的資料同步。 | ||
資料投遞 | 資料投遞通道 | 通過建立資料投遞執行個體打通資料投遞通道,以便後續使用SDK將資料來源投遞到DTS。 | |
資料投遞SDK | 通過SDK將各種類型的資料來源投遞到DTS,再由DTS同步至目標資料庫,從而支援更多類型的資料來源。 | ||
同構同步 | 邏輯同構即時同步 | 支援同構資料庫間的資料同步。 |
資料訂閱
資料訂閱功能可以協助您擷取資料庫的即時增量資料,您可以根據自身業務需求自由消費增量資料,並寫入目標端,實現各類業務情境,例如緩衝更新、業務非同步解耦、異構資料來源資料即時同步及含複雜ETL的多種業務情境。
功能集 | 功能 | 功能描述 | 參考文檔 |
資料訂閱 | 資料訂閱通道 | 建立資料訂閱執行個體,擷取資料庫的即時增量資料變更。 | |
資料訂閱SDK | 支援使用SDK用戶端範例程式碼、flink-dts-connector、Kafka用戶端範例程式碼列印訂閱資料,用於SDK用戶端、Flink用戶端、Kafka用戶端消費資料訂閱通道中的資料。 | ||
資料訂閱流量管理 | 資料訂閱執行個體的源庫為MySQL時,支援通過配置費用的類型選擇是否收取資料流量費用。 |
任務管理
DTS任務管理。
功能集 | 功能 | 功能描述 | 參考文檔 |
任務管理 | 任務建立與配置 | 支援建立多種資料來源之間的資料轉送任務,且支援先配置再購買和先購買再配置兩種建立任務方式。 | |
任務調度 | DTS預設將任務調度到共用叢集上,支援在進階設定階段選擇調度該任務的專屬叢集。 | - | |
任務監控 | 在控制台通過DTS執行個體擷取到任務的鏈路狀態資訊和多種效能指標,為您管理工作提供參考依據。 | ||
任務診斷 | 通過檢查源庫、目標庫、網路和DTS在增量遷移時的效能,提供診斷結果和建議。 | ||
任務修改 | 支援管理執行個體的環境標籤,支援在資料同步執行個體運行過程中新增或移除同步對象,支援修改同步或遷移執行個體的ETL配置。 | ||
任務刪除 | 對於已完成資料轉送任務且無需保留配置資訊的DTS執行個體,您可以手動釋放隨用隨付執行個體或退訂訂用帳戶執行個體,以避免產生額外的費用。 | ||
跨帳號訪問 | 支援配置源庫或目標庫跨阿里雲帳號的任務,適用於阿里雲帳號間的資源遷移或合并、業務架構調整等多種應用情境。 | ||
混合雲跨雲訪問 | 以公網IP的方式接入資料庫,實現不同屬性帳號之間(如公用雲和金融雲帳號之間)的資料移轉。 | - | |
Action Trail | 通過查詢執行個體的動作記錄資訊,擷取對執行個體的操作、操作結果及操作者的資訊。 | ||
資料連線管理 | 支援錄入資料庫資訊,在配置任務時可以直接選擇已錄入的資料庫,DTS將自動填入資料庫資訊而無需再手動輸入。 | ||
OpenAPI | POP介面 | 支援在OpenAPI門戶調用介面進行調試。 | |
SDK | 支援使用SDK開發包調用介面。 | ||
Terraform | 支援開源工具Terraform。 | - | |
網路管理 | 跨Region打通 | 支援源庫地區與目標庫地區不同的資料轉送。 | |
傳輸壓縮 | DTS鏈路支援多並發壓縮傳輸,降低傳輸鏈路對頻寬的佔用。 | ||
私網網域名稱接入 | 通過Virtual Private Cloud接入源庫或目標庫時,支援使用私網網域名稱串連資料庫。 | - | |
資料庫網關DG | 支援以資料庫網關DG的方式將資料庫接入到DTS。 | ||
公網流量打通 | 支援以公網IP的方式將資料庫接入到DTS。 | ||
跨境傳輸 | 預設僅支援非跨境的資料同步任務,若您需要建立跨境的資料同步任務,需要申請開通跨境同步的許可權。 | ||
事件中心 | 事件通知 | 通過CloudMonitor平台的事件訂閱對重要的事件設定定製化的警示通知,讓您及時瞭解事件的發生與進展,協助您即時掌握事件動態,便於您在業務故障時快速分析並定位問題。 | |
主動營運平台 | 支援營運事件警示功能,當系統檢測到可能會導致DTS執行個體無法正常啟動並執行風險時會觸發相應的營運事件,並會通過控制台、郵件或站內訊息等方式進行通知。 | ||
Serverless | Serverless執行個體管理 | 支援對Serverless執行個體進行暫停執行個體、查看指標資料、修改DU上下限等操作。 | - |
專屬叢集 | DU管理 | 支援查看專屬叢集DU的建立和使用資訊,修改專屬叢集任務的DU數以調整該任務的規格。 | |
磁碟變更配置 | 當專屬叢集的磁碟使用率過高,無法滿足當前業務需求時,您可以對專屬叢集進行磁碟擴容操作,以確保當前專屬叢集的磁碟空間與您的業務需求相匹配。 | ||
共用叢集專屬叢集互遷 | 支援修改執行個體啟動並執行叢集,即將執行個體從專屬叢集遷移到公用叢集,或者從公用叢集遷移到專屬叢集。 | ||
專屬叢集執行個體管理 | 支援對專屬叢集進行手動續約、變更節點配置、設定超配比等操作。 | ||
安全性 | 資料加密 | 支援以SSL安全連線的方式串連資料庫。 | |
操作隔離 | 支援使用最小許可權的RAM身份(即RAM使用者和RAM角色)來訪問Data Transmission Service,以提高資料安全性,減少因許可權濫用導致的安全風險。 | - | |
帳號許可權管控 | 通過授權系統權限原則,訪問當前雲帳號下的RDS、ECS等雲資源;通過足夠許可權的資料庫帳號,完成相應的資料轉送任務。 | ||
可靠性 | 叢集高可用 | 使用高規格伺服器來保證每條遷移或同步鏈路都能擁有良好的傳輸效能。 | |
斷點續傳 | 具有自動斷點續傳機制,有效地保證資料轉送的可靠性。 | ||
資料來源容災守護 | 源庫或目標庫無法串連或出現其他問題時,DTS支援立即進行持續的重試操作。 | - |
Data Integration
ETL支援通過可視化拖拉拽操作、Flink SQL語句配置任務,並結合DTS的高效流資料複製能力,可以實現流式資料的抽取、資料轉換和加工、資料裝載。在降低開發門檻和業務系統影響的同時提升效率,豐富企業即時資料處理和計算情境,賦能企業數字化轉型。
功能集 | 功能 | 功能描述 | 參考文檔 |
讀寫分離與分流 | TP即時緩衝 | 支援將MySQL資料庫(例如自建MySQL或RDS MySQL)遷移至Redis執行個體,降低後端關係型資料庫的負載,從而提升使用者體驗。 | |
元資訊過濾與映射 | 庫表列過濾 | 在配置任務對象時,支援以庫、表、列的粒度的選擇任務對象。 | - |
DDL&DML過濾 | 在配置同步或遷移任務對象時,支援使用SQL操作來過濾需要進行增量同步處理或遷移的資料。 | - | |
庫表列名映射 | 在配置同步或遷移任務對象時,支援設定任務對象(庫、表、列)在目標庫執行個體中的名稱。您可以使用此功能將資料同步或遷移到目標庫執行個體的指定對象中,或在目標庫執行個體中建立一個與任務對象結構相同但名稱不同的對象。 | ||
拓撲映射 | 資料同步功能支援多種同步拓撲,您可以根據業務需求規劃您的同步執行個體。 | ||
資料過濾處理與映射 | WHERE條件過濾 | 在配置同步或遷移任務對象時,您可以通過設定過濾條件,將來源資料庫中滿足您需求的資料同步或遷移到目標資料庫。 | |
資料類型映射 | 在進行異構資料庫之間的資料同步或遷移時,會在結構同步或遷移階段進行資料類型映射,即將源庫中的資料類型轉為目標庫支援的資料類型。 |
資料校正
資料校正是DTS提供的用於監控源庫與目標庫資料差異的功能,支援在不停服的情況下對源庫和目標庫進行校正,協助您及時探索資料和結構不一致的問題。
功能集 | 功能 | 功能描述 | 參考文檔 |
同構校正 | 中繼資料校正 | 支援對同構資料的結構進行校正。 | |
全量資料校正 | 支援對同構資料庫的存量資料進行校正。 | ||
增量資料校正 | 支援對同構資料庫間的增量同步處理或遷移資料校正。 | ||
異構校正 | 中繼資料等效校正 | 支援對異構資料的結構進行校正。 | |
全量資料校正 | 支援對異構資料庫的存量資料進行校正。 | ||
增量資料校正 | 支援對異構資料庫間的增量同步處理或遷移資料校正。 | ||
訂正 | 中繼資料訂正 | 當校正出資料結構不一致時,可以根據校正結果進行訂正。 | |
全量資料訂正 | 當校正出全量資料不一致時,可以根據校正結果並下載訂正SQL進行訂正。 | ||
增量資料訂正 | 當校正出增量資料不一致時,可以根據校正結果進行訂正。 |
情境化解決方案產品
DTS情境化解決方案產品。
功能集 | 功能 | 功能描述 | 參考文檔 |
ZeroETL | PolarDB MySQL版同步至AnalyticDB MySQL 3.0 | 聯邦分析使用AnalyticDB MySQL的免費高速資料管道服務(APS)將PolarDB MySQL中的資料即時同步至AnalyticDB MySQL湖倉版(3.0)叢集中,協助您一站式完成資料同步與管理。 |