資料轉送服務DTS

資料轉送服務(Data Transmission Service,DTS)支援人際關係型資料庫RDBMS、NoSQL、OLAP等資料來源之間的資料移轉同步的。它能供性資料庫不停服移轉、Just-In-Time資料訂用帳戶及資料Just-In-Time同步的等多種資料轉送方式。通過DTS，您可以在來源資料庫正常執行情況下，轉化地完成資料移轉。同時，您還可以利用DTS進行RDS執行個體間的資料Just-In-Time同步的，有效解析資料異地容災、相應減少跨地區存取等商務問題。除此之外，DTS還支援RDS執行個體增量資料Just-In-Time訂用帳戶，通過資料訂用帳戶，您可以實現輕量級快取更新、非同步訊息中心注意事項及定製化資料Just-In-Time同步的等商務場景。

• 資料轉送服務DTS可以說明您實現零停機資料移轉。在移轉程序中，來源資料庫可以正常能供性服務，移轉程序中，來源資料庫產生的所有更新資料都會被同步的複寫到顯示目標執行個體。

• 當來源資料庫的全量資料完全移轉到顯示目標執行個體後，顯示目標執行個體就會跟源執行個體保留中通話增量資料Just-In-Time同步的。在增量資料Just-In-Time同步的程序中，您可以選取項目一個商務低峰期，將應用程式轉化翻轉到顯示目標執行個體。

• 資料轉送服務DTS支援多種轉送縮小搜尋範圍手段，包括轉送資料壓縮、泊接重傳等多種網路功能縮小搜尋範圍措施，同步的細微性細化到異動等級，有效提高權限轉送效能。

• 特定場景下，全量移轉效能高達70MB/s，Just-In-Time同步的效能高達30000+ Records/s

• 支援大部份常見資料庫類型 (MySQL/SQLServer/Oracle等)，支援同構資料來源之間的移轉同步的，例如MySQL->MySQL。同時，支援異構資料來源之間的移轉同步的，例如Oracle->MySQL

• 支援內部部署IDC自建資料來源到ApsaraDB for RDS、ECS的上雲移轉，ECS、RDS之間的移轉，以及任何兩個RDS之間的移轉

• 支援資料移轉、資料Just-In-Time同步的及增量資料Just-In-Time訂用帳戶等多種轉送方式

• DTS會持續監控系統中的所有任務，任何一個任務發生損毀，它都會從插斷置放中斷點重新開機任務，商務無感知

• DTS會持續監控源跟顯示目標執行個體的健康情況，如果探索資料源(RDS)泊接資訊發生變化，DTS會熱門話題修改任務的資料來源泊接，許諾任務穩定性

• 無需部署安裝，購買完成後，通過三個步驟的設定即可成功解除暫止轉送任務

• 任務可設定狀態的透明直觀，運維監控體系完善，極大降低使用成本

資料轉送服務DTS支援人際關係型資料庫RDBMS、NoSQL、OLAP等資料來源之間的資料移轉同步的。

它能供性的資料移轉功能，即支援同構資料來源之間的資料移轉，例如MySQL->MySQL，同時能夠支援異構資料來源之間的資料移轉，例如Oracle->MySQL。通過資料移轉功能，可以說明使用者實現商務零停機資料移轉，在移轉程序中，來源資料庫正常執行，從而最大程度降低依賴該資料庫的應用程式的停機時間。

DTS還支援任意兩個RDS執行個體間的資料Just-In-Time同步的，通過這個功能，您可以實現異地資料容災，相應減少跨地域資料任務，從而有效提高權限應用程式穩定性及使用者體驗。

除上面兩個功能，DTS支援的資料訂用帳戶功能，能夠Just-In-TimegetRDS累加式更新資料，通過這個功能，您可以實現輕量級快取更新、非同步訊息中心注意事項及定製化資料同步等商務場景。

• 支援任意兩個RDS執行個體之間的資料Just-In-Time同步的。

• 同步的程序中支援熱門話題修改同步的物件，查看同步的可設定狀態的及同步的效能等操作

• 支援RDS For MySQL的binlog記入帳目Just-In-Time訂用帳戶。

• 訂用帳戶通道執行程序中，支援熱門話題修改訂用帳戶物件、上線查看訂用帳戶資料及消費時間修改等操作

• 能供性鏈路可設定狀態的，同步的流量，同步的延遲，訂用帳戶消費延遲等多種效能指標，讓您全方位了解鏈路狀況

• 能供性鏈路可設定狀態的，同步的延遲，訂用帳戶消費延遲等鏈路知識監控報警，讓您Just-In-Timeget鏈路例外狀況可設定狀態的

阿里雲資料轉送服務 (Data Transmission Service, DTS)能供性資料移轉、資料同步及資料訂用帳戶三種功能，每種功能的計費方式略有不同。
資料移轉：只支援隨用隨付設定檔，收取設定費用及公網流量費，其中設定費用只對增量移轉的正常已耗用時間收取。
資料訂用帳戶：支援訂用帳戶及隨用隨付兩種付費設定檔，收取訂用帳戶通道設定費用、資料流程量費用及公網流量費。
資料同步：支援訂用帳戶及隨用隨付兩種設定檔，只收取同步作業的設定費用。
目前這三個功能只收取設定費用，資料流程量費及公網流量費暫不收取。以下價格僅供參考，具體價格取決於所選定製訂閱。

(1)付費設定檔：訂用帳戶、隨用隨付
(2)計費項：鏈路設定費用
(3) 跨境同步的功能未全網開放，如果需要使用，請繳交情況工單申請開通

(1)付費設定檔：訂用帳戶、隨用隨付
(2)計費項：鏈路設定費用、資料流程量費、公網流量費，其中鏈路設定費用支援訂用帳戶和隨用隨付兩種付費設定檔，而訂用帳戶資料流程量費及公網流量費按照使用實際使用流量付費
(3)鏈路設定費用：如果是隨用隨付執行個體，那麼執行個體完成設定且成功解除暫止後開始收取設定費用，設定費用以天為單位每天扣費。如果欠費停服前1個小時內，使用時間不超過半個小時，那麼按半個小時收費，如果超過半個小時按1個小時收費。
(4)資料流程量費： 資料流程量費按照SDK實際訂用帳戶的資料量收費。資料流程量費暫不收取
(5)公網流量費暫不收取
(6) 美東地區暫不支援

(1)鏈路設定費用：只有增量移轉收取鏈路設定費用，網狀架構移轉、全量移轉不收取設定費用。只對增量移轉正常已耗用時間收取設定費用，對於增量移轉的暫停時間或者失敗時間不收取設定費用。
(2)公網流量費用暫不收取。

DTS支援零停機資料移轉，在移轉程序中，來源資料庫可以正常能供性服務。移轉程序中，來源資料庫產生的所有變更資料都會被持續同步的到顯示目標執行個體。當來源資料庫的全量資料移轉完成後，顯示目標執行個體就會保留中通話跟源執行個體的增量資料Just-In-Time同步的，您可以選取項目商務低峰期，將商務轉化翻轉到顯示目標執行個體。

由於地區斷電、斷網等客觀原因，產品可用工時並不能達到100%。當出現這些損毀時，如果使用者商務部署在單個地區，那麼就會因為地區損毀導致服務不使用中，且不可用時間完全依賴損毀恢復。
為了解析地區損毀導致的服務不使用中，提高服務可用工時，可以在異地構建熱備中心。當商務中心發生地區損毀時，直接將商務流量翻轉到異地災備中心，秒級重做服務。

對於使用者散發在多個磁碟區域的商務，如果商務單地區部署，那麼其他地區的使用者需要跨地區遠距離存取服務，導致存取延遲大，使用者體驗差的問題。為了縮小搜尋範圍存取體驗，可盡量相應減少跨地域存取。通過DTS資料Just-In-Time同步的功能，可以在每個地區構建一個只讀服務，地區內的讀存取任務可以全部落在地區內部，所有使用者的寫任務路由回讀寫中心。由此很大程度降低跨地域的遠距離存取，提高權限使用者體驗。

通過DTS的資料庫增量記入帳目Just-In-Time訂用帳戶功能，可以實現RDS到Analytic DB的資料Just-In-Time同步的。 這個功能可以說明使用者實現Just-In-Time報表、CRM等Just-In-Time應用程式。

為加快商務存取速度，提高權限商務讀同時，很多使用者都會在商務結構描述中內嵌快取層。商務所有讀任務全部路由到快取層，更新資料持久化到儲存體DB。對於這種結構描述使用者需要解析，商務資料更新時，快取層中的快取資料更新問題。
通過DTS能供性的Just-In-Time資料訂用帳戶功能，可以在不影響DB的情況下，非同步訂用帳戶DB的增量資料，更新快取的資料，實現輕量級的快取更新原則。

這種快取更新原則的優勢在於：
(1) 更新路徑短，延遲低
快取失效為非同步流程，商務更新DB完成後直接返回，不需要關心快取失效流程，整個更新路徑短，更新延遲低
(2) 應用程式簡單可靠
應用程式無需實現複雜雙寫邏輯，只需解除暫止非同步執行緒監聽增量資料，更新快取資料即可
(3) 應用程式更新無額外效能消耗
因為資料訂用帳戶是通過解析DB的增量記入帳目來get增量資料，get資料的程序對商務、DB效能無損.

通過DTS資料訂用帳戶，可以實現非同步松耦合商務間的非同步訊息中心注意事項機制。這種訊息中心注意事項機制，是通過DTS搜耙上遊商務DB的變更資料，來消費觸發程序下遊商務的更新邏輯。
相對於使用者在上遊商務更新程序中，投遞非同步訊息中心的方式，這種訊息中心注意事項機制，具備如下優勢：
更新路徑短，延遲低
上遊應用程式更簡單可靠

通過資料轉送服務DTS主控台快速建立並管理DTS執行個體。

阿里雲管理主控台能供性簡單的基於 Web 的使用者使用介面，允許您建立並管理轉送鏈路。

使用此主控台，您可以建立、修改並管理各個 資料轉送 任務。

通過資料轉送服務DTS，可以了解DTS的產品結構描述，實現原理及具體的使用者使用手冊。

要建立阿里雲DTS執行個體，請參閱 DTS文件加註 以詳細了解阿里雲 DTS 的公司原理以及如何修改和管理 DTS執行個體。該文件加註可以說明您了解資料轉送服務DTS的典型應用程式場景。

下面為SDK和文件加註連結，通過這些資源，您可以進一步了解DTS的結構描述實現，以及DTS的典型應用程式場景等。

SDK

文件加註

可以
進行跨阿里雲賬號RDS執行個體移轉時，需要以顯示目標RDS執行個體所屬的阿里雲賬號登陸DTS。同時，設定移轉任務時，源執行個體需要選取項目有公網IP的自建資料庫，然後設定RDS執行個體的泊接資訊。

DTS的增量移轉基本原理是什麼？

如果使用者選取項目了全量資料移轉和增量資料移轉，在全量資料移轉程序中，如果移轉物件中存在非異動且無主索引鍵(例如Myisam)的表，那麼為許諾移轉資料一致性，DTS會給這些表上只讀鎖，其他情況下，DTS不會給源執行個體上鎖。

當ECS為下面兩種情況時，DTS會通過外網存取ECS，其他情況下通過內網存取。
1)ECS執行個體為VPC網路功能
2)ECS為移轉鏈路源執行個體，且跟顯示目標執行個體不在一個地區

當RDS為移轉源執行個體且跟顯示目標執行個體不在一個地域時，DTS通過公網存取RDS執行個體。其他情況下，DTS通過內網存取RDS執行個體。

如果源執行個體為MySQL或MongoDB，那麼DDL操作會被同步的。
如果源執行個體為SQLServer、PostgreSQL，DDL操作暫不支援同步的 。

支援，但是ECS執行個體需要掛載EIP，設定移轉任務時，源執行個體選取項目ECS執行個體，DTS會自動選取項目使用ECS的Elastic IP Address存取ECS執行個體。

DTS進行資料移轉時，是從RDS執行個體的主庫提取資料

支援，DTS支援庫名對應功能，可以實現在一個RDS執行個體內實現兩個資料庫之間的資料複寫

不能。傳統網路功能中的 ECS 執行個體和專有網路功能只能通過公網（外網）通信。

不會，DTS進行資料移轉時，只是複寫來源資料庫的資料，不會對來源資料庫的資料產生影響

這是由於DTS泊接不上源執行個體導致get網狀架構物件失敗。可能的原因包括：
1)設定的泊接電子郵件地址資訊有誤
2)本機資料庫設定了防火牆
3)資料庫遠程監聽沒有解除暫止

increment_trx是DTS增量移轉時在顯示目標執行個體中建立的位點表，主要用於資料列增量移轉的位點，解析任務例外狀況重新開機後的中斷點續傳問題。
在移轉程序中勿卸除，否則會導致移轉失敗。

DTS暫時不支援定時自動移轉

當使用DTS將自建資料庫移轉到RDS後，由於是通過SQL邏輯移轉的，所以顯示目標RDS執行個體除了資料之外，還會寫入記入帳目，同時，資料匯入到RDS執行個體也會產生Slab。資料移轉導致的記入帳目和Slab會使RDS使用的空間比來源資料庫大。

支援，設定移轉任務時，直接設定RDS執行個體ID即可

如果顯示目標執行個體為RDS執行個體，那麼一般都是由於顯示目標RDS執行個體被鎖定了，導致賬號寫入權限被回收。可以先取消釘選RDS執行個體後，重新開機任務。

不會，DTS要求顯示目標執行個體中的移轉物件為空。如果設定的移轉表在顯示目標庫中已經存在資料，那麼預檢查時會報錯。

當您的阿里雲賬號欠費，同時未及時續費，那麼您賬號下的移轉任務的可設定狀態的會調校為鎖定中

會存在丟資料的風險。
如果單獨做增量移轉任務，那麼DTS會從任務解除暫止時間同步的資料。在任務解除暫止之前，來源資料庫產生的增量資料都不會被同步的到顯示目標執行個體。所以從全量移轉完成到增量移轉任務解除暫止之前這段時間內的增量資料會丟失。 如果需要進行不停機資料移轉，建議項目設定任務時，移轉類型選取項目 網狀架構移轉+全量資料移轉+增量資料移轉

可以，進行跨賬號RDS執行個體之間的移轉時，需要使用顯示目標RDS執行個體所屬的阿里雲賬號登陸DTS主控台，然後源執行個體選取項目其他阿里雲賬號下的RDS執行個體。

增量資料移轉階段，顯示目標資料庫會跟來源資料庫保留中通話Just-In-Time同步的，不會自動結束。如果您已經完成移轉，可以手動結束任務。

可以，您需要使用顯示目標RDS執行個體所屬的阿里雲賬號登陸DTS主控台，然後源執行個體的類型選取項目 有公網IP的自建資料庫，設定ECS自建資料庫的泊接方式。

不會

使用DTS的Just-In-Time資料同步功能，進行主要資料庫跟資料災備之間的資料Just-In-Time同步的。當主執行個體宕機後，將商務翻轉到災備執行個體

支援，可以繳交情況工單申請開通

資料訂用帳戶解除暫止時，比較慢，一般需要2分鐘，此時用戶端會通知 client partition is empty,wait partition balance。

一般是因為訂用帳戶通道還有下遊在消費，可以先到DTS主控台查看消費來源IP，查看是否還有下遊SDK在消費資料。如果存在，那麼先暫止下遊消費後，重新修改消費位點

出現這個問題有兩個可能原因：
1) SDK通過內網存取訂用帳戶通道，目前DTS不支援SDK通過內網存取訂用帳戶通道
2) 消費位點不在資料訂用帳戶通道的資料可及範圍內，需要修改消費位點後，重新開機SDK

1) SDK通過內網存取訂用帳戶通道，目前DTS不支援SDK通過內網存取訂用帳戶通道
2) 消費位點不在資料訂用帳戶通道的資料可及範圍內，需要修改消費位點後，重新開機SDK

不會，DTS會監控RDS執行個體，一旦RDS執行個體發生主備翻轉，DTS會自動容災

failed to get master store addr for topic aliyun_sz_ecs_rdsr*****y-1-0嚴重錯誤

首先確認，SDK中 usePublicIp ＝ true
如果上面的佈建正確，那麼排查下消費位點是否在訂用帳戶通道的資料可及範圍內，如果不在，那麼修改消費位點後，重新開機SDK

Specified signature is not matched with our calculation. at com.aliyuncs.DefaultAcsClient.parseAcsResponse(DefaultAcsClient.java:139)

這個是因為SDK中設定的Access Key/Access Secret 不屬於訂用帳戶通道對應阿里雲賬號。修改SDK中 Access Key/Access Secret 後，重新解除暫止SDK

不可以
DTS支援在服務端實現下遊SDK的可靠性容災。當多個SDK下遊訂用帳戶同一個訂用帳戶通道時，只有一個SDK會接收到資料，其他SDK會作為這個SDK的backup，只有當接收資料的SDK發生例外狀況時，DTS會從剩餘SDK中選取項目一個健康情況節點，向其分發資料

這個是由於您在SDK中佈建的訂用帳戶通道ID不對。需要將範例程式碼中的client.askForGUID("訂用帳戶通道ID");這裡的“訂用帳戶通道ID”取代成您要訂用帳戶的訂用帳戶通道對應的ID