使用DTS遷移執行個體 - ApsaraDB RDS

本文介紹如何使用Data Transmission Service，實現RDS PostgreSQL間的結構遷移、全量資料移轉以及增量資料移轉。同時使用這三種遷移類型可以實現在業務不停服的情況下，平滑地完成資料庫的遷移。

前提條件

已建立源和目標RDS PostgreSQL執行個體，詳情請參見建立RDS PostgreSQL執行個體。
說明
- 源庫和目標庫支援的版本，請參見遷移方案概覽。
- 建議源和目標資料庫的版本相同，或者從低版本遷移到高版本以保障相容性。如為高版本遷移至低版本，可能存在資料庫相容性問題。
目標RDS PostgreSQL執行個體的儲存空間須大於源RDS PostgreSQL執行個體佔用的儲存空間。

注意事項

類型	說明
源庫限制	待遷移的表需具備主鍵或唯一約束，且欄位具有唯一性，否則可能會導致目標資料庫中出現重複資料。待遷移的資料庫名稱中間不能包含短劃線（-），例如dts-testdata。如遷移對象為表層級，且需進行編輯（如表列名映射），則單次遷移任務僅支援遷移至多1000張表。當超出數量限制，任務提交後會顯示請求報錯，此時建議您拆分待遷移的表，分批配置多個任務，或者配置整庫的遷移任務。如需進行增量遷移，WAL日誌：需開啟，即設定wal_level參數的值為logical。如為增量遷移任務，DTS要求來源資料庫的WAL日誌儲存24小時以上，如為全量遷移和增量遷移任務，DTS要求來源資料庫的WAL日誌至少保留7天以上（您可在全量遷移完成後將WAL日誌儲存時間設定為24小時以上），否則DTS可能因無法擷取WAL日誌而導致任務失敗，極端情況下甚至可能會導致資料不一致或丟失。由於您所設定的WAL日誌儲存時間低於DTS要求的時間進而導致的問題，不在DTS的SLA保障範圍內。源庫的操作限制：在庫表結構遷移和全量遷移階段，請勿執行庫或表結構變更的DDL操作，否則資料移轉任務會失敗。如僅執行全量資料移轉，請勿向源庫中寫入新的資料，否則會導致源和目標資料不一致。為即時保持資料一致性，建議選擇結構遷移、全量資料移轉和增量資料移轉。若源庫有長事務，且執行個體包含增量遷移任務，則可能會導致源庫長事務提交前的預寫記錄檔WAL（Write-Ahead Logging）無法清理而堆積，從而造成源庫磁碟空間不足。
其他限制	為保障遷移任務的正常進行，避免主備切換導致的邏輯訂閱中斷，需要RDS PostgreSQL支援並開啟Logical Replication Slot Failover，設定方式，請參見邏輯複製槽容錯移轉（Logical Replication Slot Failover）。單個資料移轉任務只能遷移一個資料庫，如需遷移多個資料庫，您需要為每個資料庫配置資料移轉任務。增量資料移轉期間，如果遷移對象的選擇粒度為Schema，在待遷移的Schema中建立了新的表或使用RENAME命令重建了待遷移的表，您需要在對該表寫入資料前執行`ALTER TABLE schema.table REPLICA IDENTITY FULL;`命令。執行該命令期間，建議您不要有鎖表操作，否則會導致表鎖死。說明將上述命令中的`schema`和`table`替換成真實的Schema名和表名。建議您在業務低峰期進行操作。 DTS的校正對象為資料內容，暫不支援Sequence等中繼資料的校正，您需要自行校正。由於業務切換到目標端後，新寫入的Sequence不會按照源庫的Sequence最大值作為初始值去遞增，您需要在業務切換前，更新目標庫的Sequence值。更多資訊，請參見更新目標庫的Sequence值。 DTS會在源庫中建立以下暫存資料表，用於擷取增量資料的DDL、增量表的結構、心跳資訊等。在遷移期間，請勿刪除源庫中的暫存資料表，否則會導致DTS任務異常。暫存資料表會在DTS執行個體釋放後自動刪除。 `public.dts_pg_class`、`public.dts_pg_attribute`、`public.dts_pg_type`、`public.dts_pg_enum`、`public.dts_postgres_heartbeat`、`public.dts_ddl_command`、`public.dts_args_session`。若為全量遷移或增量遷移任務，且來源資料庫中要遷移的表包含外鍵、觸發器、事件觸發程序，如果目標庫帳號為高許可權帳號或者super許可權帳號，全量或增量遷移時DTS會以Session層級暫時將session_replication_role的參數值設定為replica；如果目標庫帳號沒有該許可權，您需要手動將目標資料庫中session_replication_role的參數值設定為replica。在此期間（全量遷移或增量遷移過程中session_replication_role的參數值為replica），若源庫存在串聯更新、刪除操作，則可能會導致資料不一致。在DTS遷移任務釋放後，您可以將session_replication_role的參數值改回origin。為保障增量資料移轉延遲時間展示的準確性，DTS會在源庫中新增一個名為`dts_postgres_heartbeat`的心跳錶。增量資料移轉期間，DTS會在源庫中建立首碼為`dts_sync_`的replication slot用於複製資料。通過該replication slot，DTS可以擷取源庫15分鐘內的增量日誌。說明 DTS釋放執行個體後會主動刪除該replication slot，如果您在遷移期間修改了資料庫密碼，或者刪除了DTS的訪問IP白名單，則會導致該replication slot無法自動刪除，此時需要您在源庫手動刪除，避免其持續累積佔用磁碟空間導致RDS PostgreSQL執行個體不可用。當釋放遷移任務或遷移失敗時，DTS會主動清理該replication slot；如果RDS PostgreSQL發生了主備切換，則需要您登入備庫來手動清理。執行資料移轉前需評估源庫和目標庫的效能，同時建議業務低峰期執行資料移轉。否則全量資料移轉時DTS佔用源和目標庫一定讀寫資源，可能會導致資料庫的負載上升。由於全量資料移轉會並發執行INSERT操作，導致目標資料庫的表產生片段，因此全量遷移完成後目標庫的表格儲存體空間會比源庫的表格儲存體空間大。請確認DTS對資料類型為FLOAT或DOUBLE的列的遷移精度是否符合業務預期。DTS會通過`ROUND(COLUMN,PRECISION)`來讀取這兩類列的值。如果沒有明確定義其精度，DTS對FLOAT的遷移精度為38位，對DOUBLE的遷移精度為308位。 DTS會嘗試恢複七天之內遷移失敗任務。因此業務切換至目標執行個體前，請務必結束或釋放該任務，或者將DTS訪問目標執行個體帳號的寫入權限用`revoke`命令回收掉。避免該任務被自動回復後，源端資料覆蓋目標執行個體的資料。若執行個體運行失敗，DTS技術支援人員將在8小時內嘗試恢複該執行個體。在恢複失敗執行個體的過程中，可能會對該執行個體進行重啟、調整參數等操作。說明在調整參數時，僅會修改執行個體的參數，不會對資料庫中的參數進行修改。可能修改的參數，包括但不限於修改執行個體參數中的參數。
特殊情況	當源執行個體為RDS PostgreSQL時，遷移期間，請勿修改RDS PostgreSQL的串連地址和可用性區域，否則會導致遷移失敗。

遷移類型說明

庫表結構遷移
DTS將源庫中遷移對象的結構定義遷移到目標庫。
全量遷移
DTS將源庫中遷移對象的存量資料，全部遷移到目標庫中。
增量遷移
DTS在全量遷移的基礎上，將源庫的累加式更新資料移轉到目標庫中。通過增量資料移轉可以實現在自建應用不停機的情況下，平滑地完成資料移轉。

支援增量遷移的SQL操作

操作類型	SQL動作陳述式
DML	INSERT、UPDATE、DELETE
DDL	僅2020年10月01日後建立的資料移轉任務，支援遷移DDL操作。重要 2023年05月12日前建立的資料移轉任務，需在配置遷移任務前，在源庫中建立觸發器和函數來捕獲DDL資訊，詳情請參見通過觸發器和函數實現PostgreSQL的DDL增量遷移。增量資料移轉階段不支援遷移bit類型的資料。遷移任務支援如下DDL，且來源資料庫帳號需為高許可權帳號，RDS PostgreSQL的小版本需大於或等於20210228，小版本的升級方式，請參見升級核心小版本。 CREATE TABLE、DROP TABLE ALTER TABLE（包括RENAME TABLE、ADD COLUMN、ADD COLUMN DEFAULT、ALTER COLUMN TYPE、DROP COLUMN、ADD CONSTRAINT、ADD CONSTRAINT CHECK、ALTER COLUMN DROP DEFAULT） TRUNCATE TABLE（源庫PostgreSQL為PostgreSQL 11及以上版本） CREATE INDEX ON TABLE 重要不支援遷移DDL中包含的附加資訊，如CASCADE或RESTRICT等。不支援遷移使用`SET session_replication_role = replica`命令的會話中的DDL。不支援遷移通過調用FUNCTION等方式執行的DDL。若源庫單次提交的多條SQL中同時包含DML和DDL，則該DDL不會被遷移。若源庫單次提交的多條SQL中包含非遷移對象的DDL，則該DDL不會被遷移。

資料庫帳號的許可權要求

資料庫	庫表結構遷移	全量遷移	增量遷移
源RDS PostgreSQL執行個體	pg_catalog的USAGE許可權。	遷移對象的SELECT許可權。	高許可權帳號，且需為所選資料庫的owner（授權帳號）。說明當源執行個體為RDS PostgreSQL 9.4，且僅需增量遷移DML操作時，帳號具備REPLICATION許可權即可。
目標RDS PostgreSQL執行個體	目標遷移對象的CREATE、USAGE許可權。	Schema的owner許可權。

RDS PostgreSQL資料庫帳號建立及授權方法，請參見建立帳號和建立資料庫。

操作步驟

進入遷移任務的列表頁面。
1. 登入Data Management服務。
2. 在頂部功能表列中，單擊整合與開發。
3. 在左側導覽列，選擇資料轉送（DTS） > 資料移轉。
說明
- 實際操作可能會因DMS的模式和布局不同，而有所差異。更多資訊，請參見極簡模式控制台和自訂DMS介面布局與樣式。
- 您也可以登入新版DTS遷移工作清單頁面。
在遷移任務右側，選擇遷移執行個體所屬地區。
說明
新版DTS遷移工作清單頁面，需要在頁面左上方選擇遷移執行個體所屬地區。

單擊建立任務，配置源庫及目標庫資訊。

警告

選擇源和目標執行個體後，建議您仔細閱讀頁面上方顯示的使用限制，否則可能會導致任務失敗或資料不一致。

類別	配置	說明
無	任務名稱	DTS會自動產生一個任務名稱，建議配置具有業務意義的名稱（無唯一性要求），便於後續識別。
源庫資訊	選擇DMS資料庫執行個體	您可以按實際需求，選擇是否使用已有執行個體。如使用已有執行個體，下方資料庫資訊將自動填入，您無需重複輸入。如不使用已有執行個體，您需要輸入下方的資料庫資訊。
	資料庫類型	選擇PostgreSQL。
	接入方式	選擇雲執行個體。
	執行個體地區	選擇源RDS PostgreSQL執行個體所屬地區。
	執行個體ID	選擇源RDS PostgreSQL執行個體ID。
	資料庫名稱	填入源RDS PostgreSQL執行個體中遷移對象所屬資料庫的名稱。
	資料庫帳號	填入源RDS PostgreSQL執行個體的資料庫帳號，許可權要求，請參見資料庫帳號的許可權要求。
	資料庫密碼	填入該資料庫帳號對應的密碼。
	串連方式	請根據實際情況選擇，本樣本選擇非加密串連。若您需要SSL加密的方式串連資料庫，請選擇SSL安全連線，並根據實際情況上傳CA 憑證、客戶端認證、客戶端認證私密金鑰，輸入客戶端認證私密金鑰密碼。說明若自建PostgreSQL資料庫選擇了SSL安全連線，則必須上傳CA 憑證。若您需要使用用戶端認證，則需要同時上傳客戶端認證和客戶端認證私密金鑰，並輸入客戶端認證私密金鑰密碼。 RDS PostgreSQL執行個體的SSL加密功能，請參見SSL鏈路加密。
目標庫資訊	選擇DMS資料庫執行個體	您可以按實際需求，選擇是否使用已有執行個體。如使用已有執行個體，下方資料庫資訊將自動填入，您無需重複輸入。如不使用已有執行個體，您需要輸入下方的資料庫資訊。
	資料庫類型	選擇PostgreSQL。
	接入方式	選擇雲執行個體。
	執行個體地區	選擇目標RDS PostgreSQL執行個體所屬地區。
	執行個體ID	選擇目標RDS PostgreSQL執行個體ID。
	資料庫名稱	填入目標RDS PostgreSQL執行個體中遷移對象所屬資料庫的名稱。
	資料庫帳號	填入目標RDS PostgreSQL執行個體的資料庫帳號，許可權要求，請參見資料庫帳號的許可權要求。
	資料庫密碼	填入該資料庫帳號對應的密碼。
	串連方式	請根據實際情況選擇，本樣本選擇非加密串連。若您需要SSL加密的方式串連資料庫，請選擇SSL安全連線，並根據實際情況上傳CA 憑證、客戶端認證、客戶端認證私密金鑰，輸入客戶端認證私密金鑰密碼。說明若自建PostgreSQL資料庫選擇了SSL安全連線，則必須上傳CA 憑證。若您需要使用用戶端認證，則需要同時上傳客戶端認證和客戶端認證私密金鑰，並輸入客戶端認證私密金鑰密碼。 RDS PostgreSQL執行個體的SSL加密功能，請參見SSL鏈路加密。

配置完成後，單擊頁面下方的測試連接以進行下一步。
如果源或目標資料庫是阿里雲資料庫執行個體（例如RDS MySQL、ApsaraDB for MongoDB等），DTS會自動將對應地區DTS服務的IP地址添加到阿里雲資料庫執行個體的白名單；如果源或目標資料庫是ECS上的自建資料庫，DTS會自動將對應地區DTS服務的IP地址添到ECS的安全規則中，您還需確保自建資料庫沒有限制ECS的訪問（若資料庫是叢集部署在多個ECS執行個體，您需要手動將DTS服務對應地區的IP地址添到其餘每個ECS的安全規則中）；如果源或目標資料庫是IDC自建資料庫或其他雲資料庫，則需要您手動添加對應地區DTS服務的IP地址，以允許來自DTS伺服器的訪問。DTS服務的IP地址，請參見DTS伺服器的IP位址區段。
警告
DTS自動添加或您手動添加DTS服務的公網IP位址區段可能會存在安全風險，一旦使用本產品代表您已理解和確認其中可能存在的安全風險，並且需要您做好基本的安全防護，包括但不限於加強帳號密碼強度防範、限制各網段開放的連接埠號碼、內部各API使用鑒權方式通訊、定期檢查並限制不需要的網段，或者使用通過內網（專線/VPN網關/智能網關）的方式接入。

配置任務對象及進階配置。

配置	說明
遷移類型	如果只需要進行全量遷移，請同時選中庫表結構遷移和全量遷移。如果需要進行不停機遷移，請同時選中庫表結構遷移、全量遷移和增量遷移。說明如果選擇庫表結構遷移，DTS會將來源資料庫中待遷移表的結構（包含外鍵）遷移到目標資料庫。如果未選擇增量遷移，為保障資料一致性，資料移轉期間請勿在源執行個體中寫入新的資料。
目標已存在表的處理模式	預檢查並報錯攔截：檢查目標資料庫中是否有同名的表。如果目標資料庫中沒有同名的表，則通過該檢查專案；如果目標資料庫中有同名的表，則在預檢查階段提示錯誤，資料移轉任務不會被啟動。說明如果目標庫中同名的表不方便刪除或重新命名，您可以更改該表在目標庫中的名稱，請參見庫表列名映射。忽略報錯並繼續執行：跳過目標資料庫中是否有同名表的檢查項。警告選擇為忽略報錯並繼續執行，可能導致資料不一致，給業務帶來風險，例如：表結構一致的情況下，在目標庫遇到與源庫主鍵的值相同的記錄：全量期間，DTS會保留目的地組群中的該條記錄，即源庫中的該條記錄不會遷移至目標資料庫中。增量期間，DTS不會保留目的地組群中的該條記錄，即源庫中的該條記錄會覆蓋至目標資料庫中。表結構不一致的情況下，可能導致只能遷移部分列的資料或遷移失敗，請謹慎操作。
源庫對象	在源庫對象框中單擊待遷移的對象，然後單擊將其移動到已選擇對象框。說明遷移對象選擇的粒度為Schema、表、列。若選擇的遷移對象為表或列，其他對象（如視圖、觸發器、預存程序）不會被遷移至目標庫。
已選擇對象	如需更改單個遷移對象在目標執行個體中的名稱，請右擊已選擇對象中的遷移對象，設定方式，請參見庫表列名單個映射。如需批量更改遷移對象在目標執行個體中的名稱，請單擊已選擇對象方框右上方的大量編輯，設定方式，請參見庫表列名批量映射。說明如果使用了對象名映射功能，可能會導致依賴這個對象的其他對象遷移失敗。如需設定WHERE條件過濾資料，請在已選擇對象中右擊待遷移的表，在彈出的對話方塊中設定過濾條件。設定方法請參見設定過濾條件。如需按庫或表層級選擇增量遷移的SQL操作，請在已選擇對象中右擊待遷移對象，並在彈出的對話方塊中選擇所需增量遷移的SQL操作。支援的操作請參見支援增量遷移的SQL操作。

單擊下一步高級配置，進行進階配置。

配置	說明
監控警示	是否設定警示，當遷移失敗或延遲超過閾值後，將通知警示連絡人。不設定：不設定警示。設定：設定警示，您還需要設定警示閾值和警示通知。更多資訊，請參見在配置任務過程中配置監控警示。
目標庫對象名稱大小寫策略	您可以配置目標執行個體中遷移對象的庫名、表名和列名的英文大小寫策略。預設情況下選擇DTS預設策略，您也可以選擇與源庫、目標庫預設策略保持一致。更多資訊，請參見目標庫對象名稱大小寫策略。
源庫、目標庫無法串連後的重試時間	在遷移任務啟動後，若源庫或目標庫串連失敗則DTS會報錯，並會立即進行持續的重試串連，預設重試720分鐘，您也可以在取值範圍（10~1440分鐘）內自訂重試時間，建議設定30分鐘以上。如果DTS在設定的時間內重新串連上源、目標庫，遷移任務將自動回復。否則，遷移任務將失敗。說明針對同源或者同目標的多個DTS執行個體，網路重試時間以後建立任務的設定為準。由於串連重試期間，DTS將收取任務運行費用，建議您根據業務需要自訂重試時間，或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。
源庫、目標庫出現其他問題後的重試時間	在遷移任務啟動後，若源庫或目標庫出現非串連性的其他問題（如DDL或DML執行異常），則DTS會報錯並會立即進行持續的重試操作，預設持續重試時間為10分鐘，您也可以在取值範圍（1~1440分鐘）內自訂重試時間，建議設定10分鐘以上。如果DTS在設定的重試時間內相關操作執行成功，遷移任務將自動回復。否則，遷移任務將會失敗。重要源庫、目標庫出現其他問題後的重試時間的值需要小於源庫、目標庫無法串連後的重試時間的值。
配置ETL功能	選擇是否配置ETL功能。關於ETL的更多資訊，請參見什麼是ETL。是：配置ETL功能，並在文字框中填寫資料處理語句，詳情請參見在DTS遷移或同步任務中配置ETL。否：不配置ETL功能。

上述配置完成後，單擊頁面下方的下一步儲存任務並預檢查。
您可以將滑鼠游標移動至下一步儲存任務並預檢查按鈕上，然後單擊氣泡中的預覽OpenAPI參數，查看調用API介面配置該執行個體時的參數資訊。
說明
- 在遷移任務正式啟動之前，會先進行預檢查。只有預檢查通過後，才能成功啟動遷移任務。
- 如果預檢查失敗，請單擊失敗檢查項後的查看詳情，並根據提示修複後重新進行預檢查。
- 如果預檢查產生警告：
  對於不可以忽略的檢查項，請單擊失敗檢查項後的查看詳情，並根據提示修複後重新進行預檢查。
  對於可以忽略無需修複的檢查項，您可以依次單擊點擊確認警示詳情、確認屏蔽、確定、重新進行預檢查，跳過警示檢查項重新進行預檢查。如果選擇屏蔽警示檢查項，可能會導致資料不一致等問題，給業務帶來風險。
預檢查通過率顯示為100%時，單擊下一步購買。

在購買頁面，選擇資料移轉執行個體的鏈路規格，詳細說明請參見下表。

類別	參數	說明
資訊配置	資源群組配置	選擇執行個體所屬的資源群組，預設為default resource group。更多資訊，請參見什麼是資源管理。
資訊配置	鏈路規格	DTS為您提供了不同效能的遷移規格，遷移鏈路規格的不同會影響遷移速率，您可以根據業務情境進行選擇。更多資訊，請參見資料移轉鏈路規格說明。

配置完成後，閱讀並選中《資料轉送（隨用隨付）服務條款》。
單擊購買並啟動，並在彈出的確認對話方塊，單擊確定。
您可在資料移轉介面查看具體進度。