本文為您介紹如何使用Data Transmission Service實現AnalyticDB PostgreSQL版執行個體間的資料移轉。
前提條件
注意事項
源庫限制
頻寬要求：源庫所屬的伺服器需具備足夠出口頻寬（大於等於100 Mb/s），否則將影響資料移轉速率。
源AnalyticDB PostgreSQL版執行個體的核心版本需為7.2.1.4或更高版本。
源庫的參數配置：
需開啟邏輯解析，即將wal_level參數的值配置為logical。
若源AnalyticDB PostgreSQL版執行個體的執行個體系列為高可用版，為保障遷移任務的順利進行，避免因主備切換而導致邏輯訂閱中斷，還需將hot_standby、hot_standby_feedback和sync_replication_slots參數的值均配置為on。
遷移對象要求：
待遷移的資料庫名稱中間不能包含短劃線（-），例如dts-testdata。
待遷移的表需具備主鍵或唯一約束，且欄位具有唯一性，否則可能會導致目標資料庫中出現重複資料。
不支援遷移源庫中包含跨Schema繼承關係的表、暫存資料表、系統內部的觸發器（TRIGGER）、部分函數（關於PROCEDURE與FUNCTION的C語言函數和內建函式）、外掛程式（EXTENSION）；DTS支援遷移部分自訂資料（TYPE為COMPOSITE、ENUM或RANGE），支援遷移的約束為主鍵、唯一、CHECK約束。
不支援遷移分區表的結構。若待遷移的表為分區表，使用庫表結構遷移到目標端的表會丟失分區資訊，所有表預設建立為非分區表。
若遷移對象為表層級，且需進行編輯（如表列名映射），則單次遷移任務僅支援遷移至多5000張表。當超出數量限制，任務提交後會顯示請求報錯，此時建議您拆分待遷移的表，分批配置多個任務，或者配置整庫的遷移任務。
源庫的操作限制：
在庫表結構遷移和全量遷移階段，請勿執行庫或表結構變更的DDL操作，否則資料移轉任務會失敗。
說明在全量遷移階段，DTS將對源庫進行查詢，這將產生中繼資料鎖，從而可能阻礙來源資料庫的DDL操作執行。
如僅執行全量資料移轉，請勿向源執行個體中寫入新的資料，否則會導致源和目標資料不一致。為即時保持資料一致性，建議選擇結構遷移、全量資料移轉和增量資料移轉。
若源庫有長事務，且執行個體包含增量遷移任務，則可能會導致源庫長事務提交前的預寫記錄檔WAL（Write-Ahead Logging）無法清理而堆積，從而造成源庫磁碟空間不足。
其他限制
單個資料移轉任務僅支援遷移一個資料庫中的資料。如需遷移多個資料庫的資料，您需要為每個資料庫配置資料移轉任務。
暫不支援遷移源庫的DDL操作。
庫表結構遷移到目標端後，其Owner為任務使用的目標庫帳號。
庫表結構遷移預設保持分布鍵不變。若源表存在主鍵，則在將該表的結構遷移到目標端時，主鍵列與源表保持一致；若源表不存在主鍵，則在將該表的結構遷移到目標端時，預設使用分布鍵作為主鍵列。
如果待遷移的表中包含SERIAL類型的欄位，源庫會自動為該欄位建立一個Sequence。因此在配置源庫對象時，若遷移類型選中了庫表結構遷移，則建議您同時選中Sequence或整Schema遷移，否則可能會導致遷移執行個體運行失敗。
若遷移執行個體包含增量資料移轉任務，在如下兩個情境中，您需要在源庫待遷移的表寫入資料前，對其執行
ALTER TABLE schema.table REPLICA IDENTITY FULL;命令，以保障該表資料移轉的一致性。執行該命令期間，建議您不要有鎖表操作，否則會導致表鎖死。若在預檢查中跳過了相關檢查，DTS會在該執行個體初始化時自動化執行該命令。執行個體初次運行時。
遷移對象的選擇粒度為Schema，且在待遷移的Schema中建立了新的表或使用RENAME命令重建了待遷移的表時。
說明命令中的
schema和table需要替換為待遷移資料所屬的Schema名和表名。建議您在業務低峰期進行操作。
DTS的校正對象為資料內容，暫不支援Sequence等中繼資料的校正，您需要自行校正。
由於業務切換到目標端後，新寫入的Sequence不會按照源庫的Sequence最大值作為初始值去遞增，您需要在業務切換前，在源庫中查詢對應Sequence的最大值，然後在目標庫中將其作為對應Sequence的初始值。查詢源庫Sequence值的相關命令如下：
do language plpgsql $$ declare nsp name; rel name; val int8; begin for nsp,rel in select nspname,relname from pg_class t2 , pg_namespace t3 where t2.relnamespace=t3.oid and t2.relkind='S' loop execute format($_$select last_value from %I.%I$_$, nsp, rel) into val; raise notice '%', format($_$select setval('%I.%I'::regclass, %s);$_$, nsp, rel, val+1); end loop; end; $$;說明執行以上命令輸出的SQL包含源庫所有Sequence，請根據業務需求在目標庫中執行。
為保障增量資料移轉延遲時間展示的準確性，DTS會在源庫中新增一個名為
dts_postgres_heartbeat的心跳錶。DTS會在源庫中建立以下暫存資料表，用於擷取增量資料的DDL、增量表的結構、心跳資訊等。在遷移期間，請勿刪除源庫中的暫存資料表，否則會導致DTS任務異常。暫存資料表會在DTS執行個體釋放後自動刪除。
public.dts_pg_class、public.dts_pg_attribute、public.dts_pg_type、public.dts_pg_enum、public.dts_postgres_heartbeat、public.dts_ddl_command、public.dts_args_session、public.aliyun_dts_instance。增量資料移轉期間，DTS會在源庫建立首碼為
dts_sync_的replication slot用於複製資料。通過該replication slot，DTS可以擷取源庫15分鐘內的增量日誌。當資料移轉失敗或釋放遷移執行個體時，DTS會嘗試主動清理該replication slot。說明如果您在資料移轉期間修改了任務使用的源庫帳號密碼，或者刪除了源庫中DTS的IP白名單等，則會導致該replication slot無法自動清理。此時，您需要在源庫手動清理replication slot，以避免其持續累積佔用磁碟空間導致源庫不可用。
如果源庫發生了主備切換，則您需要登入備庫進行手動清理。
在全量資料移轉時，DTS將會佔用源和目標庫一定的讀寫資源，可能會導致資料庫的負載上升。因此建議在執行資料移轉前評估源庫和目標庫的效能，並在業務低峰期執行資料移轉（例如源庫和目標庫的CPU負載在30%以下）。
由於全量資料移轉會並發執行INSERT操作，導致目標資料庫的表產生片段，因此全量遷移完成後目標庫的表格儲存體空間會大於源庫的表格儲存體空間。
在遷移執行個體運行期間：
請勿修改AnalyticDB PostgreSQL版執行個體的串連地址和可用性區域，否則會導致遷移執行個體運行失敗。
若存在除DTS外的其他資料來源向目標庫寫入資料，則可能會導致源庫與目標庫的資料不一致，甚至會導致遷移執行個體運行失敗。
若執行個體運行失敗，DTS技術支援人員將在8小時內嘗試恢複該執行個體。在恢複失敗執行個體的過程中，可能會對該執行個體進行重啟、調整參數等操作。
說明在調整參數時，僅會修改DTS執行個體的參數，不會對資料庫中的參數進行修改。可能修改的參數，包括但不限於修改執行個體參數中的參數。
費用說明
遷移類型 | 鏈路配置費用 | 公網流量費用 |
結構遷移和全量資料移轉 | 不收費。 | 本樣本不收費。 說明 當目標庫的接入方式為公網IP時收取公網流量費用，詳情請參見計費概述。 |
增量資料移轉 | 收費，詳情請參見計費概述。 |
支援遷移的對象
SCHEMA、TABLE
說明包含PRIMARY KEY、UNIQUE KEY、DATATYPE（內建資料類型）和DEFAULT CONSTRAINT。
VIEW、INDEX、PROCEDURE、FUNCTION、RULE、SEQUENCE、AGGREGATE、OPERATOR、DOMAIN
支援增量遷移的SQL
操作類型 | SQL動作陳述式 |
DML | INSERT、UPDATE、DELETE |
資料庫帳號的許可權要求
資料庫 | 要求的權限 | 帳號建立及授權方法 |
源AnalyticDB PostgreSQL版執行個體 | 待遷移對象的讀取許可權和 | 說明
|
目標AnalyticDB PostgreSQL版執行個體 | 目標庫的讀寫權限。 | 說明 您可以使用初始帳號或具備RDS_SUPERUSER許可權的帳號。 |
操作步驟
進入目標地區的遷移工作清單頁面（二選一）。
通過DTS控制台進入
在左側導覽列，單擊資料移轉。
在頁面左上方，選擇遷移執行個體所屬地區。
通過DMS控制台進入
說明實際操作可能會因DMS的模式和布局不同，而有所差異。更多資訊。請參見極簡模式控制台和自訂DMS介面布局與樣式。
在頂部功能表列中，選擇。
在遷移任務右側，選擇遷移執行個體所屬地區。
單擊創建任務，進入任務配置頁面。
配置源庫及目標庫資訊。
類別
配置
說明
無
任務名稱
DTS會自動產生一個任務名稱，建議配置具有業務意義的名稱（無唯一性要求），便於後續識別。
源庫資訊
選擇已有串連資訊
若您需要使用已錄入系統（建立或儲存）的資料庫執行個體，請在下拉式清單中選擇所需的資料庫執行個體，下方的資料庫資訊將自動進行配置。
說明DMS控制台的配置項為選擇DMS資料庫執行個體。
若您未將資料庫執行個體錄入到系統，或無需使用已錄入系統的資料庫執行個體，則需要手動設定下方的資料庫資訊。
資料庫類型
選擇AnalyticDB PostgreSQL。
接入方式
選擇雲執行個體。
執行個體地區
選擇源AnalyticDB PostgreSQL版執行個體所屬的地區。
是否跨阿里雲帳號
本樣本使用當前阿里雲帳號下的資料庫執行個體，需選擇不跨帳號。
執行個體ID
選擇源AnalyticDB PostgreSQL版執行個體的ID。
資料庫名稱
填入源AnalyticDB PostgreSQL版執行個體中待遷移資料所屬資料庫的名稱。
資料庫帳號
填入源AnalyticDB PostgreSQL版執行個體的資料庫帳號。
資料庫密碼
填入該資料庫帳號對應的密碼。
目標庫資訊
選擇已有串連資訊
若您需要使用已錄入系統（建立或儲存）的資料庫執行個體，請在下拉式清單中選擇所需的資料庫執行個體，下方的資料庫資訊將自動進行配置。
說明DMS控制台的配置項為選擇DMS資料庫執行個體。
若您未將資料庫執行個體錄入到系統，或無需使用已錄入系統的資料庫執行個體，則需要手動設定下方的資料庫資訊。
資料庫類型
選擇AnalyticDB PostgreSQL。
接入方式
選擇雲執行個體。
執行個體地區
選擇目標AnalyticDB PostgreSQL版執行個體所屬的地區。
執行個體ID
選擇目標AnalyticDB PostgreSQL版執行個體的ID。
資料庫名稱
填入目標AnalyticDB PostgreSQL版執行個體中用於接收遷移資料的資料庫名稱。
資料庫帳號
填入目標AnalyticDB PostgreSQL版執行個體的資料庫帳號。
資料庫密碼
填入該資料庫帳號對應的密碼。
配置完成後，在頁面下方單擊測試連接以進行下一步。
說明請確保DTS服務的IP位址區段能夠被自動或手動添加至源庫和目標庫的安全設定中，以允許DTS伺服器的訪問。更多資訊，請參見添加DTS伺服器IP地址白名單。
配置任務對象。
在對象配置頁面，配置待遷移的對象。
配置
說明
遷移類型
如果只需要進行全量遷移，建議同時選中庫表結構遷移和全量遷移。
如果需要進行不停機遷移，建議同時選中庫表結構遷移、全量遷移和增量遷移。
說明若未選中庫表結構遷移，請確保目標庫中存在接收資料的資料庫和表，並根據實際情況，在已選擇對象框中使用庫表列名映射功能。
若未選中增量遷移，為保障資料一致性，資料移轉期間請勿在源執行個體中寫入新的資料。
執行個體層級選擇所需同步的DDL和DML
根據實際需求，按執行個體層級選擇增量遷移的SQL操作。
說明如需按Schema或表層級選擇增量遷移的SQL操作，請在下方已選擇對象框中右擊遷移對象，在彈跳框中勾選所需遷移的SQL操作。
目標已存在表的處理模式
預檢查並報錯攔截：檢查目標資料庫中是否有同名的表。如果目標資料庫中沒有同名的表，則通過該檢查專案；如果目標資料庫中有同名的表，則在預檢查階段提示錯誤，資料移轉任務不會被啟動。
說明如果目標庫中同名的表不方便刪除或重新命名，您可以更改該表在目標庫中的名稱，請參見庫表列名映射。
忽略報錯並繼續執行：跳過目標資料庫中是否有同名表的檢查項。
警告選擇為忽略報錯並繼續執行，可能導致資料不一致，給業務帶來風險，例如：
表結構一致的情況下，在目標庫遇到與源庫主鍵的值相同的記錄：
全量期間，DTS會保留目的地組群中的該條記錄，即源庫中的該條記錄不會遷移至目標資料庫中。
增量期間，DTS不會保留目的地組群中的該條記錄，即源庫中的該條記錄會覆蓋至目標資料庫中。
表結構不一致的情況下，可能導致只能遷移部分列的資料或遷移失敗，請謹慎操作。
儲存引擎類型
請根據實際情況選擇目標表的儲存引擎類型，預設為Beam。
說明僅當目標AnalyticDB PostgreSQL版執行個體的核心版本為v7.0.6.6及以上，且遷移類型選擇了庫表結構遷移時才會有此配置項。
目標庫對象名稱大小寫策略
您可以配置目標執行個體中遷移對象的庫名、表名和列名的英文大小寫策略。預設情況下選擇DTS預設策略，您也可以選擇與源庫、目標庫預設策略保持一致。更多資訊，請參見目標庫對象名稱大小寫策略。
源庫對象
在源庫對象框中單擊待遷移的對象，然後單擊
將其移動到已選擇對象框。說明遷移對象選擇的粒度為Schema或表。
已選擇對象
如需設定待遷移對象在目標執行個體中的名稱，或指定目標執行個體中接收資料的對象，請右擊已選擇對象中的遷移對象進行修改。設定方式，請參見庫表列名映射。
如需移除已選擇的遷移對象，請在已選擇對象框中單擊待遷移的對象，然後單擊
將其移動到源庫對象框。
說明如果使用了對象名映射功能，可能會導致依賴這個對象的其他對象遷移失敗。
如需設定WHERE條件過濾資料，請在已選擇對象中右擊待遷移的表，在彈出的對話方塊中設定過濾條件。設定方法，請參見設定過濾條件。
如需選擇增量遷移的SQL操作，請在已選擇對象中右擊待遷移的對象，並在彈出的對話方塊中選擇所需遷移的SQL操作。
單擊下一步高級配置，進行進階參數配置。
配置
說明
選擇調度該任務的專屬叢集
DTS預設將任務調度到共用叢集上，您無需選擇。若您希望任務更加穩定，可以購買專屬叢集來運行DTS遷移任務。
源庫、目標庫無法串連後的重試時間
在遷移任務啟動後，若源庫或目標庫串連失敗則DTS會報錯，並會立即進行持續的重試串連，預設重試720分鐘，您也可以在取值範圍（10~1440分鐘）內自訂重試時間，建議設定30分鐘以上。如果DTS在設定的時間內重新串連上源、目標庫，遷移任務將自動回復。否則，遷移任務將失敗。
說明針對同源或者同目標的多個DTS執行個體，網路重試時間以後建立任務的設定為準。
由於串連重試期間，DTS將收取任務運行費用，建議您根據業務需要自訂重試時間，或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。
源庫、目標庫出現其他問題後的重試時間
在遷移任務啟動後，若源庫或目標庫出現非串連性的其他問題（如DDL或DML執行異常），則DTS會報錯並會立即進行持續的重試操作，預設持續重試時間為10分鐘，您也可以在取值範圍（1~1440分鐘）內自訂重試時間，建議設定10分鐘以上。如果DTS在設定的重試時間內相關操作執行成功，遷移任務將自動回復。否則，遷移任務將會失敗。
重要源庫、目標庫出現其他問題後的重試時間的值需要小於源庫、目標庫無法串連後的重試時間的值。
是否限制全量遷移速率
在全量遷移階段，DTS將佔用源庫和目標庫一定的讀寫資源，可能會導致資料庫的負載上升。您可以根據實際情況，選擇是否對全量遷移任務進行限速設定（設定每秒查詢源庫的速率QPS、每秒全量遷移的行數RPS和每秒全量遷移的數據量(MB)BPS），以緩解目標庫的壓力。
說明僅當遷移類型選擇了全量遷移，才有此配置項。
您也可以在遷移執行個體運行後，調整全量遷移的速率。
是否限制增量遷移速率
您也可以根據實際情況，選擇是否對增量遷移任務進行限速設定（設定每秒增量遷移的行數RPS和每秒增量遷移的數據量(MB)BPS），以緩解目標庫的壓力。
說明僅當遷移類型選擇了增量遷移，才有此配置項。
您也可以在遷移執行個體運行後，調整增量遷移的速率。
環境標籤
您可以根據實際情況，選擇用於標識執行個體的環境標籤。本樣本無需選擇。
配置 ETL 功能
選擇是否配置ETL功能。關於ETL的更多資訊，請參見什麼是ETL。
是：配置ETL功能，並在文字框中填寫資料處理語句，詳情請參見在DTS遷移或同步任務中配置ETL。
否：不配置ETL功能。
監控警示
根據業務需求選擇是否設定警示並接收警示通知。
不設定：不設定警示。
設定：設定警示。您還需要設定警示閾值和警示通知，當遷移失敗或延遲超過閾值後，系統將進行警示通知。
可選：上述配置完成後，單擊下一步配置庫表欄位，設定待遷移的表在目標AnalyticDB PostgreSQL版中的類型、主鍵列和分布鍵資訊。
儲存任務並進行預檢查。
若您需要查看調用API介面配置該執行個體時的參數資訊，請將滑鼠游標移動至下一步儲存任務並預檢查按鈕上，然後單擊氣泡中的預覽OpenAPI參數。
若您無需查看或已完成查看API參數，請單擊頁面下方的下一步儲存任務並預檢查。
說明在遷移任務正式啟動之前，會先進行預檢查。只有預檢查通過後，才能成功啟動遷移任務。
如果預檢查失敗，請單擊失敗檢查項後的查看詳情，並根據提示修複後重新進行預檢查。
如果預檢查產生警告：
對於不可以忽略的檢查項，請單擊失敗檢查項後的查看詳情，並根據提示修複後重新進行預檢查。
對於可以忽略無需修複的檢查項，您可以依次單擊點擊確認警示詳情、確認屏蔽、確定、重新進行預檢查，跳過警示檢查項重新進行預檢查。如果選擇屏蔽警示檢查項，可能會導致資料不一致等問題，給業務帶來風險。
購買執行個體。
預檢查通過率顯示為100%時，單擊下一步購買。
在購買頁面，選擇資料移轉執行個體的鏈路規格，詳細說明請參見下表。
類別
參數
說明
資訊配置
資源群組配置
選擇執行個體所屬的資源群組，預設為default resource group。更多資訊，請參見什麼是資源管理。
鏈路規格
DTS為您提供了不同效能的遷移規格，遷移鏈路規格的不同會影響遷移速率，您可以根據業務情境進行選擇。更多資訊，請參見資料移轉鏈路規格說明。
配置完成後，閱讀並選中《資料轉送（隨用隨付）服務條款》。
單擊購買並啟動，並在彈出的確認對話方塊，單擊確定。
您可以在遷移任務列表頁面，查看遷移執行個體的具體進度。
說明若遷移執行個體不包含增量遷移任務，則遷移執行個體會自動結束。遷移執行個體自動結束後，運行狀態為已完成。
若遷移執行個體包含增量遷移任務，則遷移執行個體不會自動結束，增量遷移任務會持續進行。在增量遷移任務正常運行期間，遷移執行個體的運行狀態為運行中。