如果遷移的來源資料庫類型為PostgreSQL,如自建PostgreSQL、RDS PostgreSQL,您需要在配置具體的遷移任務前,參考本文的注意事項及限制,以保障資料移轉任務的正常運行。
源庫為PostgreSQL的遷移方案概覽
根據遷移方案,查看遷移任務的注意事項及限制:
PostgreSQL間的遷移
RDS PostgreSQL間的遷移
類型
說明
源庫限制
待遷移的表需具備主鍵或唯一約束,且欄位具有唯一性,否則可能會導致目標資料庫中出現重複資料。
說明若接收資料的目標表不是通過DTS建立(遷移類型未選中庫表結構遷移),則需確保該表與源庫中待遷移的表具備相同的主鍵或非空唯一約束,否則可能會導致目標資料庫中出現重複資料。
待遷移的資料庫名稱中間不能包含短劃線(-),例如dts-testdata。
如遷移對象為表層級,且需進行編輯(如表列名映射),則單次遷移任務僅支援遷移至多1000張表。當超出數量限制,任務提交後會顯示請求報錯,此時建議您拆分待遷移的表,分批配置多個任務,或者配置整庫的遷移任務。
DTS不支援遷移源庫中的暫存資料表、系統內部的觸發器(TRIGGER)、部分函數(關於PROCEDURE與FUNCTION的C語言函數和內建函式);DTS支援遷移部分自訂資料(TYPE為COMPOSITE、ENUM或RANGE),支援遷移的約束為主鍵、外鍵、唯一、CHECK約束。
如需進行增量遷移,WAL日誌:
需開啟,即設定wal_level參數的值為logical。
如為增量遷移任務,DTS要求來源資料庫的WAL日誌儲存24小時以上,如為全量遷移和增量遷移任務,DTS要求來源資料庫的WAL日誌至少保留7天以上(您可在全量遷移完成後將WAL日誌儲存時間設定為24小時以上),否則DTS可能因無法擷取WAL日誌而導致任務失敗,極端情況下甚至可能會導致資料不一致或丟失。由於您所設定的WAL日誌儲存時間低於DTS要求的時間進而導致的問題,不在DTS的SLA保障範圍內。
源庫的操作限制:
在庫表結構遷移和全量遷移階段,請勿執行庫或表結構變更的DDL操作,否則資料移轉任務會失敗。
如僅執行全量資料移轉,請勿向源庫中寫入新的資料,否則會導致源和目標資料不一致。為即時保持資料一致性,建議選擇結構遷移、全量資料移轉和增量資料移轉。
由於源庫的邏輯訂閱本身存在使用限制,在包含增量任務的遷移執行個體運行期間,若源庫待遷移的單條資料在增量變更後超過256 MB,則可能會導致遷移執行個體運行失敗且無法恢複,您需要重新設定遷移執行個體。
若源庫有長事務,且執行個體包含增量遷移任務,則可能會導致源庫長事務提交前的預寫記錄檔WAL(Write-Ahead Logging)無法清理而堆積,從而造成源庫磁碟空間不足。
在遷移執行個體運行期間,若源庫進行了大版本升級,將會導致遷移執行個體運行失敗並且無法恢複,您需要重新設定遷移執行個體。
PostgreSQL 18有產生列(Generated Column)的表不支援遷移,如果配置遷移,會阻塞該表的DML操作。
當源庫為 RDS PostgreSQL 時,DTS 向源庫反饋消費位點的周期約為 15 分鐘。這會導致源庫在此期間暫緩清理預寫記錄檔(WAL),從而引起監控指標
logical_rep_latency_in_mb升高。此現象屬於正常的位點反饋滯後,不代表 DTS 存在實際同步延遲。真實的同步遷移狀態請以 DTS 控制台顯示為準。
其他限制
為保障遷移任務的正常進行,避免主備切換導致的邏輯訂閱中斷,需要RDS PostgreSQL支援並開啟Logical Replication Slot Failover,設定方式,請參見邏輯複製槽容錯移轉(Logical Replication Slot Failover)。
單個資料移轉任務只能遷移一個資料庫,如需遷移多個資料庫,您需要為每個資料庫配置資料移轉任務。
不支援遷移TimescaleDB外掛程式表、包含跨Schema繼承關係的表與包含基於運算式的唯一索引的表。
通過安裝外掛程式建立的Schema不支援遷移。在配置任務時,您將無法在控制台擷取相關資訊。
如果待遷移的表中包含SERIAL類型的欄位,源庫會自動為該欄位建立一個Sequence。因此在配置源庫對象時,若遷移類型選中了庫表結構遷移,則建議您同時選中Sequence或整Schema遷移,否則可能會導致遷移執行個體運行失敗。
DTS遷移PostgreSQL時,Sequence的OWNED BY綁定關係和當前值(Current Value)都不會遷移到目標庫,您需要在業務切換前,在目標庫中手動補齊:
重建綁定關係:執行
ALTER SEQUENCE命令,將Sequence重新綁定到對應的欄位。例如:ALTER SEQUENCE order_id_seq OWNED BY orders.order_id;。設定序列當前值:使用
setval()函數,將Sequence的當前值設定為源庫的實際值。例如:SELECT setval('order_id_seq', 100, true);。
若遷移執行個體包含增量資料移轉任務,在如下兩個情境中,您需要在源庫待遷移的表寫入資料前,對其執行
ALTER TABLE schema.table REPLICA IDENTITY FULL;命令,以保障該表資料移轉的一致性。執行該命令期間,建議您不要有鎖表操作,否則會導致表鎖死。若在預檢查中跳過了相關檢查,DTS會在該執行個體初始化時自動化執行該命令。執行個體初次運行時。
遷移對象的選擇粒度為Schema,且在待遷移的Schema中建立了新的表或使用RENAME命令重建了待遷移的表時。
說明命令中的
schema和table需要替換為待遷移資料所屬的Schema名和表名。建議您在業務低峰期進行操作。
DTS的校正對象為資料內容,暫不支援Sequence等中繼資料的校正,您需要自行校正。
由於業務切換到目標端後,新寫入的Sequence不會按照源庫的Sequence最大值作為初始值去遞增,您需要在業務切換前,更新目標庫的Sequence值。更多資訊,請參見更新目標庫的Sequence值。
DTS遷移Sequence時不遷移OWNED BY綁定關係和Current Value(
last_value)。目標庫中的Sequence雖然存在,但OWNED BY為空白,last_value為初始值。遷移完成後,需在目標庫中手動重建:執行
ALTER SEQUENCE <schema>.<sequence_name> OWNED BY <schema>.<table>.<column>;,重建OWNED BY綁定關係。執行
SELECT setval('<schema>.<sequence_name>', <current_value>);,設定Sequence的當前值。
在源庫執行以下SQL,可批量查詢Sequence資訊(含OWNED BY關係和當前值):
SELECT n.nspname AS schema_name, c.relname AS sequence_name, pg_get_expr(d.adbin, d.adrelid) AS owned_by, s.last_value FROM pg_class c JOIN pg_namespace n ON n.oid = c.relnamespace JOIN pg_depend d ON d.refobjid = c.oid AND d.deptype = 'a' JOIN pg_attribute a ON a.attrelid = d.refobjid AND a.attnum = d.refobjsubid JOIN pg_sequences s ON s.schemaname = n.nspname AND s.sequencename = c.relname WHERE c.relkind = 'S';說明SQL語句的使用說明如下:
<schema>、<sequence_name>、<table>、<column>、<current_value>需替換為實際值。pg_get_expr(d.adbin, d.adrelid)返回OWNED BY運算式,例如test_users.id。查詢結果中的
last_value即為需要在目標庫中設定的當前值。
根據查詢結果,即可在目標庫中逐個執行
ALTER SEQUENCE和setval操作,完成Sequence綁定關係和當前值的補齊。DTS會在源庫中建立以下暫存資料表,用於擷取增量資料的DDL、增量表的結構、心跳資訊等。在遷移期間,請勿刪除源庫中的暫存資料表,否則會導致DTS任務異常。暫存資料表會在DTS執行個體釋放後自動刪除。
public.dts_pg_class、public.dts_pg_attribute、public.dts_pg_type、public.dts_pg_enum、public.dts_postgres_heartbeat、public.dts_ddl_command、public.dts_args_session、public.aliyun_dts_instance。若為全量遷移或增量遷移任務,且來源資料庫中要遷移的表包含外鍵、觸發器、事件觸發程序,全量或增量遷移時DTS會以Session層級暫時將session_replication_role的參數值設定為replica;如果目標庫帳號沒有該許可權,您需要手動將目標資料庫中session_replication_role的參數值設定為replica。在此期間(全量遷移或增量遷移過程中session_replication_role的參數值為replica),若源庫存在串聯更新、刪除操作,則可能會導致資料不一致。在DTS遷移任務釋放後,您可以將session_replication_role的參數值改回origin。
為保障增量資料移轉延遲時間展示的準確性,DTS會在源庫中新增一個名為
dts_postgres_heartbeat的心跳錶。資料同步期間,DTS 會在源庫建立首碼為
dts_sync_的邏輯複製槽(replication slot),用於讀取增量日誌。當資料同步失敗或釋放同步執行個體時,DTS 會嘗試主動清理該複製槽。說明如果您在資料移轉期間修改了任務使用的源庫帳號密碼,或者刪除了源庫中DTS的IP白名單等,則會導致該replication slot無法自動清理。此時,您需要在源庫手動清理replication slot,以避免其持續累積佔用磁碟空間導致源庫不可用。
如果源庫發生了主備切換,則您需要登入備庫進行手動清理。
執行資料移轉前需評估源庫和目標庫的效能,同時建議業務低峰期執行資料移轉。否則全量資料移轉時DTS佔用源和目標庫一定讀寫資源,可能會導致資料庫的負載上升。
由於全量資料移轉會並發執行INSERT操作,導致目標資料庫的表產生片段,因此全量遷移完成後目標庫的表格儲存體空間會比源庫的表格儲存體空間大。
請確認DTS對資料類型為FLOAT或DOUBLE的列的遷移精度是否符合業務預期。DTS會通過
ROUND(COLUMN,PRECISION)來讀取這兩類列的值。如果沒有明確定義其精度,DTS對FLOAT的遷移精度為38位,對DOUBLE的遷移精度為308位。DTS會嘗試恢複七天之內遷移失敗任務。因此業務切換至目標執行個體前,請務必結束或釋放該任務,或者將DTS訪問目標執行個體帳號的寫入權限用
revoke命令回收。避免該任務被自動回復後,源端資料覆蓋目標執行個體的資料。-
若執行個體運行失敗,DTS技術支援人員將在8小時內嘗試恢複該執行個體。在恢複失敗執行個體的過程中,可能會對該執行個體進行重啟、調整參數等操作。
說明在調整參數時,僅會修改DTS執行個體的參數,不會對資料庫中的參數進行修改。可能修改的參數,包括但不限於修改執行個體參數中的參數。
在遷移分區表時,需將分區子表與父表同時納入遷移對象,否則可能導致該分區表的資料出現不一致情況。
重要PostgreSQL分區表的父表不直接儲存資料,所有資料實際儲存於分區子表中。遷移任務需同時包含分區父表及其所有分區子表,否則可能會遺漏遷移子表的資料,從而導致目標端與源端的資料不一致。
暫不支援遷移分布在不同資料庫中的分區表和繼承表(父子表)。請確保待遷移的分區表及其所有分區、父表及其所有子表均位於同一資料庫中。
特殊情況
當源執行個體為RDS PostgreSQL時,遷移期間,請勿修改RDS PostgreSQL的串連地址和可用性區域,否則會導致遷移失敗。
自建PostgreSQL遷移至RDS PostgreSQL
類型
說明
源庫限制
頻寬要求:源庫所屬的伺服器需具備足夠出口頻寬,否則將影響資料移轉速率。
待遷移的表需具備主鍵或唯一約束,且欄位具有唯一性,否則可能會導致目標資料庫中出現重複資料。
說明若接收資料的目標表不是通過DTS建立(遷移類型未選中庫表結構遷移),則需確保該表與源庫中待遷移的表具備相同的主鍵或非空唯一約束,否則可能會導致目標資料庫中出現重複資料。
待遷移的資料庫名稱中間不能包含短劃線(-),例如dts-testdata。
如遷移對象為表層級,且需進行編輯(如表列名映射),則單次遷移任務僅支援遷移至多1000張表。當超出數量限制,任務提交後會顯示請求報錯,此時建議您拆分待遷移的表,分批配置多個任務,或者配置整庫的遷移任務。
DTS不支援遷移源庫中的暫存資料表、系統內部的觸發器(TRIGGER)、部分函數(關於PROCEDURE與FUNCTION的C語言函數和內建函式);DTS支援遷移部分自訂資料(TYPE為COMPOSITE、ENUM或RANGE),支援遷移的約束為主鍵、外鍵、唯一、CHECK約束。
如需進行增量遷移,WAL日誌:
需開啟,即設定wal_level參數的值為logical。
如為增量遷移任務,DTS要求來源資料庫的WAL日誌儲存24小時以上,如為全量遷移和增量遷移任務,DTS要求來源資料庫的WAL日誌至少保留7天以上(您可在全量遷移完成後將WAL日誌儲存時間設定為24小時以上),否則DTS可能因無法擷取WAL日誌而導致任務失敗,極端情況下甚至可能會導致資料不一致或丟失。由於您所設定的WAL日誌儲存時間低於DTS要求的時間進而導致的問題,不在DTS的SLA保障範圍內。
源庫的操作限制:
如自建PostgreSQL進行主備切換,會導致遷移失敗。
在庫表結構遷移和全量遷移階段,請勿執行庫或表結構變更的DDL操作,否則資料移轉任務會失敗。
由於源庫的邏輯訂閱本身存在使用限制,在包含增量任務的遷移執行個體運行期間,若源庫待遷移的單條資料在增量變更後超過256 MB,則可能會導致遷移執行個體運行失敗且無法恢複,您需要重新設定遷移執行個體。
若源庫有長事務,且執行個體包含增量遷移任務,則可能會導致源庫長事務提交前的預寫記錄檔WAL(Write-Ahead Logging)無法清理而堆積,從而造成源庫磁碟空間不足。
在遷移執行個體運行期間,若源庫進行了大版本升級,將會導致遷移執行個體運行失敗並且無法恢複,您需要重新設定遷移執行個體。
PostgreSQL 18有產生列(Generated Column)的表不支援遷移,如果配置遷移,會阻塞該表的DML操作。
其他限制
由於源庫的主備節點可能存在延遲導致資料不一致,執行資料移轉時請使用源庫的主節點作為遷移的資料來源。
單個資料移轉任務只能遷移一個資料庫,如需遷移多個資料庫,您需要為每個資料庫配置資料移轉任務。
不支援遷移TimescaleDB外掛程式表、包含跨Schema繼承關係的表與包含基於運算式的唯一索引的表。
通過安裝外掛程式建立的Schema不支援遷移。在配置任務時,您將無法在控制台擷取相關資訊。
如果待遷移的表中包含SERIAL類型的欄位,源庫會自動為該欄位建立一個Sequence。因此在配置源庫對象時,若遷移類型選中了庫表結構遷移,則建議您同時選中Sequence或整Schema遷移,否則可能會導致遷移執行個體運行失敗。
若遷移執行個體包含增量資料移轉任務,在如下兩個情境中,您需要在源庫待遷移的表寫入資料前,對其執行
ALTER TABLE schema.table REPLICA IDENTITY FULL;命令,以保障該表資料移轉的一致性。執行該命令期間,建議您不要有鎖表操作,否則會導致表鎖死。若在預檢查中跳過了相關檢查,DTS會在該執行個體初始化時自動化執行該命令。執行個體初次運行時。
遷移對象的選擇粒度為Schema,且在待遷移的Schema中建立了新的表或使用RENAME命令重建了待遷移的表時。
說明命令中的
schema和table需要替換為待遷移資料所屬的Schema名和表名。建議您在業務低峰期進行操作。
DTS的校正對象為資料內容,暫不支援Sequence等中繼資料的校正,您需要自行校正。
由於業務切換到目標端後,新寫入的Sequence不會按照源庫的Sequence最大值作為初始值去遞增,您需要在業務切換前,更新目標庫的Sequence值。更多資訊,請參見更新目標庫的Sequence值。
DTS會在源庫中建立以下暫存資料表,用於擷取增量資料的DDL、增量表的結構、心跳資訊等。在遷移期間,請勿刪除源庫中的暫存資料表,否則會導致DTS任務異常。暫存資料表會在DTS執行個體釋放後自動刪除。
public.dts_pg_class、public.dts_pg_attribute、public.dts_pg_type、public.dts_pg_enum、public.dts_postgres_heartbeat、public.dts_ddl_command、public.dts_args_session、public.aliyun_dts_instance。為保障增量資料移轉延遲時間展示的準確性,DTS會在源庫中新增一個名為
dts_postgres_heartbeat的心跳錶。資料同步期間,DTS 會在源庫建立首碼為
dts_sync_的邏輯複製槽(replication slot),用於讀取增量日誌。當資料同步失敗或釋放同步執行個體時,DTS 會嘗試主動清理該複製槽。說明如果您在資料移轉期間修改了任務使用的源庫帳號密碼,或者刪除了源庫中DTS的IP白名單等,則會導致該replication slot無法自動清理。此時,您需要在源庫手動清理replication slot,以避免其持續累積佔用磁碟空間導致源庫不可用。
如果源庫發生了主備切換,則您需要登入備庫進行手動清理。
若為全量遷移或增量遷移任務,且來源資料庫中要遷移的表包含外鍵、觸發器、事件觸發程序,全量或增量遷移時DTS會以Session層級暫時將session_replication_role的參數值設定為replica;如果目標庫帳號沒有該許可權,您需要手動將目標資料庫中session_replication_role的參數值設定為replica。在此期間(全量遷移或增量遷移過程中session_replication_role的參數值為replica),若源庫存在串聯更新、刪除操作,則可能會導致資料不一致。在DTS遷移任務釋放後,您可以將session_replication_role的參數值改回origin。
執行資料移轉前需評估源庫和目標庫的效能,同時建議業務低峰期執行資料移轉。否則全量資料移轉時DTS佔用源和目標庫一定讀寫資源,可能會導致資料庫的負載上升。
由於全量資料移轉會並發執行INSERT操作,導致目標資料庫的表產生片段,因此全量遷移完成後目標庫的表格儲存體空間會比源庫的表格儲存體空間大。
請確認DTS對資料類型為FLOAT或DOUBLE的列的遷移精度是否符合業務預期。DTS會通過
ROUND(COLUMN,PRECISION)來讀取這兩類列的值。如果沒有明確定義其精度,DTS對FLOAT的遷移精度為38位,對DOUBLE的遷移精度為308位。DTS會嘗試恢複七天之內遷移失敗任務。因此業務切換至目標執行個體前,請務必結束或釋放該任務,或者將DTS訪問目標執行個體帳號的寫入權限用
revoke命令回收。避免該任務被自動回復後,源端資料覆蓋目標執行個體的資料。-
若執行個體運行失敗,DTS技術支援人員將在8小時內嘗試恢複該執行個體。在恢複失敗執行個體的過程中,可能會對該執行個體進行重啟、調整參數等操作。
說明在調整參數時,僅會修改DTS執行個體的參數,不會對資料庫中的參數進行修改。可能修改的參數,包括但不限於修改執行個體參數中的參數。
在遷移分區表時,需將分區子表與父表同時納入遷移對象,否則可能導致該分區表的資料出現不一致情況。
重要PostgreSQL分區表的父表不直接儲存資料,所有資料實際儲存於分區子表中。遷移任務需同時包含分區父表及其所有分區子表,否則可能會遺漏遷移子表的資料,從而導致目標端與源端的資料不一致。
暫不支援遷移分布在不同資料庫中的分區表和繼承表(父子表)。請確保待遷移的分區表及其所有分區、父表及其所有子表均位於同一資料庫中。
特殊情況
當源執行個體為自建PostgreSQL時,需要確保max_wal_senders和max_replication_slots的參數值,均大於當前資料庫複寫槽已使用數與需要以該自建PostgreSQL為源建立的DTS執行個體數的總和。
當源執行個體為Google Cloud Platform Cloud SQL for PostgreSQL時,源庫的資料庫帳號需填入具有cloudsqlsuperuser許可權的帳號。在選擇遷移對象時需選擇此帳號有許可權管理的對象,或者給此帳號添加待遷移對象的Owner許可權(例如,通過
GRANT <待遷移對象的Owner> TO <任務使用的源庫帳號>命令,使此帳號能夠以待遷移對象的Owner身份執行相關操作)。說明具有cloudsqlsuperuser許可權的帳號,無法管理Owner為其他cloudsqlsuperuser許可權帳號的資料。
PostgreSQL遷移至MySQL
具體注意事項及限制如下:
類型 | 說明 |
源庫限制 |
|
其他限制 |
|
特殊情況 |
|
PostgreSQL遷移至PolarDB PostgreSQL版(相容Oracle)
具體注意事項及限制如下:
類型 | 說明 |
源庫限制 |
|
其他限制 |
|
特殊情況 |
|