全部產品
Search

搜尋本產品

    Data Transmission Service：從自建Oracle遷移至PolarDB PostgreSQL版（相容Oracle）叢集

    文件中心

    Data Transmission Service：從自建Oracle遷移至PolarDB PostgreSQL版（相容Oracle）叢集

    更新時間：Oct 17, 2024

    PolarDB是阿里雲自研的下一代關係型雲資料庫，有三個獨立的引擎，分別可以100%相容MySQL、100%相容PostgreSQL、高度相容Oracle文法，適用於企業多樣化的資料庫應用情境。通過使用Data Transmission Service，您可以將自建Oracle遷移至PolarDB PostgreSQL版（相容Oracle）叢集。

    前提條件

    • 自建Oracle資料庫的版本為9i、10g、11g、12c、18c或19c版本。
    • 自建Oracle資料庫已開啟ARCHIVELOG（歸檔模式），設定合理的歸檔日誌保持周期且歸檔日誌能夠被訪問，詳情請參見ARCHIVELOG。
    • 自建Oracle資料庫已開啟Supplemental Logging，且已開啟supplemental_log_data_pk，supplemental_log_data_ui，詳情請參見Supplemental Logging。
    • 自建Oracle資料庫中的待遷移表需具備主鍵或非空唯一索引。

    注意事項

    • DTS在執行全量資料移轉時將佔用源庫和目標庫一定的讀寫資源，可能會導致資料庫的負載上升，在資料庫效能較差、規格較低或業務量較大的情況下（例如源庫有大量慢SQL、存在無主鍵表或目標庫存在死結等），可能會加重資料庫壓力，甚至導致資料庫服務不可用。因此您需要在執行資料移轉前評估源庫和目標庫的效能，同時建議您在業務低峰期執行資料移轉（例如源庫和目標庫的CPU負載在30%以下）。

    • 對於遷移失敗的任務，DTS會觸發自動回復。在您將業務切換至目標庫之前，請務必先停止或釋放該任務，避免該任務被自動回復，導致源端資料覆蓋目標庫的資料。
    • 如果您的自建Oracle版本為12c及以上，待遷移表的名稱長度需不超過30個位元組。

    • 如自建Oracle為RAC結構，且需接入阿里雲VPC，為保證DTS任務成功運行，您需要將Oracle RAC的SCAN IP和每個節點的VIP均接入至阿里雲VPC，並且配置路由。具體步驟，請參見通過VPN網關實現本地IDC與DTS雲端服務互連。

      重要

      在DTS控制台上配置源Oracle資料庫資訊時，在資料庫地址或者IP地址只需輸入Oracle RAC的SCAN IP。

    費用說明

    遷移類型

    鏈路配置費用

    公網流量費用

    結構遷移和全量資料移轉

    不收費。

    通過公網將資料移轉出阿里雲時將收費，詳情請參見計費概述。

    增量資料移轉

    收費，詳情請參見計費概述。

    遷移類型說明

    遷移類型說明
    結構遷移DTS將遷移對象的結構定義遷移到目標PolarDB PostgreSQL版（相容Oracle）叢集（簡稱PolarDB叢集）。目前DTS支援的對象包括：表、視圖、同義字、觸發器、預存程序、儲存函數、包、自訂類型。
    說明 不相容觸發器。當遷移對象包含了觸發器可能導致資料不一致。
    全量資料移轉DTS會將自建Oracle資料庫遷移對象的存量資料，全部遷移至PolarDB叢集。
    說明 在結構遷移和全量資料移轉完成之前，請勿對遷移對象執行DDL操作，否則可能導致遷移失敗。
    增量資料移轉DTS在全量資料移轉的基礎上輪詢並捕獲自建Oracle資料庫產生的redo log，將自建Oracle資料庫的累加式更新資料同步到目標PolarDB叢集中。
    支援增量資料移轉的SQL操作為：
    • DML：INSERT、UPDATE、DELETE。
    • DDL：
      • CREATE TABLE
        說明 不支援分區、子分區表，表定義內部包含函數，以及CREATETABLE AS SELECT。
      • ALTER TABLE，包含ADD COLUMN、ADD INDEX、DROP COLUMN、DROP INDEX、MODIFY COLUMN、RENAME COLUMN
      • DROP TABLE
      • RENAME TABLE、TRUNCATE TABLE 、CREATE INDEX

    通過增量資料移轉可以實現在自建應用不停服的情況下，平滑地完成Oracle資料庫遷移至PolarDB叢集。

    準備工作

    登入待遷移的Oracle資料庫，建立用於採集資料的帳號並授權。

    說明 如您已建立包含下述許可權的帳號，可跳過本步驟。
    資料庫結構遷移全量遷移增量資料移轉
    自建Oracle資料庫Schema的Owner許可權Schema的Owner許可權DBA
    PolarDB叢集Schema的Owner許可權Schema的Owner許可權Schema的Owner許可權

    資料庫帳號建立及授權方法：

    Oracle的日誌開啟和精細化授權

    重要

    如需遷移增量資料，且不允許授予DBA許可權，您需要按照如下方法開啟歸檔和補充日誌，並為Oracle資料庫帳號授予更精細化的許可權。

    1. 開啟歸檔和補充日誌。

      日誌類型

      開啟步驟

      歸檔日誌

      執行如下命令，開啟歸檔日誌：

      shutdown immediate;
startup mount;
alter database archivelog;
alter database open;
archive log list;

      補充日誌

      按業務需求，選擇開啟庫層級補充日誌或者表層級補充日誌：

      說明

      開啟庫層級補充日誌，則DTS任務運行更為穩定；開啟表層級補充日誌，則更節約源Oracle資料庫的磁碟空間。

      • 開啟庫層級補充日誌

        1. 開啟最小補充日誌：

          alter database add supplemental log data;

        2. 開啟庫級主鍵、唯一鍵補充日誌：

          alter database add supplemental log data (primary key,unique index) columns;

      • 開啟表級補充日誌

        1. 開啟最小補充日誌：

          alter database add supplemental log data;

        2. 開啟表級補充日誌（兩者選其一） ：

          • 開啟表層級主鍵補充日誌

            alter table table_name add supplemental log data (primary key) columns;

          • 開啟表層級全欄位補充日誌

            alter table tb_name add supplemental log data (all) columns;

      記錄日誌

      執行如下命令，開啟記錄日誌：

      alter database force logging;

    2. 為Oracle資料庫帳號授予更精細化的許可權。

      Oracle 9i～11g版本

      #建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create session to rdsdt_dtsacct;
grant connect to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
-- system tables
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;

      Oracle 12c～19c（租戶式）

      #切換至PDB，建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權
ALTER SESSION SET container = ORCLPDB1;
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create  session to rdsdt_dtsacct;
grant connect  to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
-- V$PDBS privileges
grant select on V_$PDBS to rdsdt_dtsacct;
grant select on v$database to rdsdt_dtsacct;
grant select on dba_objects to rdsdt_dtsacct;
grant select on DBA_TAB_COMMENTS to rdsdt_dtsacct;
grant select on dba_tab_cols to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;

#切換至CDB$ROOT，並進行帳號建立並授權
ALTER SESSION SET container = CDB$ROOT;
#建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權，您需修改Oracle資料庫的預設參數。
alter session set "_ORACLE_SCRIPT"=true;
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create session to rdsdt_dtsacct;
grant connect to rdsdt_dtsacct;
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant LOGMINING TO rdsdt_dtsacct;
grant EXECUTE_CATALOG_ROLE to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;

      Oracle 12c~19c（非租戶式）

      #建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create  session to rdsdt_dtsacct;
grant connect  to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
grant select on v$database to rdsdt_dtsacct;
grant select on dba_objects to rdsdt_dtsacct;
grant select on DBA_TAB_COMMENTS to rdsdt_dtsacct;
grant select on dba_tab_cols to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
grant LOGMINING TO rdsdt_dtsacct;
grant EXECUTE_CATALOG_ROLE to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;
      說明

      關於Oracle（租戶式）的更多資訊，請參見Oracle資料庫多租戶。

    操作步驟

    1. 登入資料轉送控制台。

      說明

      若資料轉送控制台自動跳轉至Data Management控制台，您可以在右下角的jiqiren中單擊返回舊版，返回至舊版資料轉送控制台。

    2. 在左側導覽列，單擊資料移轉。

    3. 在遷移工作清單頁面頂部，選擇遷移的目的地組群所屬地區。

    4. 單擊頁面右上方的建立遷移任務。

    5. 配置遷移任務的源庫和目標庫串連資訊。
      配置源庫和目標庫串連資訊
      類別配置說明
      無任務名稱DTS會自動產生一個任務名稱，建議配置具有業務意義的名稱（無唯一性要求），便於後續識別。
      源庫資訊執行個體類型根據源庫的部署位置進行選擇，本文以有公網IP的自建資料庫為例介紹配置流程。
      說明 當自建資料庫為其他執行個體類型時，您還需要執行相應的準備工作，詳情請參見準備工作概覽。
      執行個體地區當執行個體類型選擇為有公網IP的自建資料庫時，執行個體地區無需設定。
      說明 如果您的自建Oracle資料庫進行了白名單安全設定，您需要在執行個體地區配置項後，單擊擷取DTS IP段來擷取到DTS伺服器的IP地址，並將擷取到的IP地址加入自建Oracle資料庫的白名單安全設定中。
      資料庫類型選擇Oracle。
      主機名稱或IP地址填入自建Oracle資料庫的訪問地址，此處填入公網IP地址。
      連接埠填入自建Oracle資料庫的服務連接埠，預設為1521。
      說明 本案例中，該服務連接埠已開放至公網。
      執行個體類型
      • 非RAC執行個體：選擇該項後，您還需要填寫SID資訊。
      • RAC執行個體：選擇該項後，您還需要填寫ServiceName資訊。
      資料庫帳號填入自建Oracle的資料庫帳號，許可權要求請參見準備工作。
      資料庫密碼填入該資料庫帳號對應的密碼。
      說明

      源庫資訊填寫完畢後，您可以單擊資料庫密碼後的測試連接來驗證填入的源庫資訊是否正確。源庫資訊填寫正確則提示測試通過；如果提示測試失敗，單擊測試失敗後的診斷，根據提示調整填寫的源庫資訊。

      目標庫資訊執行個體類型選擇PolarDB。
      執行個體地區選擇目標PolarDB叢集所屬地區。
      PolarDB執行個體ID選擇目標PolarDB叢集ID。
      資料庫名稱填入待遷入資料的資料庫名稱。
      資料庫帳號填入目標PolarDB叢集的資料庫帳號，許可權要求請參見準備工作。
      資料庫密碼填入該資料庫帳號對應的密碼。
      說明

      目標庫資訊填寫完畢後，您可以單擊資料庫密碼後的測試連接來驗證填入的目標庫資訊是否正確。目標庫資訊填寫正確則提示測試通過；如果提示測試失敗，單擊測試失敗後的診斷，根據提示調整填寫的目標庫資訊。

    6. 配置完成後，單擊頁面右下角的授權白名單並進入下一步。
      如果源或目標資料庫是阿里雲資料庫執行個體（例如RDS MySQL、ApsaraDB for MongoDB等），DTS會自動將對應地區DTS服務的IP地址添加到阿里雲資料庫執行個體的白名單；如果源或目標資料庫是ECS上的自建資料庫，DTS會自動將對應地區DTS服務的IP地址添到ECS的安全規則中，您還需確保自建資料庫沒有限制ECS的訪問（若資料庫是叢集部署在多個ECS執行個體，您需要手動將DTS服務對應地區的IP地址添到其餘每個ECS的安全規則中）；如果源或目標資料庫是IDC自建資料庫或其他雲資料庫，則需要您手動添加對應地區DTS服務的IP地址，以允許來自DTS伺服器的訪問。DTS服務的IP地址，請參見DTS伺服器的IP位址區段。
      警告

      DTS自動添加或您手動添加DTS服務的公網IP位址區段可能會存在安全風險，一旦使用本產品代表您已理解和確認其中可能存在的安全風險，並且需要您做好基本的安全防護，包括但不限於加強帳號密碼強度防範、限制各網段開放的連接埠號碼、內部各API使用鑒權方式通訊、定期檢查並限制不需要的網段，或者使用通過內網（專線/VPN網關/智能網關）的方式接入。

    7. 選擇遷移類型和遷移對象。
      選擇遷移類型和遷移對象
      配置說明
      遷移類型
      • 如果只需要進行全量遷移，則同時勾選結構遷移和全量資料移轉。
      • 如果需要進行不停機遷移，則同時勾選結構遷移、全量資料移轉和增量資料移轉。
      說明
      • 如果未勾選增量資料移轉，為保障資料一致性，資料移轉期間請勿在源庫中寫入新的資料。
      • 如果勾選增量資料移轉，資料移轉期間，DTS會增量遷移無主鍵表的ROWID列，可用於無主鍵表的資料去重和資料校正。
      遷移對象

      在遷移對象框中單擊待遷移的對象，然後單擊向右小箭頭將其移動至已選擇對象框。

      說明
      • 遷移對象選擇的粒度為庫、表、列。
      • 預設情況下，遷移對象在目標庫中的名稱與源庫保持一致。如果您需要改變遷移對象在目標庫中的名稱，需要使用對象名映射功能，詳情請參見庫表列映射。
      • 如果使用了對象名映射功能，可能會導致依賴這個對象的其他對象遷移失敗。
      映射名稱更改如需更改遷移對象在目標執行個體中的名稱，請使用對象名映射功能，詳情請參見庫表列映射。
      說明 如果使用了對象名映射功能，可能會導致依賴這個對象的其他對象遷移失敗。
      源、目標庫無法串連重試時間預設重試12小時，您也可以自訂重試時間。如果DTS在設定的時間內重新串連上源、目標庫，遷移任務將自動回復。否則，遷移任務將失敗。
      說明 由於串連重試期間，DTS將收取任務運行費用，建議您根據業務需要自訂重試時間，或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。

    8. 上述配置完成後，單擊頁面右下角的預檢查並啟動。

      說明

      • 在遷移任務正式啟動之前，會先進行預檢查。只有預檢查通過後，才能成功啟動遷移任務。

      • 如果預檢查失敗，單擊具體檢查項後的提示，查看失敗詳情。

        • 您可以根據提示修複後重新進行預檢查。

        • 如無需修複警示檢測項，您也可以選擇確認屏蔽、忽略警示項並重新進行預檢查，跳過警示檢測項重新進行預檢查。

    9. 預檢查通過後，單擊下一步。

    10. 在彈出的購買配置確認對話方塊，選擇鏈路規格並選中資料轉送（隨用隨付）服務條款。

    11. 單擊購買並啟動，遷移任務正式開始。

      • 結構遷移+全量資料移轉

        請勿手動結束遷移任務，否則可能會導致資料不完整。您只需等待遷移任務完成即可，遷移任務會自動結束。

      • 結構遷移+全量資料移轉+增量資料移轉

        遷移任務不會自動結束，您需要手動結束遷移任務。

        重要

        請選擇合適的時間手動結束遷移任務，例如業務低峰期或準備將業務切換至目的地組群時。

        1. 觀察遷移任務的進度變更為增量遷移，並顯示為無延遲狀態時，將源庫停寫幾分鐘，此時增量遷移的狀態可能會顯示延遲的時間。

        2. 等待遷移任務的增量遷移再次進入無延遲狀態後，手動結束遷移任務。結束增量遷移任務

    12. 將業務切換至PolarDB MySQL版叢集。