全部產品
Search

搜尋本產品

    Data Transmission Service：從自建Oracle遷移至PolarDB MySQL版

    文件中心

    Data Transmission Service：從自建Oracle遷移至PolarDB MySQL版

    更新時間：Jul 06, 2024

    本文介紹如何使用Data Transmission Service，將自建Oracle遷移至PolarDB MySQL版叢集。DTS支援結構遷移、全量資料移轉以及增量資料移轉，同時使用這三種遷移類型可以實現在本地應用不停服的情況下，平滑地完成Oracle資料庫的資料移轉。

    前提條件

    • 自建Oracle資料庫的版本為9i、10g、11g、12c、18c或19c版本。
    • 自建Oracle資料庫已開啟Supplemental Logging，且要求supplemental_log_data_pk，supplemental_log_data_ui已開啟，詳情請參見Supplemental Logging。
    • 自建Oracle資料庫已開啟ARCHIVELOG（歸檔模式），設定合理的歸檔日誌保持周期且歸檔日誌能夠被訪問，詳情請參見ARCHIVELOG。
    • PolarDB MySQL版叢集的儲存空間須大於自建Oracle資料庫佔用的儲存空間。

    注意事項

    • DTS在執行全量資料移轉時將佔用源庫和目標庫一定的讀寫資源，可能會導致資料庫的負載上升，在資料庫效能較差、規格較低或業務量較大的情況下（例如源庫有大量慢SQL、存在無主鍵表或目標庫存在死結等），可能會加重資料庫壓力，甚至導致資料庫服務不可用。因此您需要在執行資料移轉前評估源庫和目標庫的效能，同時建議您在業務低峰期執行資料移轉（例如源庫和目標庫的CPU負載在30%以下）。

    • 如果源庫中待遷移的表沒有主鍵或唯一約束，且所有欄位沒有唯一性，可能會導致目標資料庫中出現重複資料。

    • 如自建Oracle為RAC結構，且需接入阿里雲VPC，為保證DTS任務成功運行，您需要將Oracle RAC的SCAN IP和每個節點的VIP均接入至阿里雲VPC，並且配置路由。具體步驟，請參見通過VPN網關實現本地IDC與DTS雲端服務互連。

      重要

      在DTS控制台上配置源Oracle資料庫資訊時，在資料庫地址或者IP地址只需輸入Oracle RAC的SCAN IP。

    • 對於遷移失敗的任務，DTS會觸發自動回復。當您需要將業務切換至目標執行個體，請務必先終止或釋放該任務，避免該任務被自動回復，導致源端資料覆蓋目標執行個體的資料。
    • PolarDB MySQL版叢集對錶名的英文大小寫不敏感，如果使用大寫英文建表，PolarDB MySQL版會先把表名轉為小寫再執行建表操作。

      如果源Oracle資料庫中存在表名相同僅大小寫不同的表，可能會導致遷移對象重名並在結構遷移中提示“對象已經存在”。如果出現這種情況，請在配置遷移對象的時候，使用DTS提供的對象名映射功能對重名的對象進行重新命名，詳情請參見庫表列映射。

    • DTS會自動地在阿里雲PolarDB MySQL版中建立資料庫，如果待遷移的資料庫名稱不符合阿里雲PolarDB的定義規範，您需要在配置遷移任務之前在阿里雲PolarDB MySQL版中建立資料庫。關於阿里雲PolarDB的定義規範和建立資料庫的操作方法，請參見建立資料庫。

    費用說明

    遷移類型

    鏈路配置費用

    公網流量費用

    結構遷移和全量資料移轉

    不收費。

    通過公網將資料移轉出阿里雲時將收費，詳情請參見計費概述。

    增量資料移轉

    收費，詳情請參見計費概述。

    遷移類型說明

    • 結構遷移
      DTS支援結構遷移的對象為表和索引，暫不支援視圖、同義字、觸發器、預存程序、儲存函數、包、自訂類型等。表和索引的結構遷移存在以下限制：
      • 表：不支援巢狀表格；對於聚簇表和索引組織表，會在目標端轉換成普通的表。
      • 索引：不支援Function-Based Index、Domain Index、Bitmap Index和ReverseIndex。
    • 全量資料移轉

      DTS會將自建Oracle資料庫遷移對象的存量資料，全部遷移到目標PolarDB MySQL叢集資料庫中 。

    • 增量資料移轉

      在全量遷移的基礎上，DTS會輪詢並捕獲自建Oracle資料庫產生的redolog，將自建Oracle資料庫的累加式更新資料同步到目標PolarDB MySQL叢集資料庫中。通過增量資料移轉可以實現在本地應用不停服的情況下，平滑地完成Oracle資料庫的資料移轉工作。

    資料類型映射關係

    此情境屬於異構資料庫間的資料移轉，DTS在執行結構遷移時資料類型無法完全對應，請謹慎評估資料類型的映射關係對業務的影響，詳情請參見異構資料庫間的資料類型映射關係。

    準備工作

    登入待遷移的Oracle資料庫，建立用於採集資料的帳號並授權。

    說明 如您已建立包含下述許可權的帳號，可跳過本步驟。
    資料庫結構遷移全量遷移增量資料移轉
    自建Oracle資料庫Schema的Owner許可權Schema的Owner許可權DBA
    PolarDB MySQL版叢集Schema的Owner許可權Schema的Owner許可權Schema的Owner許可權

    資料庫帳號建立及授權方法：

    Oracle的日誌開啟和精細化授權

    重要

    如需遷移增量資料，且不允許授予DBA許可權，您需要按照如下方法開啟歸檔和補充日誌，並為Oracle資料庫帳號授予更精細化的許可權。

    1. 開啟歸檔和補充日誌。

      日誌類型

      開啟步驟

      歸檔日誌

      執行如下命令，開啟歸檔日誌：

      shutdown immediate;
startup mount;
alter database archivelog;
alter database open;
archive log list;

      補充日誌

      按業務需求，選擇開啟庫層級補充日誌或者表層級補充日誌：

      說明

      開啟庫層級補充日誌，則DTS任務運行更為穩定；開啟表層級補充日誌，則更節約源Oracle資料庫的磁碟空間。

      • 開啟庫層級補充日誌

        1. 開啟最小補充日誌：

          alter database add supplemental log data;

        2. 開啟庫級主鍵、唯一鍵補充日誌：

          alter database add supplemental log data (primary key,unique index) columns;

      • 開啟表級補充日誌

        1. 開啟最小補充日誌：

          alter database add supplemental log data;

        2. 開啟表級補充日誌（兩者選其一） ：

          • 開啟表層級主鍵補充日誌

            alter table table_name add supplemental log data (primary key) columns;

          • 開啟表層級全欄位補充日誌

            alter table tb_name add supplemental log data (all) columns;

      記錄日誌

      執行如下命令，開啟記錄日誌：

      alter database force logging;

    2. 為Oracle資料庫帳號授予更精細化的許可權。

      Oracle 9i～11g版本

      #建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create session to rdsdt_dtsacct;
grant connect to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
-- system tables
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;

      Oracle 12c～19c（租戶式）

      #切換至PDB，建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權
ALTER SESSION SET container = ORCLPDB1;
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create  session to rdsdt_dtsacct;
grant connect  to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
-- V$PDBS privileges
grant select on V_$PDBS to rdsdt_dtsacct;
grant select on v$database to rdsdt_dtsacct;
grant select on dba_objects to rdsdt_dtsacct;
grant select on DBA_TAB_COMMENTS to rdsdt_dtsacct;
grant select on dba_tab_cols to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;

#切換至CDB$ROOT，並進行帳號建立並授權
ALTER SESSION SET container = CDB$ROOT;
#建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權，您需修改Oracle資料庫的預設參數。
alter session set "_ORACLE_SCRIPT"=true;
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create session to rdsdt_dtsacct;
grant connect to rdsdt_dtsacct;
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant LOGMINING TO rdsdt_dtsacct;
grant EXECUTE_CATALOG_ROLE to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;

      Oracle 12c~19c（非租戶式）

      #建立資料庫帳號（以rdsdt_dtsacct為例）並進行授權
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create  session to rdsdt_dtsacct;
grant connect  to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
grant select on v$database to rdsdt_dtsacct;
grant select on dba_objects to rdsdt_dtsacct;
grant select on DBA_TAB_COMMENTS to rdsdt_dtsacct;
grant select on dba_tab_cols to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
grant LOGMINING TO rdsdt_dtsacct;
grant EXECUTE_CATALOG_ROLE to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;
      說明

      關於Oracle（租戶式）的更多資訊，請參見Oracle資料庫多租戶。

    操作步驟

    1. 登入資料轉送控制台。

      說明

      若資料轉送控制台自動跳轉至Data Management控制台，您可以在右下角的jiqiren中單擊返回舊版，返回至舊版資料轉送控制台。

    2. 在左側導覽列，單擊資料移轉。

    3. 在遷移工作清單頁面頂部，選擇遷移的目的地組群所屬地區。

    4. 單擊頁面右上方的建立遷移任務。

    5. 配置遷移任務的源庫及目標庫資訊。
      DTS_自建Oracle至PolarDB MySQL
      類別配置說明
      無任務名稱DTS會自動產生一個任務名稱，建議配置具有業務意義的名稱（無唯一性要求），便於後續識別。
      源庫資訊執行個體類型根據源庫的部署位置進行選擇，本文以有公網IP的自建資料庫為例介紹配置流程。
      說明 當自建資料庫為其他執行個體類型時，您還需要執行相應的準備工作，詳情請參見準備工作概覽。
      執行個體地區當執行個體類型選擇為有公網IP的自建資料庫時，執行個體地區無需設定。
      說明 如果您的自建Oracle資料庫進行了白名單安全設定，您需要在執行個體地區配置項後，單擊擷取DTS IP段來擷取到DTS伺服器的IP地址，並將擷取到的IP地址加入自建Oracle資料庫的白名單安全設定中。
      資料庫類型選擇Oracle。
      主機名稱或IP地址填入自建Oracle資料庫的訪問地址，本案例填入公網地址。
      連接埠填入自建Oracle資料庫的服務連接埠（需開放至公網），預設為1521。
      執行個體類型
      • 非RAC執行個體：選擇該項後，您還需要填寫SID資訊。
      • RAC執行個體：選擇該項後，您還需要填寫ServiceName資訊。
      資料庫帳號填入自建Oracle的資料庫帳號，許可權要求請參見準備工作。
      資料庫密碼填入該資料庫帳號對應的密碼。
      說明 源庫資訊填寫完畢後，您可以單擊資料庫密碼後的測試連接來驗證填入的源庫資訊是否正確。源庫資訊填寫正確則提示測試通過；如果提示測試失敗，單擊測試失敗後的診斷，根據提示調整填寫的源庫資訊。
      目標庫資訊執行個體類型選擇PolarDB。
      執行個體地區選擇目標PolarDB MySQL版叢集所屬地區。
      PolarDB執行個體ID選擇目標PolarDB MySQL版叢集ID。
      資料庫帳號填入目標PolarDB MySQL版叢集的資料庫帳號，許可權要求請參見準備工作。
      資料庫密碼填入該資料庫帳號對應的密碼。
      說明 目標庫資訊填寫完畢後，您可以單擊資料庫密碼後的測試連接來驗證填入的目標庫資訊是否正確。目標庫資訊填寫正確則提示測試通過；如果提示測試失敗，單擊測試失敗後的診斷，根據提示調整填寫的目標庫資訊。
    6. 配置完成後，單擊頁面右下角的授權白名單並進入下一步。
      如果源或目標資料庫是阿里雲資料庫執行個體（例如RDS MySQL、ApsaraDB for MongoDB等），DTS會自動將對應地區DTS服務的IP地址添加到阿里雲資料庫執行個體的白名單；如果源或目標資料庫是ECS上的自建資料庫，DTS會自動將對應地區DTS服務的IP地址添到ECS的安全規則中，您還需確保自建資料庫沒有限制ECS的訪問（若資料庫是叢集部署在多個ECS執行個體，您需要手動將DTS服務對應地區的IP地址添到其餘每個ECS的安全規則中）；如果源或目標資料庫是IDC自建資料庫或其他雲資料庫，則需要您手動添加對應地區DTS服務的IP地址，以允許來自DTS伺服器的訪問。DTS服務的IP地址，請參見DTS伺服器的IP位址區段。
      警告

      DTS自動添加或您手動添加DTS服務的公網IP位址區段可能會存在安全風險，一旦使用本產品代表您已理解和確認其中可能存在的安全風險，並且需要您做好基本的安全防護，包括但不限於加強帳號密碼強度防範、限制各網段開放的連接埠號碼、內部各API使用鑒權方式通訊、定期檢查並限制不需要的網段，或者使用通過內網（專線/VPN網關/智能網關）的方式接入。

    7. 選擇遷移對象及遷移類型。
      選擇遷移類型和遷移對象
      配置說明
      遷移類型
      • 如果只需要進行全量遷移，同時選中結構遷移和全量資料移轉。
      • 如果需要進行不停機遷移，同時選中結構遷移、全量資料移轉和增量資料移轉。
      說明 如果沒有選擇增量資料移轉，為保障資料一致性，資料移轉期間請勿在源庫中寫入新的資料。
      遷移對象

      在遷移對象框中選中待遷移的對象，單擊向右小箭頭表徵圖將其移動到已選擇對象框。

      說明
      • 遷移對象選擇的粒度可以為庫、表、列三個粒度。
      • 預設情況下，遷移完成後，遷移對象名跟自建Oracle資料庫一致。如果您需要遷移對象在目標RDS執行個體上名稱不同，那麼需要使用DTS提供的對象名映射功能。使用方法請參見庫表列映射。
      映射名稱更改如需更改遷移對象在目標執行個體中的名稱，請使用對象名映射功能，詳情請參見庫表列映射。
      源、目標庫無法串連重試時間預設重試12小時，您也可以自訂重試時間。如果DTS在設定的時間內重新串連上源、目標庫，遷移任務將自動回復。否則，遷移任務將失敗。
      說明 由於串連重試期間，DTS將收取任務運行費用，建議您根據業務需要自訂重試時間，或者在源和目標庫執行個體釋放後儘快釋放DTS執行個體。

    8. 上述配置完成後，單擊頁面右下角的預檢查並啟動。

      說明

      • 在遷移任務正式啟動之前，會先進行預檢查。只有預檢查通過後，才能成功啟動遷移任務。

      • 如果預檢查失敗，單擊具體檢查項後的提示，查看失敗詳情。

        • 您可以根據提示修複後重新進行預檢查。

        • 如無需修複警示檢測項，您也可以選擇確認屏蔽、忽略警示項並重新進行預檢查，跳過警示檢測項重新進行預檢查。

    9. 預檢查通過後，單擊下一步。

    10. 在彈出的購買配置確認對話方塊，選擇鏈路規格並選中資料轉送（隨用隨付）服務條款。

    11. 單擊購買並啟動，遷移任務正式開始。

      • 結構遷移+全量資料移轉

        請勿手動結束遷移任務，否則可能會導致資料不完整。您只需等待遷移任務完成即可，遷移任務會自動結束。

      • 結構遷移+全量資料移轉+增量資料移轉

        遷移任務不會自動結束，您需要手動結束遷移任務。

        重要

        請選擇合適的時間手動結束遷移任務，例如業務低峰期或準備將業務切換至目的地組群時。

        1. 觀察遷移任務的進度變更為增量遷移，並顯示為無延遲狀態時，將源庫停寫幾分鐘，此時增量遷移的狀態可能會顯示延遲的時間。

        2. 等待遷移任務的增量遷移再次進入無延遲狀態後，手動結束遷移任務。結束增量遷移任務

    12. 將業務切換至PolarDB MySQL。

    後續操作

    用於資料移轉的資料庫帳號擁有讀寫權限，為保障資料庫安全性，請在資料移轉完成後，刪除自建Oracle資料庫和PolarDB MySQL叢集中用於遷移的資料庫帳號。

    更多資訊

    DTS支援在自建Oracle遷移至PolarDB MySQL叢集時的資料反向迴流，您可以使用該功能將PolarDB MySQL叢集中產生的資料變化同步回自建Oracle資料庫。