本文介绍如何使用数据传输服务DTS(Data Transmission Service),将自建Oracle迁移至PolarDB MySQL集群。DTS支持结构迁移、全量数据迁移以及增量数据迁移,同时使用这三种迁移类型可以实现在本地应用不停服的情况下,平滑地完成Oracle数据库的数据迁移。
前提条件
- 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c版本。
- 自建Oracle数据库已开启Supplemental Logging,且要求supplemental_log_data_pk,supplemental_log_data_ui已开启,详情请参见Supplemental Logging。
- 自建Oracle数据库已开启ARCHIVELOG(归档模式),设置合理的归档日志保持周期且归档日志能够被访问,详情请参见ARCHIVELOG。
- PolarDB MySQL集群的存储空间须大于自建Oracle数据库占用的存储空间。
注意事项
- DTS在执行全量数据迁移时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,甚至导致数据库服务不可用。因此您需要在执行数据迁移前评估源库和目标库的性能,同时建议您在业务低峰期执行数据迁移(例如源库和目标库的CPU负载在30%以下)。
- 如果源库中待迁移的表没有主键或唯一约束,且所有字段没有唯一性,可能会导致目标数据库中出现重复数据。
- 对于迁移失败的任务,DTS会触发自动恢复。当您需要将业务切换至目标实例,请务必先终止或释放该任务,避免该任务被自动恢复,导致源端数据覆盖目标实例的数据。
- PolarDB MySQL集群对表名的英文大小写不敏感,如果使用大写英文建表,PolarDB MySQL会先把表名转为小写再执行建表操作。
如果源Oracle数据库中存在表名相同仅大小写不同的表,可能会导致迁移对象重名并在结构迁移中提示“对象已经存在”。如果出现这种情况,请在配置迁移对象的时候,使用DTS提供的对象名映射功能对重名的对象进行重命名,详情请参见库表列映射。
- DTS会自动地在阿里云PolarDB MySQL中创建数据库,如果待迁移的数据库名称不符合阿里云PolarDB的定义规范,您需要在配置迁移任务之前在阿里云PolarDB MySQL中创建数据库。关于阿里云PolarDB的定义规范和创建数据库的操作方法,请参见创建数据库。
费用说明
迁移类型 | 链路配置费用 | 公网流量费用 |
---|---|---|
结构迁移和全量数据迁移 | 不收费。 | 通过公网将数据迁移出阿里云时将收费,详情请参见产品定价。 |
增量数据迁移 | 收费,详情请参见产品定价。 |
迁移类型说明
- 结构迁移
DTS支持结构迁移的对象为表和索引,暂不支持视图、同义词、触发器、存储过程、存储函数、包、自定义类型等。表和索引的结构迁移存在以下限制:
- 表:不支持嵌套表;对于聚簇表和索引组织表,会在目标端转换成普通的表。
- 索引:不支持Function-Based Index、Domain Index、Bitmap Index和ReverseIndex。
- 全量数据迁移
DTS会将自建Oracle数据库迁移对象的存量数据,全部迁移到目标PolarDB MySQL集群数据库中 。
- 增量数据迁移
在全量迁移的基础上,DTS会轮询并捕获自建Oracle数据库产生的redolog,将自建Oracle数据库的增量更新数据同步到目标PolarDB MySQL集群数据库中。通过增量数据迁移可以实现在本地应用不停服的情况下,平滑地完成Oracle数据库的数据迁移工作。
数据类型映射关系
此场景属于异构数据库间的数据迁移,DTS在执行结构迁移时数据类型无法完全对应,请谨慎评估数据类型的映射关系对业务的影响,详情请参见异构数据库间的数据类型映射关系。
准备工作
登录待迁移的Oracle数据库,创建用于采集数据的账号并授权。
数据库 | 结构迁移 | 全量迁移 | 增量数据迁移 |
---|---|---|---|
自建Oracle数据库 | schema的owner权限 | schema的owner权限 | DBA |
PolarDB MySQL集群 | schema的owner权限 | schema的owner权限 | schema的owner权限 |
数据库账号创建及授权方法:
- 自建Oracle数据库请参见CREATE USER和GRANT。
- PolarDB MySQL集群请参见创建数据库账号和管理数据库账号
create session; connect; resource; execute on sys.dbms_logmnr; select on v_$logmnr_contents; select on v_$log; select on v_$logfile; select on v_$archived_log; select on v_$logmnr_logs; select on v_$parameter; select on v_$database; select on all_objects; select on all_tab_cols; select on dba_registry; select any table; select any transaction; select on v$active_instances; select on v$instance; select on sys.USER$; select on SYS.OBJ$; select on SYS.COL$; select on SYS.IND$; select on SYS.ICOL$; select on SYS.CDEF$; select on SYS.CCOL$; select on SYS.TABPART$; select on SYS.TABSUBPART$; select on SYS.TABCOMPART$; select on gv_$listener_network;
#需要对PDB和CDB同时授权 #PDB权限: create session; connect; resource; select on all_objects; select on all_tab_cols; select on dba_registry; select any table; select any transaction; select on v_$log; select on v_$logfile; select on v_$archived_log; select on v_$parameter; select on v_$database; select on v_$active_instances; select on v_$instance; select on V_$PDBS; select on sys.USER$; select on SYS.OBJ$; select on SYS.COL$; select on SYS.IND$; select on SYS.ICOL$; select on SYS.CDEF$; select on SYS.CCOL$; select on SYS.TABPART$; select on SYS.TABSUBPART$; select on SYS.TABCOMPART$; #CDB权限: create session; LOGMINING; select on v_$logmnr_contents;
#本示例以名称为dtstest的数据库账号为例介绍授权命令 create user dtstest IDENTIFIED BY rdsdt_dtsacct; grant create session to dtstest; grant connect to dtstest; grant resource to dtstest; grant execute on sys.dbms_logmnr to dtstest; grant select on v_$logmnr_contents to dtstest; grant select on v_$log to dtstest; grant select on v_$logfile to dtstest; grant select on v_$archived_log to dtstest; grant select on v_$logmnr_logs to dtstest; grant select on v_$parameter to dtstest; grant select on v_$database to dtstest; grant select on all_objects to dtstest; grant select on all_tab_cols to dtstest; grant select on dba_registry to dtstest; grant select any table to dtstest; grant select any transaction to dtstest; grant select on v$active_instances to dtstest; grant select on v$instance to dtstest; grant select on sys.USER$ to dtstest; grant select on SYS.OBJ$ to dtstest; grant select on SYS.COL$ to dtstest; grant select on SYS.IND$ to dtstest; grant select on SYS.ICOL$ to dtstest; grant select on SYS.CDEF$ to dtstest; grant select on SYS.CCOL$ to dtstest; grant select on SYS.TABPART$ to dtstest; grant select on SYS.TABSUBPART$ to dtstest; grant select on SYS.TABCOMPART$ to dtstest; grant select on gv_$listener_network to dtstest;
#本示例以名称为dtstest的数据库账号为例介绍授权命令,需要对PDB和CDB同时授权 #PDB授权示例: create user dtstest IDENTIFIED BY rdsdt_dtsacct; grant create session to dtstest; grant connect to dtstest; grant resource to dtstest; grant select on all_objects to dtstest; grant select on all_tab_cols to dtstest; grant select on dba_registry to dtstest; grant select any table to dtstest; grant select any transaction to dtstest; -- v$log privileges grant select on v_$log to dtstest; -- v$logfile privileges grant select on v_$logfile to dtstest; -- v$archived_log privileges grant select on v_$archived_log to dtstest; -- v$parameter privileges grant select on v_$parameter to dtstest; -- v$database privileges grant select on v_$database to dtstest; -- v$active_instances privileges grant select on v_$active_instances to dtstest; -- v$instance privileges grant select on v_$instance to dtstest; -- V$PDBS privileges grant select on V_$PDBS to dtstest; grant select on sys.USER$ to dtstest; grant select on SYS.OBJ$ to dtstest; grant select on SYS.COL$ to dtstest; grant select on SYS.IND$ to dtstest; grant select on SYS.ICOL$ to dtstest; grant select on SYS.CDEF$ to dtstest; grant select on SYS.CCOL$ to dtstest; grant select on SYS.TABPART$ to dtstest; grant select on SYS.TABSUBPART$ to dtstest; grant select on SYS.TABCOMPART$ to dtstest; #CDB授权示例: create user dtstest IDENTIFIED BY rdsdt_dtsacct; grant create session to dtstest; grant LOGMINING TO dtstest; -- v$logmnr_contents privileges grant select on v_$logmnr_contents to dtstest;
操作步骤
后续操作
用于数据迁移的数据库帐号拥有读写权限,为保障数据库安全性,请在数据迁移完成后,删除自建Oracle数据库和PolarDB MySQL集群中用于迁移的数据库帐号。
更多信息
DTS支持在自建Oracle迁移至PolarDB MySQL集群时的数据反向回流,您可以使用该功能将PolarDB MySQL集群中产生的数据变化同步回自建Oracle数据库。如您有相关需求,请提交工单申请开通。