全部产品
Search

搜索本产品

    数据传输服务 DTS：自建Oracle迁移至自建PostgreSQL

    文档中心

    数据传输服务 DTS：自建Oracle迁移至自建PostgreSQL

    更新时间：Jul 28, 2023

    本文介绍如何使用数据传输服务DTS（Data Transmission Service），将自建Oracle迁移至自建PostgreSQL实例。DTS支持结构迁移、全量数据迁移以及增量数据迁移，同时使用这三种迁移类型可以实现在本地应用不停服的情况下，平滑地完成Oracle数据库的数据迁移。

    前提条件

    • 自建Oracle数据库的版本为9i、10g、11g、12c、18c或19c。
    • 自建Oracle数据库已开启ARCHIVELOG（归档模式），设置合理的归档日志保持周期且归档日志能够被访问，详情请参见ARCHIVELOG。
    • 自建Oracle数据库已开启Supplemental Logging、Supplemental_log_data_pk和Supplemental_log_data_ui，详情请参见Supplemental Logging。
    • 自建Oracle数据库中的待迁移表需具备主键或非空唯一索引。
    • 已创建PostgreSQL实例。

    注意事项

    说明
    • 在库表结构迁移过程中，DTS会将源数据库中的外键迁移到目标数据库。
    • 在全量迁移和增量迁移过程中，DTS会以Session级别暂时禁用约束检查以及外键级联操作。若任务运行时源库存在级联更新、删除操作，可能会导致数据不一致。

    类型

    说明

    源库限制

    • 带宽要求：源库所属的服务器需具备足够出口带宽，否则将影响数据迁移速率。

    • 如果源库通过专线的方式接入，那么需要将其中任意1个VIP配置到连接信息中，实现Oracle RAC通过专线接入迁移任务。

    • 如自建Oracle为RAC架构，且用专线/VPN网关/智能接入网关、数据库网关DG、云企业网CEN和ECS的接入方式，则不支持配置ScanIP，仅支持将其中任意1个VIP配置到连接信息中，该方式配置后不支持RAC的节点切换。

    • 如果源库存在varchar2类型的空字符串（Oracle会将其处理为null）且对应的目标库字段有非空约束，将会导致迁移任务失败。

    • 迁移对象要求：

      • 待迁移的表需具备主键或唯一约束，且字段具有唯一性，否则可能会导致目标数据库中出现重复数据。

      • 如果您的自建Oracle版本为12c及以上，待迁移表的名称长度需不超过30个字节。

      • 如迁移对象为表级别，且需进行编辑（如表列名映射），则单次迁移任务仅支持迁移至多1000张表。当超出数量限制，任务提交后会显示请求报错，此时建议您拆分待迁移的表，分批配置多个任务，或者配置整库的迁移任务。

    • 如需进行增量迁移，Redo Log、Archive Log：

      • 需开启。

      • 如为增量迁移任务，DTS要求源数据库的Redo Log、Archive Log保存24小时以上，如为全量迁移和增量迁移任务，DTS要求源数据库的Redo Log、Archive Log至少保留7天以上（您可在全量迁移完成后将Redo Log、Archive Log保存时间设置为24小时以上），否则DTS可能因无法获取Redo Log、Archive Log而导致任务失败，极端情况下甚至可能会导致数据不一致或丢失。由于您所设置的Redo Log、Archive Log保存时间低于DTS要求的时间进而导致的问题，不在DTS的SLA保障范围内。

    • 源库的操作限制：

      • 在库表结构迁移和全量迁移阶段，请勿执行库或表结构变更的DDL操作，否则数据迁移任务失败。

      • 如仅执行全量数据迁移，请勿向源实例中写入新的数据，否则会导致源和目标数据不一致。为实时保持数据一致性，建议选择结构迁移、全量数据迁移和增量数据迁移。

      • 单独更新大文本字段场景不支持，任务会失败。

    其他限制

    • 执行数据迁移前需评估源库和目标库的性能，同时建议业务低峰期执行数据迁移。否则全量数据迁移时DTS占用源和目标库一定读写资源，可能会导致数据库的负载上升。

    • 由于全量数据迁移会并发执行INSERT操作，导致目标数据库的表产生碎片，因此全量迁移完成后目标数据库的表存储空间会比源实例的表存储空间大。

    • DTS会尝试恢复七天之内迁移失败任务。因此业务切换至目标实例前，请务必结束或释放该任务，或者将DTS访问目标实例账号的写权限用revoke命令回收掉。避免该任务被自动恢复后，源端数据覆盖目标实例的数据。

    • 由于目标PolarDB PostgreSQL版（兼容Oracle）集群会生成类似pg_oid_1498503_index的唯一索引，来对应源自建Oracle的ROWID，所以INDEX会比源自建Oracle多。

    • 源自建Oracle的CHECK约束迁移到目标PolarDB PostgreSQL版（兼容Oracle）集群后，会转换成NOT NULL约束。

    • 您自定义的Type可以迁移到目标PolarDB PostgreSQL版（兼容Oracle）集群，Oracle自动生成的Type Object（即内置对象）不会被迁移。

      说明

      PolarDB PostgreSQL版（兼容Oracle）集群已经支持Oracle中的内置对象，您无需迁移。

    费用说明

    迁移类型

    链路配置费用

    公网流量费用

    结构迁移和全量数据迁移

    不收费。

    通过公网将数据迁移出阿里云时将收费，详情请参见计费概述。

    增量数据迁移

    收费，详情请参见计费概述。

    迁移类型

    迁移类型说明
    结构迁移DTS将迁移对象的结构定义迁移到目标PostgreSQL实例。目前DTS支持的对象包括：表、视图、同义词、触发器、存储过程、存储函数、包、自定义类型。
    说明 暂不兼容触发器。建议您删除源库的触发器，以避免因触发器而导致数据不一致的问题。详情请参见源库存在触发器时如何配置同步作业。
    全量数据迁移DTS会将自建Oracle数据库迁移对象的存量数据，全部迁移至PostgreSQL实例。
    说明 在结构迁移和全量数据迁移完成之前，请勿对迁移对象执行DDL操作，否则可能导致迁移失败。
    增量数据迁移DTS在全量数据迁移的基础上轮询并捕获自建Oracle数据库产生的redo log，将自建Oracle数据库的增量更新数据同步到目标PostgreSQL实例中。

    通过增量数据迁移可以实现在自建应用不停服的情况下，平滑地完成Oracle数据库迁移至PostgreSQL实例。

    支持增量迁移的SQL操作

    操作类型SQL操作语句
    DMLINSERT、UPDATE、DELETE
    DDL
    • CREATE TABLE
      说明 不支持分区、子分区表，表定义内部包含函数，以及CREATE TABLE AS SELECT。
    • ALTER TABLE，包含ADD COLUMN、ADD INDEX、DROP COLUMN、DROP INDEX、MODIFY COLUMN、RENAME COLUMN
    • DROP TABLE
    • RENAME TABLE、TRUNCATE TABLE 、CREATE INDEX

    准备工作

    登录待迁移的Oracle数据库，创建用于采集数据的账号并授权。

    说明 如您已创建包含下述权限的账号，可跳过本步骤。
    数据库结构迁移全量迁移增量数据迁移
    自建Oracle数据库Schema的Owner权限Schema的Owner权限DBA
    自建PostgreSQL数据库Schema的Owner权限

    数据库账号创建及授权方法：

    重要

    如需迁移增量数据，且不允许授予DBA权限，您需要按照如下方法开启归档和补充日志，并为Oracle数据库账号授予更精细化的权限。

    1. 开启归档和补充日志。

      日志类型

      开启步骤

      归档日志

      执行如下命令，开启归档日志：

      shutdown immediate;
startup mount;
alter database archivelog;
alter database open;
archive log list;

      补充日志

      按业务需求，选择开启库级别补充日志或者表级别补充日志：

      说明

      开启库级别补充日志，则DTS任务运行更为稳定；开启表级别补充日志，则更节约源Oracle数据库的磁盘空间。

      • 开启库级别补充日志

        1. 打开最小补充日志：

          alter database add supplemental log data;

        2. 开启库级主键、唯一键补充日志：

          alter database add supplemental log data (primary key,unique index) columns;

      • 开启表级补充日志

        1. 打开最小补充日志：

          alter database add supplemental log data;

        2. 开启表级补充日志（两者选其一） ：

          • 开启表级别主键补充日志

            alter table table_name add supplemental log data (primary key) columns;

          • 开启表级别全字段补充日志

            alter table tb_name add supplemental log data (all) columns;

      记录日志

      执行如下命令，开启记录日志：

      alter database force logging;

    2. 为Oracle数据库账号授予更精细化的权限。

      Oracle 9i～11g版本

      #创建数据库账号（以rdsdt_dtsacct为例）并进行授权
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create session to rdsdt_dtsacct;
grant connect to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
-- system tables
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;

      Oracle 12c～19c（租户式）

      #切换至PDB，创建数据库账号（以rdsdt_dtsacct为例）并进行授权
ALTER SESSION SET container = ORCLPDB1;
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create  session to rdsdt_dtsacct;
grant connect  to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
-- V$PDBS privileges
grant select on V_$PDBS to rdsdt_dtsacct;
grant select on v$database to rdsdt_dtsacct;
grant select on dba_objects to rdsdt_dtsacct;
grant select on DBA_TAB_COMMENTS to rdsdt_dtsacct;
grant select on dba_tab_cols to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;

#切换至CDB$ROOT，并进行账号创建并授权
ALTER SESSION SET container = CDB$ROOT;
#创建数据库账号（以rdsdt_dtsacct为例）并进行授权，您需修改Oracle数据库的默认参数。
alter session set "_ORACLE_SCRIPT"=true;
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create session to rdsdt_dtsacct;
grant connect to rdsdt_dtsacct;
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant LOGMINING TO rdsdt_dtsacct;
grant EXECUTE_CATALOG_ROLE to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;

      Oracle 12c~19c（非租户式）

      #创建数据库账号（以rdsdt_dtsacct为例）并进行授权
create user rdsdt_dtsacct IDENTIFIED BY rdsdt_dtsacct;
grant create  session to rdsdt_dtsacct;
grant connect  to rdsdt_dtsacct;
grant resource to rdsdt_dtsacct;
grant select on V_$LOGMNR_LOGS to rdsdt_dtsacct;
grant select on  all_objects to rdsdt_dtsacct;
grant select on  all_tab_cols to rdsdt_dtsacct;
grant select on  dba_registry to rdsdt_dtsacct;
grant select any table to rdsdt_dtsacct;
grant select any transaction to rdsdt_dtsacct;
grant select on v$database to rdsdt_dtsacct;
grant select on dba_objects to rdsdt_dtsacct;
grant select on DBA_TAB_COMMENTS to rdsdt_dtsacct;
grant select on dba_tab_cols to rdsdt_dtsacct;
-- v$log privileges
grant select on v_$log to rdsdt_dtsacct;
-- v$logfile privileges
grant select on v_$logfile to rdsdt_dtsacct;
-- v$archived_log privileges
grant select on v_$archived_log to rdsdt_dtsacct;
-- v$parameter privileges
grant select on v_$parameter to rdsdt_dtsacct;
-- v$database privileges
grant select on v_$database to rdsdt_dtsacct;
-- v$active_instances privileges
grant select on v_$active_instances to rdsdt_dtsacct;
-- v$instance privileges
grant select on v_$instance to rdsdt_dtsacct;
-- v$logmnr_contents privileges
grant select on v_$logmnr_contents to rdsdt_dtsacct;
grant select on sys.USER$ to rdsdt_dtsacct;
grant select on SYS.OBJ$ to rdsdt_dtsacct;
grant select on SYS.COL$ to rdsdt_dtsacct;
grant select on SYS.IND$ to rdsdt_dtsacct;
grant select on SYS.ICOL$ to rdsdt_dtsacct;
grant select on SYS.CDEF$ to rdsdt_dtsacct;
grant select on SYS.CCOL$ to rdsdt_dtsacct;
grant select on SYS.TABPART$ to rdsdt_dtsacct;
grant select on SYS.TABSUBPART$ to rdsdt_dtsacct;
grant select on SYS.TABCOMPART$ to rdsdt_dtsacct;
grant LOGMINING TO rdsdt_dtsacct;
grant EXECUTE_CATALOG_ROLE to rdsdt_dtsacct;
grant execute on sys.dbms_logmnr to rdsdt_dtsacct;
grant select_catalog_role TO rdsdt_dtsacct;
      说明

      关于Oracle（租户式）的更多信息，请参见Oracle数据库多租户。

    操作步骤

    1. 进入迁移任务的列表页面。
      1. 登录DMS数据管理服务。
      2. 在顶部菜单栏中，单击集成与开发（DTS）。
      3. 在左侧导航栏，选择数据传输（DTS） > 数据迁移。
      说明
    2. 在迁移任务右侧，选择迁移实例所属地域。
      说明 新版DTS迁移任务列表页面，需要在页面左上角选择迁移实例所属地域。
    3. 单击创建任务，配置源库及目标库信息。
      警告 选择源和目标实例后，建议您仔细阅读页面上方显示的使用限制，否则可能会导致任务失败或数据不一致。
      类别配置说明
      无任务名称

      DTS会自动生成一个任务名称，建议配置具有业务意义的名称（无唯一性要求），便于后续识别。

      源库信息数据库类型选择Oracle。
      接入方式 根据源库的部署位置进行选择，本文以ECS自建数据库为例介绍配置流程。
      说明 当自建数据库为其他实例类型时，您还需要执行相应的准备工作，详情请参见准备工作概览。
      实例地区选择源Oracle数据库所属地域。
      ECS实例ID选择源Oracle数据库所属ECS实例ID。
      端口填入源Oracle数据库的服务端口，默认为1521。
      Oracle类型
      • 非RAC实例：选择该项后，您还需要填写SID信息。
      • RAC或PDB实例：选择该项后，您还需要填写ServiceName信息。
      数据库账号填入源Oracle数据库的账号，权限要求请参见准备工作。
      数据库密码

      填入该数据库账号对应的密码。

      目标库信息数据库类型选择PostgreSQL。
      接入方式根据目标库的部署位置进行选择，本文以ECS自建数据库为例介绍配置流程。
      实例地区选择目标PostgreSQL实例所属地域。
      ECS实例ID选择目标PostgreSQL数据库所属ECS的实例ID。
      端口填入目标PostgreSQL的服务端口，默认为3433。
      数据库名称填入目标PostgreSQL实例中迁移对象所属数据库的名称。
      数据库账号填入目标PostgreSQL实例的数据库账号，权限要求请参见准备工作。
      数据库密码

      填入该数据库账号对应的密码。

    4. 如果您的自建数据库具备白名单安全设置，您需要复制弹跳框中的DTS服务器IP地址，并加入自建数据库的白名单安全设置中。然后单击测试连接以进行下一步。
      警告 DTS自动添加或您手动添加DTS服务的公网IP地址段可能会存在安全风险，一旦使用本产品代表您已理解和确认其中可能存在的安全风险，并且需要您做好基本的安全防护，包括但不限于加强账号密码强度防范、限制各网段开放的端口号、内部各API使用鉴权方式通信、定期检查并限制不需要的网段，或者使用通过内网（专线/VPN网关/智能网关）的方式接入。
    5. 配置任务对象及高级配置。
      • 基础配置
        配置说明
        迁移类型
        • 如果只需要进行全量迁移，请同时选中库表结构迁移和全量迁移。
        • 如果需要进行不停机迁移，请同时选中库表结构迁移、全量迁移和增量迁移。
        说明 如果未选择增量迁移，为保障数据一致性，数据迁移期间请勿在源实例中写入新的数据。
        目标已存在表的处理模式

        • 预检查并报错拦截：检查目标数据库中是否有同名的表。如果目标数据库中没有同名的表，则通过该检查项目；如果目标数据库中有同名的表，则在预检查阶段提示错误，数据迁移任务不会被启动。

          说明 如果目标库中同名的表不方便删除或重命名，您可以更改该表在目标库中的名称，请参见库表列名映射。
        • 忽略报错并继续执行：跳过目标数据库中是否有同名表的检查项。
          警告 选择为忽略报错并继续执行，可能导致数据不一致，给业务带来风险，例如：
          • 表结构一致的情况下，在目标库遇到与源库主键的值相同的记录，则会保留目标库中的该条记录，即源库中的该条记录不会迁移至目标库中。
          • 表结构不一致的情况下，可能导致只能迁移部分列的数据或迁移失败，请谨慎操作。
        源库对象

        在源库对象框中单击待迁移的对象，然后单击向右小箭头将其移动到已选择对象框。

        映射名称更改
        • 如需更改单个迁移对象在目标实例中的名称，请右击已选择对象中的迁移对象，设置方式，请参见库表列名单个映射。
        • 如需批量更改迁移对象在目标实例中的名称，请单击已选择对象方框右上方的批量编辑设置方式，请参见库表列名批量映射。
        说明 如果使用了对象名映射功能，可能会导致依赖这个对象的其他对象迁移失败。
        过滤待迁移数据

        支持设置条件过滤数据，详情请参见通过SQL条件过滤任务数据。

        增量迁移的SQL操作选择增量迁移SQL操作，请右击已选择对象中的迁移对象，在弹跳框中选择所需增量迁移的SQL操作。支持的操作，请参见支持增量迁移的SQL操作。
      • 高级配置
        配置说明
        设置告警
        是否设置告警，当迁移失败或延迟超过阈值后，将通知告警联系人。
        源、目标库无法连接重试时间
        在迁移任务启动后，若源库或目标库连接失败则DTS会报错，并会立即进行持续的重试连接，默认重试720分钟，您也可以在取值范围（10~1440分钟）内自定义重试时间，建议设置30分钟以上。如果DTS在设置的时间内重新连接上源、目标库，迁移任务将自动恢复。否则，迁移任务将失败。
        说明
        • 针对同源或者同目标的多个DTS实例，网络重试时间以后创建任务的设置为准。
        • 由于连接重试期间，DTS将收取任务运行费用，建议您根据业务需要自定义重试时间，或者在源和目标库实例释放后尽快释放DTS实例。
    6. 上述配置完成后，单击页面下方的下一步保存任务并预检查。

      您可以将鼠标光标移动至下一步保存任务并预检查按钮上，然后单击气泡中的预览OpenAPI调用，查看调用API接口配置该实例时的参数信息。

      说明
      • 在迁移任务正式启动之前，会先进行预检查。只有预检查通过后，才能成功启动迁移任务。
      • 如果预检查失败，请单击失败检查项后的查看详情，并根据提示修复后重新进行预检查。
      • 如果预检查产生警告：
        • 对于不可以忽略的检查项，请单击失败检查项后的查看详情，并根据提示修复后重新进行预检查。
        • 对于可以忽略无需修复的检查项，您可以依次单击点击确认告警详情、确认屏蔽、确定、重新进行预检查，跳过告警检查项重新进行预检查。如果选择屏蔽告警检查项，可能会导致数据不一致等问题，给业务带来风险。
    7. 预检查通过率显示为100%时，单击下一步购买。
    8. 在购买页面，选择数据迁移实例的链路规格，详细说明请参见下表。
      类别参数说明
      信息配置资源组配置选择实例所属的资源组，默认为default resource group。更多信息，请参见什么是资源管理。
      链路规格

      DTS为您提供了不同性能的迁移规格，迁移链路规格的不同会影响迁移速率，您可以根据业务场景进行选择。更多信息，请参见数据迁移链路规格说明。

    9. 配置完成后，阅读并选中《数据传输（按量付费）服务条款》。
    10. 单击购买并启动，迁移任务正式开始，您可在数据迁移界面查看具体进度。