云原生数据仓库AnalyticDB MySQL是阿里巴巴自主研发的海量数据实时高并发在线分析(Realtime OLAP)云计算服务,可以对千亿级数据进行毫秒级的即时多维分析透视和业务探索。通过数据传输服务DTS(Data Transmission Service),您可以将PolarDB MySQL同步到云原生数据仓库AnalyticDB MySQL,帮助您快速构建企业内部BI、交互查询、实时报表等系统。
前提条件
- 已创建目标云原生数据仓库AnalyticDB MySQL集群,详情请参见创建云原生数据仓库AnalyticDB MySQL集群。
- 确保目标云原生数据仓库AnalyticDB MySQL具备充足的存储空间。
- PolarDB MySQL已开启Binlog,详情请参见如何开启Binlog。
注意事项
- DTS在执行全量数据初始化时将占用源库和目标库一定的读写资源,可能会导致数据库的负载上升,在数据库性能较差、规格较低或业务量较大的情况下(例如源库有大量慢SQL、存在无主键表或目标库存在死锁等),可能会加重数据库压力,甚至导致数据库服务不可用。因此您需要在执行数据同步前评估源库和目标库的性能,同时建议您在业务低峰期执行数据同步(例如源库和目标库的CPU负载在30%以下)。
- 请勿在数据同步时,对源库的同步对象使用gh-ost或pt-online-schema-change等类似工具执行在线DDL变更,否则会导致同步失败。
- 由于云原生数据仓库AnalyticDB MySQL本身的使用限制,当云原生数据仓库AnalyticDB MySQL集群中的节点磁盘空间使用量超过80%,该集群将被锁定。请提前根据待同步的对象预估所需空间,确保目标集群具备充足的存储空间。
- 暂不支持同步前缀索引,如果源库存在前缀索引可能导致数据同步失败。
支持同步的SQL操作
- DDL操作:CREATE TABLE、DROP TABLE、RENAME TABLE、TRUNCATE TABLE、ADD COLUMN、DROP COLUMN、MODIFY COLUMN
- DML操作:INSERT、UPDATE、DELETE
说明 如果在数据同步的过程中变更了源表的字段类型,同步作业将报错并中断。您可以提交工单处理或手动修复,详情请参见修复因变更字段类型导致的同步失败。
数据库账号的权限要求
数据库 | 所需权限 |
---|---|
PolarDB MySQL | 待同步对象的读权限。 |
云原生数据仓库AnalyticDB MySQL | 读写权限。 |
数据库账号的创建和授权方法,请参见创建PolarDB MySQL数据库账号或创建云原生数据仓库AnalyticDB MySQL数据库账号。
数据类型映射关系
详情请参见结构初始化涉及的数据类型映射关系。