本文介绍如何使用数据传输服务DTS(Data Transmission Service),将PolarDB-X同步至阿里云消息队列Kafka,实现增量数据的实时同步。
前提条件
- 已创建源PolarDB-X实例,且兼容MySQL 5.7版本。
- 目标Kafka实例的版本请参见数据库版本。
- 目标Kafka实例的存储空间须大于PolarDB-X数据库占用的存储空间。
- 目标Kafka实例中已创建用于接收同步数据的Topic,详情请参见步骤一:创建Topic。
注意事项
类型 | 说明 |
---|---|
源库限制 |
|
其他限制 |
|
单条记录大小限制
由于写入Kafka单条记录的大小是10MB,因此当源端一行数据超过10MB时,DTS由于无法成功写入Kafka会导致任务中断。在该场景下建议您不要同步该表,如果一定要同步,也只能同步部分列,即配置DTS任务时,过滤掉这些大字段的记录。如果已经是在同步中的任务,则需要修改同步对象,将该表移出,再次点击修改同步对象,加入该表,并将该表的大字段列过滤,不做同步。
支持同步的SQL操作
操作类型 | SQL操作语句 |
---|---|
DML | INSERT、UPDATE、DELETE |