Kafka是应用较为广泛的分布式、高吞吐量、高可扩展性消息队列服务,普遍用于日志收集、监控数据聚合、流式数据处理、在线和离线分析等大数据领域,是大数据生态中不可或缺的产品之一。通过数据传输服务DTS(Data Transmission Service),您可以将PolarDB-O集群同步至自建Kafka,扩展消息处理能力。
前提条件
注意事项
- 本场景中,DTS仅支持 增量数据同步 ,不支持 结构初始化 和 全量数据初始化 。
- 一个数据同步作业只能同步一个数据库,如有多个数据库需要同步,您需要为每个数据库配置数据同步作业。
- 为保障同步延迟时间展示的准确性,DTS会在源库中新增一个表,表名为
dts_postgres_heartbeat
,结构及内容如下图所示。