数据订阅功能可以帮助您获取数据库的实时增量数据,适用于缓存更新策略、业务异步解耦、异构数据源的数据实时同步和复杂ETL的数据实时同步等多种业务场景。本文介绍数据订阅功能的具体使用流程,帮助您快速掌握创建、监控、管理数据订阅通道及消费数据的操作。

背景知识

数据订阅使用流程

通常,使用数据传输服务DTS(Data Transmission Service)执行数据订阅的操作,您需要经历如下步骤。

数据订阅流程图
操作流程 适用的订阅版本 说明
1.准备工作概览 新版、旧版 在使用DTS执行数据订阅前,您需要对源数据库做一些准备工作,以满足DTS对环境的要求。
2.创建数据订阅通道 新版、旧版 您只需在控制台上进行简单操作,即可完成数据订阅的配置。
3.管理订阅通道 新版
  • 新增消费组

    配置完数据订阅通道后,您需要新增一个消费组供客户端进行数据消费。您也可以通过创建多个消费组,对同一个数据源的数据进行重复消费,从而降低数据订阅的使用成本,提升数据消费速度。

  • 管理消费组

    对数据订阅通道的消费组进行管理(例如修改消费组密码、删除消费组)。

  • 修改订阅对象

    在数据订阅的过程中,您可以修改订阅对象。

  • 查看订阅数据

    查看DTS从源库中获取到的增量变更数据信息。

旧版
  • 修改订阅对象

    在数据订阅的过程中,您可以修改订阅对象。

  • 修改消费时间点

    在数据消费的过程中,您可以修改消费时间点,下游的SDK可以消费该时间点之后的数据。

  • 查看订阅数据

    查看DTS从源库中获取到的增量变更数据信息。

4.消费订阅数据 新版 使用Kafka客户端消费订阅数据
旧版 使用SDK示例代码消费订阅数据
5.结束数据订阅 新版、旧版 释放实例即可结束数据订阅。
  • 按量付费:详情请参见释放实例
  • 包年包月:无法手动释放,到期7天后不续费将会自动被释放。
    说明 您也可以通过初始化数据订阅通道来停止数据订阅,详情请参见 重新配置数据订阅

数据订阅配置案例

DTS数据订阅方案概览