全部产品
Search
文档中心

创建数据订阅通道

更新时间: 2019-05-20

数据订阅DTS提供的实时数据订阅功能,可以实时订阅RDS增量数据。轻松帮助业务解决轻量级缓存更新、业务异步解耦、含ETL逻辑的数据实时同步等场景。

如果需要使用数据订阅功能,实时订阅消费RDS增量数据,需要进行两个步骤的操作:

  1. 在DTS控制台,创建订阅RDS实例的订阅通道。
  2. 使用DTS提供的SDK,访问订阅通道,实时订阅并消费增量数据。

本小节主要简单介绍在DTS控制台创建订阅通道的流程。订阅通道配置流程简单,只要3个步骤即可完成整个配置过程。关于订阅通道的管理及SDK使用等参考DTS的产品使用手册。

数据订阅限制

  • 支持Oracle、RDS For MySQL、DRDS实例
  • MySQL5.6 binlog的binlog_row_image格式必须为full
  • MySQL存储引擎只支持myisam,innodb
  • MySQL字符集只支持latin1、gbk、utf8、utf8mb4、binary

订阅通道配置步骤

下面详细介绍下创建一条订阅通道的配置步骤。

1. 购买订阅通道

登录数据传输DTS控制台,选择左侧的 数据订阅,进入数据订阅页面。然后,点击页面右上角的 创建数据订阅 进入DTS购买页面。

订阅通道支持包年包月及按量付费两种付费模式,可以根据需要选择不同的付费模式。

在购买页面需要配置的参数包括:

  • 源实例地域

源实例地域为需要订阅的RDS实例所在的地域。订购后不支持更换地域,所以选择时,请谨慎。

  • 数量

数量为一次性购买的订阅通道的数量,如果购买的是按量付费实例,一次最多购买99条

当购买完订阅实例,返回数据传输控制台,点击新购链路右侧的“配置订阅通道” 开始链路配置。

2. 订阅RDS实例ID配置

数据订阅_步骤1

这个主要配置订阅通道名称及需要订阅的RDS实例ID。其中:

  • 订阅名称:订阅名称为订阅通道别名,没有唯一性要求。默认情况下,DTS为每个订阅通道自动生成一个名称,可以修改这个名称,为其配置一个具备业务意义的名称,便于后续的通道识别。
  • RDS实例ID: 需要订阅增量数据对应的RDS实例的实例ID。

当这些内容配置完成后,可以点击页面右下角的 授权白名单并进入下一步

3. 授权RDS实例白名单

数据订阅_步骤2

这个步骤,主要是将DTS服务器IP添加到订阅RDS实例的白名单中。避免因RDS配置了白名单,DTS服务器不能连接RDS实例,从而导致订阅通道创建失败。

为了保证订阅通道的稳定性,请勿将DTS服务器IP从RDS实例的白名单中删除。

4. 选择订阅对象

数据订阅_步骤3

在这个步骤中,用户需要配置订阅的数据类型及订阅对象。其中:

  • 订阅数据类型:DTS将订阅数据类型细分为数据变更、结构变更

数据变更是指DML(包含insert/delete/update)。结构变更是指DDL(例如:create/drop/alter table)。

如果订阅了结构变更,那么DTS会将整个RDS实例的所有结构变更拉取出来,用户如果只需要部分DDL的话,需要在SDK消费的时候进行过滤。

  • 订阅对象:DTS的订阅对象粒度细分为库、表。即用户可以选择订阅某些库或者是订阅某几张表。

当完成上面的配置后,即进入订阅通道启动之前的前置预检查阶段。

5. 预检查

当订阅通道配置完成后,DTS会进行前置预检查,当预检查通过后,可以点击右下角的 开始订阅 ,启动订阅通道。

6. 启动订阅

当订阅通道刚创建完,会进入初始化阶段,这个阶段一般会持续1分钟左右。初始化完成后,即可 查看订阅数据 或者 使用SDK订阅增量数据

至此,完成数据订阅通道的配置。