本文介绍通过创建Lindorm Streams实现数据订阅功能,数据订阅功能的Push模式是将云原生多模数据库 Lindorm表格的增量数据推送至下游消息队列Kafka,您可以根据自身业务需求自由消费增量数据,搭建或实现多种业务场景。
推送流程
数据订阅功能将云原生多模数据库 Lindorm表格的增量数据消息主动推送至下游Kafka,推送流程如下。
前提条件
已将客户端IP添加至白名单中,具体操作请参见设置白名单。
确保源实例、目标实例和LTS服务网络互通,详细信息请参见网络互通。
已添加Lindorm宽表数据源,具体操作请参见Lindorm宽表数据源。
已添加Kafka数据源,具体操作请参见Kafka数据源。
已开通数据订阅功能,具体操作请参见开通数据订阅。
创建Lindorm Streams
进入LTS(原BDS)页面,在左侧导航栏中,选择数据订阅 > Push模式。
单击create,并配置以下参数。
参数
描述
Lindorm集群
选择已添加Lindorm宽表数据源。
表名
需要填写数据订阅的表名,格式为:namespace.tablename,举例如下。
ns1.table1表示订阅空间名称为ns1中的表table1数据。
ns2.*表示订阅空间名称为ns2中的所有表数据。
Stream Config
key_only
表示是否只输出主键,默认false。MessageStorage Type
选择KAFKA。
Storage Datasource
选择已添加Kafka数据源。
MessageStorage Config
kafka_topic
表示需要填写Kafka topic的名称。MessageVersion
消费格式,默认格式为DebeziumV2。
Message Config
old_image
表示消息中是否包含当前行修改前的值,默认true。new_image
表示消息中是否包含修改后整行的值,默认true。
单击提交。