本文介绍如何通过创建Tablestore Sink Connector,将数据从消息队列Kafka版实例的数据源Topic导出至表格存储(Tablestore)。
前提条件
- 消息队列Kafka版
- 已为实例开启Connector。具体操作,请参见开启Connector。
- 已为实例创建数据源Topic。更多信息,请参见步骤一:创建Topic。
- 表格存储
- 已开通表格存储服务。具体操作,请参见步骤一:开通表格存储服务。
- 已创建表格存储实例。具体操作,请参见步骤二:创建实例。
注意事项
操作流程
使用Tablestore Sink Connector将数据从消息队列Kafka版实例的数据源Topic导出至表格存储操作流程如下:
- 可选:创建Tablestore Sink Connector依赖的Topic和Group
如果您不需要自定义Topic和Group,您可以直接跳过该步骤,在下一步骤选择自动创建。
重要 部分Tablestore Sink Connector依赖的Topic的存储引擎必须为Local存储,大版本为0.10.2的消息队列Kafka版实例不支持手动创建Local存储的Topic,只支持自动创建。 - 创建并部署Tablestore Sink Connector
- 结果验证
创建Tablestore Sink Connector依赖的Topic
您可以在消息队列Kafka版控制台手动创建Tablestore Sink Connector依赖的5个Topic,包括:任务位点Topic、任务配置Topic、任务状态Topic、死信队列Topic以及异常数据Topic。每个Topic所需要满足的分区数与存储引擎会有差异,具体信息,请参见配置源服务参数列表。
创建Tablestore Sink Connector依赖的Group
您可以在消息队列Kafka版控制台手动创建Tablestore Sink Connector数据同步任务使用的Group。该Group的名称必须为connect-任务名称,具体信息,请参见配置源服务参数列表。
创建并部署Tablestore Sink Connector
创建并部署将数据从消息队列Kafka版同步至表格存储的Tablestore Sink Connector。
- 登录消息队列Kafka版控制台。
- 在概览页面的资源分布区域,选择地域。
- 在左侧导航栏,单击Connector 任务列表。
- 在Connector 任务列表页面,从选择实例的下拉列表选择Connector所属的实例,然后单击创建 Connector。
- 在创建 Connector配置向导页面,完成以下操作。
- 创建完成后,在Connector 任务列表页面,找到创建的Connector ,单击其操作列的部署。
- 单击确认。
发送测试消息
部署Tablestore Sink Connector后,您可以向消息队列Kafka版的数据源Topic发送消息,测试数据能否被同步至表格存储。
- 在Connector 任务列表页面,找到目标Connector,在其右侧操作列,单击测试。
- 在发送消息面板,发送测试消息。
- 发送方式选择控制台。
- 在消息 Key文本框中输入消息的Key值,例如demo。
- 在消息内容文本框输入测试的消息内容,例如 {"key": "test"}。
- 设置发送到指定分区,选择是否指定分区。
- 单击是,在分区 ID文本框中输入分区的ID,例如0。如果您需查询分区的ID,请参见查看分区状态。
- 单击否,不指定分区。
- 发送方式选择Docker,执行运行 Docker 容器生产示例消息区域的Docker命令,发送消息。
- 发送方式选择SDK,根据您的业务需求,选择需要的语言或者框架的SDK以及接入方式,通过SDK发送消息。
- 发送方式选择控制台。
查看表数据
向消息队列Kafka版的数据源Topic发送消息后,在表格存储控制台查看表数据,验证是否收到消息。
- 登录表格存储控制台。
- 在概览页面,单击实例名称或在操作列单击实例管理。
- 在实例详情页签,数据表列表区域,查看对应的数据表。
- 单击数据表名称,在表管理页面的数据管理页签,查看表数据。