本文介紹通過建立Lindorm Streams實現資料訂閱功能,資料訂閱功能的Push模式是將Lindorm表格的增量資料推送至下遊訊息佇列Kafka,您可以根據自身業務需求自由消費增量資料,搭建或實現多種業務情境。
推送流程
資料訂閱功能將Lindorm表格的增量資料訊息主動推送至下遊Kafka,推送流程如下。
前提條件
已將用戶端IP添加至白名單中,具體操作請參見設定白名單。
確保源執行個體、目標執行個體和LTS服務網路互連,詳細資料請參見網路互連。
已添加Lindorm寬表資料來源,具體操作請參見Lindorm寬表資料來源。
已添加Kafka資料來源,具體操作請參見Kafka資料來源。
已開通資料訂閱功能,具體操作請參見開通資料訂閱。
建立Lindorm Streams
進入LTS(原BDS)頁面,在左側導覽列中,選擇資料訂閱 > Push模式。

單擊create,並配置以下參數。
參數
描述
Lindorm叢集
選擇已添加Lindorm寬表資料來源。
表名
需要填寫資料訂閱的表名,格式為:namespace.tablename。
例如:ns1.table1表示訂閱空間名稱為ns1中的表table1資料。
黑名單表(可選)
填寫黑名單表名。該表中的增量資料不會被推送。
MessageStorage Type
選擇KAFKA。
Storage Datasource
選擇已添加Kafka資料來源。
MessageStorage Config
kafka_topic表示需要填寫Kafka Topic的名稱。
kafka_ttl:無需填寫,請忽略。
kafka_partition_num:無需填寫,請忽略。
重要Push模式下Topic需要在Kafka中提前建好。
MessageVersion
消費格式,預設格式為DebeziumV2。
Message Config
old_image表示訊息中是否包含當前行修改前的值,需填寫為true,無需填寫false。new_image表示訊息中是否包含修改後整行的值,需填寫為true,無需填寫false。with_schema表示訊息中是否攜帶表的Schema資訊,建議填寫為false,避免Schema造成訊息膨脹。ignore_family_prefix表示匯出的列名是否去掉列族,例如完整列名為f:name,將該參數配置為true後匯出的列名為name。
單擊提交。