通過命令列工具建立和管理通道,實現資料表的增量、全量或全量加增量資料消費。
前提條件
建立通道
為資料表建立通道。
create_tunnel -n <tunnelName>
|
參數 |
必填 |
說明 |
|
-t,--table |
否 |
資料表名稱。已通過 |
|
-n,--name |
是 |
通道名稱。 |
|
-m,--mode |
否 |
通道類型。取值:
|
樣本
為資料表建立名為 t1 的通道。
create_tunnel -n t1
返回結果樣本:
New tunnel created, its id is '9933470d-8a5e-4972-a5b0-b7ae6f836460'.
查看通道列表
查看資料表下的所有通道。
list_tunnel
|
參數 |
必填 |
說明 |
|
-t,--table |
否 |
資料表名稱。已通過 |
樣本
list_tunnel
查看通道資訊
查看通道的 Tunnel 和 Channel 資訊。
describe_tunnel -n <tunnelName>
|
參數 |
必填 |
說明 |
|
-t,--table |
否 |
資料表名稱。已通過 |
|
-n,--name |
是 |
通道名稱。 |
|
-o,--output |
否 |
將返回結果儲存到本地檔案。 |
樣本
查看 t1 通道的資訊。
describe_tunnel -n t1
返回結果樣本:
Tunnel Info:
+--------------------------------------+------------+------------+---------------+---------+
| TunnelId | TunnelName | TunnelType | Stage | Expired |
+--------------------------------------+------------+------------+---------------+---------+
| 9933470d-8a5e-4972-a5b0-b7ae6f836460 | t1 | Stream | ProcessStream | false |
+--------------------------------------+------------+------------+---------------+---------+
Channel Info:
+-------------------------------------------------------+-------------+---------------+----------+-------------------------------+
| ChannelId | ChannelType | ChannelStatus | ClientId | ChannelRPO |
+-------------------------------------------------------+-------------+---------------+----------+-------------------------------+
| cfd2c05b-54b6-48ec-aa6f-feb427f0ca57_1635771329155688 | Stream | OPEN | | 1970-01-01 08:00:00 +0800 CST |
+-------------------------------------------------------+-------------+---------------+----------+-------------------------------+
類比通道消費
建立通道後,通過類比消費預覽通道中的資料格式。
consume_tunnel -n <tunnelName> -m mock_consume
|
參數 |
必填 |
說明 |
|
-c,--channel |
否 |
Channel ID。不設定時消費所有 Channel。 |
|
-t,--table |
否 |
資料表名稱。已通過 |
|
-n,--name |
是 |
通道名稱。 |
|
-m,--mode |
是 |
消費模式。取值:
|
樣本
在 t1 通道上類比資料消費。
consume_tunnel -n t1 -m mock_consume
執行命令後進入消費等待狀態。向資料表寫入資料時,終端會輸出對應的消費記錄。返回樣本如下:
{"Type":0,"Timestamp":1636360028961786,"SequenceInfo":{"Epoch":0,"Timestamp":1636360028961786,"RowIndex":1},"PrimaryKey":{"PrimaryKeys":[{"ColumnName":"uid","Value":"86"},{"ColumnName":"pid","Value":6771}]},"Columns":[{"Type":0,"Name":"name","Value":"redchen","Timestamp":1636360028962},{"Type":0,"Name":"country","Value":"china","Timestamp":1636360028962}]}
刪除通道
刪除不再需要的通道。
drop_tunnel -n <tunnelName> -y
|
參數 |
必填 |
說明 |
|
-t,--table |
否 |
資料表名稱。已通過 |
|
-n,--name |
是 |
通道名稱。 |
|
-y,--yes |
是 |
確認刪除,跳過互動式確認提示。 |
樣本
刪除 t1 通道。
drop_tunnel -n t1 -y