建立同步TableStore

建立同步TabelStore

如何建立

• 建立TableStore DataConnector主要需要如下前置條件：

  1. TableStore相關資訊，包括TableStore服務的Endpoint、TableStore執行個體及其對應的Table。

  2. DataHub Topic的Owner/Creator帳號, 才有相應的許可權操作DataConnector，包括建立，刪除等。

  3. TableStore表的主鍵列必須在DataHub Topic下有欄位一一對應（定義順序可以不一致）。

  4. 當選擇STS臨時帳號方式時，將會自動建立DataHub服務關聯角色，DataHub服務會使用此角色訪問TableStore以完成資料同步

• 操作流程： Project列表->Project查看->Topic查看->點擊建立DataConnector->選擇TableStore填寫配置，點擊建立

  1. 進入Topic的詳情頁面：在Topic詳情頁面右上方，單擊+ 同步。

  2. 選擇同步TableStore並填寫相關配置。

  在建立Connector表單中，配置以下參數：Endpoint（OTS傳統網路地址）、Instance（OTS Instance名稱）、Table（OTS Table名稱）、寫入模式（如PUT）、匯入欄位、鑒權模式（如STS）和起始時間，完成後單擊建立。

在DataConnector頁面查看資料歸檔狀態：

配置說明

名稱	是否必須	描述
TableStore Endpoint	yes	TableStore服務內網地址
TableStore執行個體名	yes	TableStore執行個體名
TableStore表名	yes	同步到TableStore的表

資料類型映射關係

OTS	DataHub
INTEGER	TINYINT
INTEGER	SMALLINT
INTEGER	INTEGER
INTEGER	BIGINT
INTEGER	TIMESTAMP
DOUBLE	FLOAT
DOUBLE	DOUBLE
BOOLEAN	BOOLEEAN
STRING	STRING
STRING	DECIMAL
BINARY	不支援

注意事項

• TableStore表的主鍵列必須在對應的DataHub Topic下存在同名的欄位，由於DataHub大小寫不敏感，所以TableStore的主鍵名如果存在大寫字母，那麼在DataHub Topic有對應小寫欄位。

• 同步TableStore表的DataConnector任務僅支援TUPLE類型Topic。

• TableStore服務端自身的限制最大每次批量寫入的行數為200，具體TableStore的相關限制請參見使用限制。