本文為您介紹如何在DataHub中建立同步至Hologres的Connector,以及在建立時的注意事項以及問題。
準備工作
準備Hologres執行個體和表結構
使用Hologres管控台建立Hologres執行個體,DataHub同步Hologres時會根據DataHub Field的資料類型同步到對應的Hologres 表資料類型中,對應的類型映射關係如下所示:
DataHub | Hologres |
TINYINT | SMALLINT |
SMALLINT | SMALLINT |
INTERGER | INTERGER |
BIGINT | BIGINT |
FLOAT | REAL |
DOUBLE | DOUBLE PRECISION |
DECIMAL | DECIMAL |
STRING | TEXT |
BOOLEAN | BOOLEAN |
TIMESTAMP | TIMESTAMPTZ |
Hologres V2.0版本起支援DataHub TINYINT、SMALLINT、INTEGER和FLOAT四種新資料類型。
建立同步任務
單擊DataHub中已建立的Topic,進入Topic詳情頁。
單擊Topic詳情頁右上方的
。在建立Connector介面單擊Hologres,配置建立Connector彈框的參數,單擊建立。
同步Hologres支援分區表,在Hologres建立分區表後,同步Hologres任務會自動根據分區欄位進行資料同步。
同步參數說明:
參數
描述
說明
Instance
Hologres執行個體的ID。
支援下拉框擷取,如無許可權擷取ID列表請使用手動填寫方式
DataBase
Hologres的資料庫名稱。
支援下拉框擷取,如無許可權擷取資料庫列表請使用手動填寫方式
Table
Hologres用於接收資料的表名稱。
手動填寫指定
主鍵同步策略
當Hologres表設定主鍵時,從DataHub寫入的資料的同步策略。
replace:當寫入發生主鍵衝突時,新的資料覆蓋老資料。
ignore:寫入時發生主鍵衝突,忽略新資料,即資料不更新,仍然使用老資料。
同步情境
DataHub同步到Hologres的同步模式。
default:將DataHub資料逐條寫入Hologres。
dts_old:不啟用新的附加列規則。
dts:啟動新的附件列規則。
匯入欄位
需要匯入Hologres的欄位。
可以根據實際業務需求選擇匯入部分或全部欄位。
認證方式
自訂角色(預設)
詳情參考RAM角色授權模式
ak
通過AK進行認證
起始時間
同步Hologres的最早資料同步時間。
無
TimestampUnit
同步Hologres的時間單位。
將資料中TIMESTAMP類型的資料(如果有),以TimestampUnit為單位進行轉換後寫入到下遊系統的日期類型。
說明同步情境中的(
dts/dts_old)同步模式適用於資料由DTS寫入到DataHub,然後同步到Hologres的情境新舊附加列說明請參考Hologres文檔 從DataHub匯入。
同步DataHub的資料至Hologres。
成功建立Connector後,您可以在Topic詳情頁的同步任務中查看即時同步資料的狀態。
當同步任務的狀態列顯示為RUNNING時,表示 DataHub 至 Hologres 的資料同步正在正常運行。
Hologres查詢資料。
您可以串連Hologres執行個體至開發工具,即時查詢同步至Hologres中的資料,詳情請參見Hologres串連方式,樣本查詢語句如下。
SELECT COUNT(*) FROM lineitem;
附錄一:常見問題
建立同步報錯
ErrorCode=NoPermission; ErrorMessage=Rejected by IP whitelist解決方案:Hologres支援在HoloWeb中設定IP白名單來進行訪問管理,如遇此報錯請檢查是否在HoloWeb中設定了IP白名單。添加DataHub ip白名單列表詳情見IP白名單