全部產品
Search
文件中心

DataHub:建立同步Hologres

更新時間:Jan 24, 2025

本文為您介紹如何在DataHub中建立同步至Hologres的Connector,以及在建立時的注意事項以及問題。

準備工作

準備Hologres執行個體和表結構

使用Hologres管控台建立Hologres執行個體,DataHub同步Hologres時會根據DataHub Field的資料類型同步到對應的Hologres 表資料類型中,對應的類型映射關係如下所示:

DataHub

Hologres

TINYINT

SMALLINT

SMALLINT

SMALLINT

INTERGER

INTERGER

BIGINT

BIGINT

FLOAT

REAL

DOUBLE

DOUBLE PRECISION

DECIMAL

DECIMAL

STRING

TEXT

BOOLEAN

BOOLEAN

TIMESTAMP

TIMESTAMPTZ

說明

Hologres V2.0版本起支援DataHub TINYINTSMALLINTINTEGERFLOAT四種新資料類型。

建立同步任務

  1. 單擊DataHub中已建立的Topic,進入Topic詳情頁。

  2. 單擊Topic詳情頁右上方的image

  3. 在建立Connector介面單擊Hologres,配置建立Connector彈框的參數,單擊建立。

  4. 同步Hologres支援分區表,在Hologres建立分區表後,同步Hologres任務會自動根據分區欄位進行資料同步。

    image

    同步參數說明

    參數

    描述

    說明

    Instance

    Hologres執行個體的ID。

    進入Hologres管理主控台,在左側導覽列單擊執行個體列表,查看已有執行個體ID

    DataBase

    Hologres的資料庫名稱。

    Table

    Hologres用於接收資料的表名稱。

    主鍵同步策略

    當Hologres表設定主鍵時,從DataHub寫入的資料的同步策略。

    • replace:當寫入發生主鍵衝突時,新的資料覆蓋老資料。

    • ignore:寫入時發生主鍵衝突,忽略新資料,即資料不更新,仍然使用老資料。

    同步情境

    DataHub同步到Hologres的同步模式。

    • default:將DataHub資料逐條寫入Hologres。

    • dts_old:不啟用新的附加列規則。

    • dts:啟動新的附件列規則。

    匯入欄位

    需要匯入Hologres的欄位。

    可以根據實際業務需求選擇匯入部分或全部欄位。

    鑒權模式

    預設為AK。

    AccessId

    訪問Hologres執行個體的AccessKey ID。

    您可以單擊AccessKey 管理,擷取使用者的AccessKey ID。

    AccessKey

    訪問Hologres執行個體的AccessKey Secret。

    您可以單擊AccessKey 管理,擷取AccessKey Secret。

    起始時間

    同步Hologres的最早資料同步時間。

    TimestampUnit

    同步Hologres的時間單位。

    將資料中TIMESTAMP類型的資料(如果有),以TimestampUnit為單位進行轉換後寫入到下遊系統的日期類型。

    說明
    • 同步情境中的(dts/dts_old)同步模式適用於資料由DTS寫入到DataHub,然後同步到Hologres的情境

    • 新舊附加列說明請參考Hologres文檔 從DataHub匯入

  5. 同步DataHub的資料至Hologres。

    成功建立Connector後,您可以在Topic詳情頁的同步任務中查看即時同步資料的狀態。

    image

  6. Hologres查詢資料。

    您可以串連Hologres執行個體至開發工具,即時查詢同步至Hologres中的資料,詳情請參見串連Hologres,樣本查詢語句如下。

    SELECT COUNT(*) FROM lineitem;

附錄一:常見問題

建立同步報錯

 ErrorCode=NoPermission; ErrorMessage=Rejected by IP whitelist

解決方案:Hologres支援在HoloWeb中設定IP白名單來進行訪問管理,如遇此報錯請檢查是否在HoloWeb中設定了IP白名單。添加ip白名單操作詳情見:IP白名單

附錄二:白名單IP

以下IP為DataHub同步至Hologres時,需在HoloWeb中添加的白名單。

Region

經典網白名單

華東1(杭州)

10.127.226.0/24 

10.32.103.0/24

10.32.104.0/24

10.32.175.0/24

10.32.177.0/24

10.32.94.0/24

10.32.95.0/24

10.32.96.0/24

10.32.97.0/24

10.32.98.0/24

10.32.99.0/24

10.88.7.0/24

11.117.164.0/24

11.117.165.0/24

11.117.166.0/24

11.117.167.0/24

11.197.10.0/24

11.197.14.0/24

11.197.15.0/24

11.197.16.0/24

華東2(上海)

11.217.75.0/24

11.222.38.0/24

11.222.93.0/24

11.223.69.0/24

華北2(北京)

11.204.155.0/24

11.204.158.0/24

11.204.161.0/24

11.204.162.0/24

11.218.245.0/24

11.220.203.0/24

11.220.204.0/24

11.220.216.0/24

11.220.217.0/24

11.220.237.0/24

11.220.238.0/24

11.220.240.0/24

11.220.242.0/24

11.223.107.0/24

華南1(深圳)

11.216.113.0/24

11.217.52.0/24

11.220.54.0/24

11.220.56.0/24

亞太地區東南1(新加坡)

11.216.101.0/24

11.219.129.0/24

政務雲(北京)

11.199.246.0/24

11.199.247.0/24

華北 3(張家口)

11.218.202.0/24

11.218.203.0/24

亞太地區南部 1(孟買-印度)

11.207.230.0/24

11.207.231.0/24

11.207.248.0/24

亞太地區東南 3(吉隆坡-馬來西亞)

11.204.39.0/24

11.204.40.0/24

11.204.41.0/24

11.48.249.0/24

11.48.250.0/24

中國香港

11.195.192.0/24

美國矽谷

11.199.218.0/24

11.199.219.0/24

11.199.229.0/24