全部產品
Search
文件中心

DataWorks:配置Hologres輸出

更新時間:Feb 15, 2025

您可以通過互動式分析Hologres的即時寫入能力,構建即時數倉。

前提條件

配置Hologres輸出節點前,您需要先配置好相應的輸入或轉換資料來源,詳情請參見即時同步支援的資料來源

背景資訊

  • Hologres支援的版本:0.7、0.8、0.9、0.10、1.1。

  • 欄位使用限制:不支援UUID類型的欄位。

操作步驟

  1. 進入資料開發頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的資料開發與營運 > 資料開發,在下拉框中選擇對應工作空間後單擊進入資料開發

  2. 滑鼠移至上方至建立表徵圖,單擊建立節點 > Data Integration > 即時同步

    您也可以展開商務程序,按右鍵目標商務程序,選擇建立節點 > Data Integration > 即時同步

  3. 建立節點對話方塊中,選擇同步方式單表(Topic)到單表(Topic)ETL,輸入名稱,並選擇路徑

  4. 單擊確認

  5. 在即時同步節點的編輯頁面,單擊輸出 > Hologres並拖拽至編輯面板,連線已配置好的輸入或轉換節點。

  6. 單擊Hologres節點,在節點配置對話方塊中,配置各項參數。

    參數

    描述

    資料來源

    選擇已經配置好的Hologres資料來源,此處僅支援Hologres資料來源。

    如果您未配置資料來源,請單擊右側的建立資料來源,進入工作空間配置 > 資料來源頁面進行建立,詳情請參見配置Hologres資料來源

    選擇當前資料來源下需要同步的資料表名稱。

    您可以單擊右側的一鍵建表建立資料表,也可以單擊資料預覽進行確認。

    分區訊息

    分區方式

    預設為根據欄位內容動態分區

    當Hologres表為分區表時,您需要設定這些分區參數。

    分區欄位值來源

    您可在此選擇來自上遊節點配置的輸入資料來源中的表欄位資訊。

    分區欄位名稱

    預設為表設定的分區欄位名稱。

    分區欄位取值

    分區欄位取值分為枚舉值時間值兩種。

    • 分區欄位取值為枚舉值時,分區欄位內的每一個值都將建立一個分區,因此要求每天內不能超過1000個不同值,如果超出此值,將導致分區建立失敗,即時任務也將隨之停止運行。

    • 分區欄位取值為時間值時,需要配置對應的時間來源格式和儲存的目標格式

    分區緩衝隊列大小

    分區緩衝隊列大小越大,對記憶體的消耗也會越大,如果源端根據分區欄位資料亂序比較嚴重,建議您調大該值,並相應調大記憶體。

    作業類型

    包括重放插入兩種類型:

    • 重放表示鏡像功能。即源端INSERT一條記錄,Hologres中同樣INSERT一條資料。源端進行UPDATEDELETE操作,Hologres會執行相應的UPDATEDELETE操作。

    • 插入表示將Hologres作為流儲存,通過INSERT儲存源端同步過來的資料。

    寫入衝突策略

    包括覆蓋忽略兩種類型:

    • 覆蓋:使用源端同步過來的新資料覆蓋已有的資料。

    • 忽略:忽略源端同步過來的新資料,保留已有的資料。

    欄位對應

    單擊欄位對應,設定源端和目標端欄位的映射。同步任務會根據欄位的映射關係同步資料。

  7. 單擊工具列中的儲存表徵圖。