DataWorks提供了一鍵MaxCompute資料同步節點功能,協助您快速完成從MaxCompute到Hologres資料庫的資料同步,可以實現對MaxCompute表資料的高效查詢。本文將詳細介紹如何使用一鍵MaxCompute資料同步節點。
背景資訊
您可以通過SQL語句直接將MaxCompute資料匯入Hologres庫,這種方式通常具有更好的效能。詳情請參見使用SQL從MaxCompute匯入。
前提條件
將MaxCompute專案和Hologres執行個體綁定為DataWorks計算資源,並完成連通性測試。
建立一鍵MaxCompute資料同步節點
配置一鍵MaxCompute資料同步節點
進入一鍵MaxCompute資料同步節點編輯頁面,對節點資訊進行配置。
選擇MaxCompute源表
根據所需同步的源表資訊,配置相關參數。
參數 | 配置說明 |
專案 | 您所建立的MaxCompute專案名稱。 |
Schema | 您所建立的MaxCompute專案Schema。 |
表名 | 所要同步的MaxCompute源表名稱。 |
過濾條件 | 系統會根據您使用的分區表自動產生過濾條件,您也可以根據實際需求進行調整。滿足過濾條件的資料將被保留。 說明 過濾條件即SQL語句中 |
設定Hologres目標表
根據需要同步至的目標表資訊,配置相關參數。
參數 | 配置說明 |
執行個體 | 目標Hologres執行個體。您在上方選擇資料來源配置您所綁定的Hologres資料來源,系統會根據您所選擇的Hologres資料來源,自動識別到具體的執行個體。 說明 您可在選擇資料來源後方的目標管理中查看跳轉到Holo管控台(執行個體監控)、慢Query、活躍串連管理、DB授權及使用者管理頁面。 |
資料庫 | 目標Hologres執行個體資料庫。 |
Schema | 目標Hologres執行個體的 |
表名 | Hologres內部表名稱。當建立內部表時,若表名稱已存在,不同類型的表處理策略如下:
|
同步欄位 | 勾選需要同步建立的表欄位。 |
分區配置 | 選擇需要同步的MaxCompute表分區。 說明 Hologres當前僅支援同步一級分區。MaxCompute表的多級分區,將被設定為Hologres中的一級分區,多餘的分區自動對應為Hologres的普通欄位。 |
索引配置 | 為存放MaxCompute資料的Hologres內部表構建索引,後續您可根據索引快速查詢資料。建立索引,詳情請參見CREATE TABLE。 |
配置更多參數
參數 | 配置說明 |
GUC參數 | 匯入MaxCompute資料前需要設定的GUC參數,支援的GUC參數請參見GUC參數。其餘SQL均不支援。 |
外部伺服器 | 預設 |
SQL Script |
|
調試一鍵MaxCompute資料同步節點
如需調試執行同步節點任務,請根據您的業務需求配置相應的調試資訊。
配置調試節點屬性。
您可在同步節點編輯頁面右側回合組態中配置計算資源及資源群組資訊,具體參數資訊如下。
參數名稱
描述
計算資源
選擇您所綁定的Hologres計算資源。
資源群組
選擇您綁定Hologres計算資源時已通過測試連通性的資源群組。
計算 CU
當前節點使用預設CU值,無需修改。
指令碼參數
在配置過濾條件中通過${參數名}的方式定義變數時,需要在指令碼參數處配置參數名、參數值資訊,任務運行時會將它動態替換為真實的取值。詳情請參見節點調度配置。
調試運行節點任務時,您可單擊儲存並運行同步任務。
後續步驟
常見問題
報錯資訊:
get table columns occurs Invalid name:xxx。解決方式:請檢查您在源端配置的專案名稱是否正確,可查看是否存在空格或其他字元。
表徵圖喚起發布流程,通過該流程將任務發布至生產環境。專案目錄下的節點只有在發布至生產環境後,才會進行周期性調度。