全部產品
Search
文件中心

DataWorks:一鍵MaxCompute資料同步節點

更新時間:Feb 05, 2026

DataWorks提供了一鍵MaxCompute資料同步節點功能,協助您快速完成從MaxCompute到Hologres資料庫的資料同步,可以實現對MaxCompute表資料的高效查詢。本文將詳細介紹如何使用一鍵MaxCompute資料同步節點。

背景資訊

您可以通過SQL語句直接將MaxCompute資料匯入Hologres庫,這種方式通常具有更好的效能。詳情請參見使用SQL從MaxCompute匯入

前提條件

建立一鍵MaxCompute資料同步節點

建立一鍵MaxCompute資料同步節點

配置一鍵MaxCompute資料同步節點

進入一鍵MaxCompute資料同步節點編輯頁面,對節點資訊進行配置。

選擇MaxCompute源表

根據所需同步的源表資訊,配置相關參數。

參數

配置說明

專案

您所建立的MaxCompute專案名稱。

Schema

您所建立的MaxCompute專案Schema。

表名

所要同步的MaxCompute源表名稱。

過濾條件

系統會根據您使用的分區表自動產生過濾條件,您也可以根據實際需求進行調整。滿足過濾條件的資料將被保留。

說明

過濾條件即SQL語句中WHERE後面的語句內容。

設定Hologres目標表

根據需要同步至的目標表資訊,配置相關參數。

參數

配置說明

執行個體

目標Hologres執行個體。您在上方選擇資料來源配置您所綁定的Hologres資料來源,系統會根據您所選擇的Hologres資料來源,自動識別到具體的執行個體。

說明

您可在選擇資料來源後方的目標管理中查看跳轉到Holo管控台(執行個體監控)慢Query活躍串連管理DB授權使用者管理頁面。

資料庫

目標Hologres執行個體資料庫。

Schema

目標Hologres執行個體的Schema

表名

Hologres內部表名稱。當建立內部表時,若表名稱已存在,不同類型的表處理策略如下:

  • 建立表為非分區表:執行後,原表和資料會被刪除,並重建。

  • 建立表為分區表:不刪除原表和資料,根據分區值直接建立分區子表,並插入資料。

    說明

    若表結構與原表不同,執行會報錯

同步欄位

勾選需要同步建立的表欄位。

分區配置

選擇需要同步的MaxCompute表分區。

說明

Hologres當前僅支援同步一級分區。MaxCompute表的多級分區,將被設定為Hologres中的一級分區,多餘的分區自動對應為Hologres的普通欄位。

索引配置

為存放MaxCompute資料的Hologres內部表構建索引,後續您可根據索引快速查詢資料。建立索引,詳情請參見CREATE TABLE

配置更多參數

參數

配置說明

GUC參數

匯入MaxCompute資料前需要設定的GUC參數,支援的GUC參數請參見GUC參數。其餘SQL均不支援。

外部伺服器

預設odps_server

SQL Script

  • 產生的SQL Script無法編輯。同步任務配置更新時,重新整理SQL Script,即可產生新的SQL語句。

  • DataWorks將根據同步配置,自動解析出運行當前同步任務的SQL語句。您可使用該語句進入Hologres的代碼編輯頁面,以SQL方式執行同步任務。

    說明

    使用SQL方式執行同步任務,詳情請參見使用SQL從MaxCompute匯入

調試一鍵MaxCompute資料同步節點

如需調試執行同步節點任務,請根據您的業務需求配置相應的調試資訊。

  1. 配置調試節點屬性。

    您可在同步節點編輯頁面右側回合組態中配置計算資源資源群組資訊,具體參數資訊如下。

    參數名稱

    描述

    計算資源

    選擇您所綁定的Hologres計算資源。

    資源群組

    選擇您綁定Hologres計算資源時已通過測試連通性的資源群組。

    計算 CU

    當前節點使用預設CU值,無需修改。

    指令碼參數

    在配置過濾條件中通過${參數名}的方式定義變數時,需要在指令碼參數處配置參數名參數值資訊,任務運行時會將它動態替換為真實的取值。詳情請參見節點調度配置

  2. 調試運行節點任務時,您可單擊儲存運行同步任務。

後續步驟

  • 節點調度配置:若專案目錄下的節點需要周期性調度執行,您需要在節點右側的調度配置中設定調度策略,配置相關的調度屬性。

  • 節點發布:若任務需要發布至生產環境執行,請單擊介面image表徵圖喚起發布流程,通過該流程將任務發布至生產環境。專案目錄下的節點只有在發布至生產環境後,才會進行周期性調度。

  • MaxCompute資料同步完成後,您可使用HoloWeb查詢Hologres表中的資料,詳情請參見HoloWeb

常見問題

  • 報錯資訊:get table columns occurs Invalid name:xxx

  • 解決方式:請檢查您在源端配置的專案名稱是否正確,可查看是否存在空格或其他字元。