DataWorks資料開發中提供的一鍵匯入表結構功能,能夠快速大量建立與MaxCompute表結構一致的Hologres外部表格。本文介紹如何配置一鍵MaxCompute表結構同步節點任務,完成MaxCompute到Hologres資料庫的表結構同步。
背景資訊
DataWorks基於IMPORT FOREIGN SCHEMA語句通過可視化方式可以實現一鍵將MaxCompute表結構同步到Hologres中。
Hologres是阿里巴巴自主研發的一站式即時數倉引擎,與MaxCompute在底層無縫串連,支援使用建立外部表格的方式加速查詢MaxCompute資料。
使用限制
該功能僅支援加速對 MaxCompute內部表資料的查詢,而不支援對外部表格和視圖的查詢進行加速。
操作步驟
在一鍵MaxCompute表結構同步節點編輯頁面,執行如下開發操作。
配置節點資訊
您可在節點編輯頁面配置節點資訊,具體參數資訊如下:
參數
描述
目標串連
Hologres的執行個體名稱。
說明您可在後方的目標管理中查看跳轉到Holo管控台(執行個體監控)、慢Query、活躍串連管理、DB授權及使用者管理頁面。
目標庫
Hologres執行個體下的資料庫名稱。
Schema
Hologres資料庫下的Schema名稱。預設為
public。類型
當前僅支援基於MaxCompute類型的源表建立Hologres外部表格。
伺服器列表
源表所在的伺服器。
您可以直接調用Hologres底層已建立的odps_server外部表格伺服器。詳細原理請參見postgres_fdw。
來源專案
源表所在的專案名稱。
選擇要直接加速的表
用於選擇需要基於哪些源表建立外部表格。
整庫加速:建立所選資料庫中的所有表。
部分加速:僅建立所選資料庫中的部分表。可通過表名搜尋需要建立的表。
說明搜尋支援模糊比對,即輸入關鍵詞即可查詢到所有名稱包含關鍵詞的表。
表名衝突
Hologres中存在與建立的外部表格名稱相同的表時,處理策略如下:
忽略,繼續建立其他表。
更新,修改同名表。
報錯,不再重複建立。
資料類型不支援
建立外部表格時,對Hologres不支援的資料類型處理策略如下:
報錯,匯入失敗:該方式會導致所選表建立失敗。
忽略,跳過不支援欄位:該方式僅會忽略不支援的欄位,但不影響表的建立。
執行同步任務
在回合組態中,選擇配置資源群組。
說明您還可以根據任務執行所需的資源情況來計算 CU。預設CU為
0.25。訪問公用網路或VPC網路環境的資料來源需要使用與資料來源測試連通性成功的調度資源群組。詳情請參見網路連通方案。
在工具列中選擇儲存同步任務,然後單擊運行同步任務。
如需定期執行節點任務,請根據業務需求配置調度資訊。配置詳情請參見節點調度配置。
節點任務配置完成後,需對節點進行發布。詳情請參見節點/工作流程發布。
任務發布後,您可以在營運中心查看周期任務的運行情況。詳情請參見營運中心入門。
後續步驟
外部表格建立完成後,您需要將資料同步到Hologres表中。然後使用Hologres的命令加速查詢MaxCompute資料,詳情請參見基於Foreign Table加速查詢MaxCompute資料。