全部產品
Search
文件中心

DataWorks:建立Hologres外部表格

更新時間:Mar 13, 2025

Hologres可通過DDL方式建立Hologres外部表格,也可使用DataWorks提供的可視化方式建立。本文為您介紹如何使用DataWorks可視化方式建立Hologres外部表格。

前提條件

背景資訊

Hologres的表類型分為內部表和外部表格,其區別如下:

  • 內部表:可直接儲存MaxCompute來源資料。您可將MaxCompute源表資料同步至Hologres內部表中快速查詢分析。該方式比建立外部表格方式查詢效能更好。

  • 外部表格:不能直接儲存MaxCompute來源資料,但可將MaxCompute源表資料對應至Hologres外部表格中,加速查詢分析資料。該方式無冗餘儲存,無需匯入匯出資料,即可快速擷取查詢結果。

DataWorks作為資料加工的開發平台,提供了便捷的可視化建表方式,當需要建立多個Hologres外部表格時,可參考一鍵MaxCompute表結構同步節點。同時,也可直接使用Hologres通過DDL語句建表,詳情請參見CREATE FOREIGN TABLE

使用限制

  • 目前僅支援建立MaxCompute類型的Hologres外部表格。

  • 當前僅華東2(上海)、華北2(北京)地區支援使用該功能。

操作步驟

  1. 進入資料開發頁面。

    登入DataWorks控制台,切換至目標地區後,單擊左側導覽列的Data Integration > Data Integration,在下拉框中選擇對應工作空間後單擊進入Data Integration

  2. 建立商務程序

    如果您已有商務程序,則可以忽略該步驟。

    1. 滑鼠移至上方至建立表徵圖,選擇建立商務程序

    2. 建立商務程序對話方塊,輸入業務名稱

    3. 單擊建立

  3. 建立Hologres外部表格。

    1. 滑鼠移至上方至建立表徵圖,選擇建立表 > Hologres >

    2. 建立表對話方塊,選擇表類型外部表格,並配置表所在的引擎、路徑及名稱等資訊。

      輸入表資訊

  4. 配置Hologres外部表格。

    在Hologres外部表格的編輯頁面,您可配置表的相關資訊。

    1. 配置基礎屬性。

      基礎屬性表的主要基礎屬性如下。

      參數

      描述

      類型

      選擇需要建立哪種類型的Hologres外部表格。

      說明

      目前僅支援建立MaxCompute類型的Hologres外部表格。

      伺服器列表

      選擇外部表格串連MaxCompute資料來源的伺服器。

      說明

      建立MaxCompute類型的外部表格需調用Hologres底層已建立的odps_server外部表格伺服器。詳細原理請參見postgres_fdw

      選擇需要基於哪個MaxCompute源表建立Hologres外部表格,後續使用該外部表格查詢MaxCompute源表資料。

      您需根據MaxCompute的專案模型類型配置相關參數:

      • 兩層模型

        • project_name:MaxCompute的專案名稱。

        • table_name:所查詢的MaxCompute源表名稱。

      • 三層模型

        • project_name:MaxCompute的專案名稱及Schema名稱,格式為odps_project_name#odps_schema_name

        • table_name:所查詢的MaxCompute源表名稱。

      說明

      如果相關參數的配置與模型類型要求不符,則會產生報錯。報錯樣本failed to import foreign schema:Table not found - table_xxx

    2. 配置商務資訊。

      說明

      表的商務資訊,僅是基於業務需求方便管理表使用,不涉及底層邏輯的實現。

      業務描述

      參數

      描述

      主題

      表所屬的一級檔案夾與二級檔案夾。您可基於業務用途對錶進行歸類,將同類表掛載至相同檔案夾中。

      說明

      一級主題、二級主題僅為DataWorks上檔案夾的呈現形式,旨在方便您更好地管理表。

      層級

      表所屬的物理數倉分層。層級是用來定義和管理資料倉儲分層,通常分為貼源層、共用層和分析層。您可根據表的業務用途,將其掛載至合適的層級。

      說明

      單擊建立表徵圖可自訂層級。詳細操作請參見表管理

      物理分類

      表的物理分類,即基於業務使用視角對錶進行更詳細的分類。通常包括基礎業務層、進階業務層和其它。

      說明

      單擊建立表徵圖可自訂物理分類。詳細操作請參見分類管理

    3. 配置表結構。

      表結構設計當步驟4中《配置基礎屬性》參數配置後,將在此介面展示該表的表結構。該結構將用於建立最終的Hologres外部表格,會自動讀取MaxCompute源表資料,不可編輯。

      說明

      基於MaxCompute建立Hologres外部表格時存在欄位類型映射,外部表格欄位類型必須與MaxCompute源表欄位類型一一對應。MaxCompute與Hologres的資料類型映射,請參見MaxCompute與Hologres的資料類型映射

  5. 提交並發布Hologres外部表格。

    表結構定義完成後,您需將其提交至開發環境與生產環境,提交成功後才可在環境對應的引擎專案查看該表。

    說明

    如果您使用的是簡單模式的工作空間,僅需將表提交至生產環境。簡單模式與標準模式工作空間介紹,詳情請參見必讀:簡單模式和標準模式的區別

    操作

    描述

    從開發環境載入

    用於從開發環境載入開發表的相關資訊,並顯示至當前頁面。

    說明

    僅當表已被提交至開發環境後,才可執行該操作。執行該操作後,開發環境已建立的表資訊會覆蓋當前頁面的表資訊。

    提交到開發環境

    提交表至DataWorks的開發環境,即在開發環境對應的Hologres資料庫建立當前表。

    提交後您可在DataWorks資料開發相應商務程序(即建立表時所選的路徑)的Hologres目錄,查看該表結構。

    從生產環境載入

    用於從生產環境載入生產表的相關資訊,並顯示至當前頁面。

    說明

    僅當表已被提交至生產環境後,才可執行該操作。執行該操作後,生產環境已建立的表資訊會覆蓋當前頁面的表資訊。

    提交到生產環境

    提交表至DataWorks的生產環境,即在生產環境對應的Hologres資料庫建立當前表。

後續步驟

Hologres外部表格建立完成後,您可通過Hologres外部表格周期性匯入MaxCompute資料至Hologres內部表: