全部產品
Search
文件中心

Hologres:基於External Database加速查詢MaxCompute資料

更新時間:Oct 26, 2024

Hologres從V3.0版本開始支援外部資料庫(External Database)功能,通過外部資料庫可以管理外部資料源中的表,並實現內外表的聯邦查詢。

背景資訊

內部資料是指儲存於Hologres標準儲存和低頻訪問儲存中的資料,外部資料當前支援儲存於MaxCompute和DLF資料湖上的資料,Hologres與MaxCompute無縫互連,通過直讀直寫MaxCompute儲存實現倉內資料高速交換,通過阿里雲資料湖構建(Data Lake Formation,以下簡稱DLF)來管理OSS資料湖資料,使用自研HQE引擎來實現Paimon、Hudi、DeltaLake等湖上資料的高效能讀寫。

External Database是全域可見的,即在Hologres中登入任意Database均可以通過引用ext_db.ext_schema.ext_table的方式實現外部資料源的讀寫,同時也支援直接連接到外部資料庫,在該庫中執行各種SQL及設定GUC。

EXTERNAL DATABASE的許可權全部由外部系統(如MaxCompute、DLF)來控制,Hologres僅做身份透傳。使用者訪問External Database,預設使用服務關聯角色(以下簡稱SLR)進行身份透傳,您需要在訪問外部資料源之前使用主帳號或者有許可權的子帳號完成SLR授權,詳情請參見Hologres服務關聯角色。同時Hologres支援使用RAMRole的方式訪問外部資料源,方便您自訂外部存取策略,詳情請參見RAM角色概覽;對於非阿里雲帳號和RAM帳號,如Hologres BASIC帳號,Hologres提供CREATE USER MAPPING來實現帳號綁定和授權,詳情請參見CREATE USER MAPPING

功能介紹

External Database功能支援在無需進行資料移轉的情況下,將外部資料源的中繼資料載入至Hologres。這一功能便於在一個系統中同時管理內部與外部資料,實現湖倉一體架構下的統一中繼資料管理。同時,通過即時分析與查詢外部資料,實現資料的無縫對接。關於CREATE EXTERNAL DATABASE使用詳情,請參見CREATE EXTERNAL DATABASE