DataWorks：映射MaxCompute中繼資料至Hologres外表

背景資訊

Hologres的外部表格、外部項目可以加速查詢MaxCompute等外部資料源中的資料，您無需將資料匯入到Hologres內部儲存，即可直接在Hologres上操作外部資料。

DataWorks中的MaxCompute中繼資料映射功能利用Hologres的外表能力，將MaxCompute指定資料通過在Hologres中建立MaxCompute外表的方式映射至Hologres，實現對MaxCompute資料的加速查詢。

目前DataWorks支援通過可視化方式快速將MaxCompute庫級、Schema級和表級的中繼資料映射至Hologres：

• 整庫級中繼資料映射：通過Hologres外部項目CREATE EXTERNAL DATABASE能力實現。

• Schema級中繼資料映射：通過Hologres外部表格Auto Load能力實現。

• 單表級中繼資料映射：通過Hologres外部表格CREATE FOREIGN TABLE能力實現。

更多關於通過Hologres加速查詢MaxCompute資料的說明，請參見：MaxCompute加速。

使用限制

• 僅MaxCompute內部專案支援此功能。

• 僅Holgres 3.0.7及更高版本支援該功能。

• 僅支援將MaxCompute中繼資料映射至Hologres獨享執行個體。

注意事項

MaxCompute與Hologres的資料類型存在差異，部分資料類型不支援映射，請在使用此功能前仔細閱讀MaxCompute與Hologres的資料類型映射，然後結合實際業務確認是否符合預期。

功能入口

1. 進入DataWorks工作空間列表頁，在頂部切換至目標地區，找到目標工作空間，單擊操作列的快速進入 > Data Studio，進入Data Studio。

2. 在左側導覽列單擊，進入資料目錄。

3. 在MaxCompute目錄下找到需要映射中繼資料至Hologres的MaxCompute專案、Schema或表，右鍵選擇中繼資料映射至Hologres。

整庫級中繼資料映射

MaxCompute整庫級中繼資料映射功能將會在您指定的Hologres執行個體下，建立與MaxCompute同名的Hologres外部項目，將MaxCompute 該專案下的中繼資料統一通過外表方式映射至該Hologres。

1. 在MaxCompute目錄下找到需要映射中繼資料至Hologres的MaxCompute專案。單擊 > 中繼資料映射至Hologres，進入中繼資料映射配置頁面。

2. 配置整庫級中繼資料映射相關參數。

   • 源端

     參數	說明
     源端物件類型	確認需要映射所有中繼資料至Hologres的物件類型，固定為MaxCompute Project。
     源端對象名稱	確認需要映射所有中繼資料至Hologres的MaxCompute專案，固定為當前MaxCompute專案。

   • Hologres 目標端

     參數	說明
     執行個體尋找方式	選擇如何尋找Hologres執行個體。 來自DataWorks資料來源：通過選擇當前空間綁定Hologres資料來源的方式來選擇其對應的Hologres執行個體。選擇此方式後，還需要選擇資料來源來指定目標Hologres執行個體。選擇該方式，您需要確保資料來源指定的訪問身份已擁有Hologres的SuperUser許可權，以及源端MaxCompute表的讀寫權限。 說明 僅擁有工作空間營運角色或者管理員角色的使用者可選擇生產資料來源。 我有許可權的：從當前阿里雲主帳號下，您有許可權訪問的Hologres執行個體中選擇需要映射的目標Hologres執行個體。選擇此方式後，還需要選擇目標Hologres 執行個體。請確保您已擁有Hologres的SuperUser許可權，以及源端MaxCompute表的讀寫權限。 說明 僅Holgres 3.0.7及更高版本支援該功能。 僅支援將MaxCompute中繼資料映射至Hologres獨享執行個體。
     External Database	定義在指定的Hologres獨享執行個體下建立的新的External Database名稱，源端中繼資料將會被即時映射至目標端，如不需要繼續更新，可刪除目標端指定的External Database。

3. 單擊頂部運行按鈕，系統將通過Hologres外部項目CREATE EXTERNAL DATABASE能力實現MaxCompute整庫級中繼資料映射。

Schema級中繼資料映射

MaxCompute Schema級中繼資料映射功能會將MaxCompute Schema下的中繼資料統一通過外表方式映射至Hologres。

1. 在MaxCompute專案下找到需要映射資料至Hologres的Schema。單擊 > 中繼資料映射至Hologres，進入中繼資料映射配置頁面。

2. 配置Schema資料對應相關參數。

   • 源端

     參數	說明
     源端物件類型	確認需要映射Schema資料至Hologres的物件類型，固定為MaxCompute Schema。
     源端對象名稱	確認需要映射Schema資料至Hologres的MaxCompute Schema名稱，固定為當前選擇的Schema。

   • Hologres 目標端

     參數	說明
     執行個體尋找方式	選擇如何尋找Hologres執行個體。 來自DataWorks資料來源：通過選擇當前空間綁定Hologres資料來源的方式來選擇其對應的Hologres執行個體。選擇此方式後，還需要選擇資料來源和Schema來指定目標Hologres執行個體的Schema。選擇該方式，您需要確保資料來源指定的訪問身份已擁有源MaxCompute表與目標Hologres的讀寫權限。 說明 僅擁有工作空間營運角色或者管理員角色的使用者可選擇生產資料來源。 我有許可權的：從當前阿里雲主帳號下，您有許可權訪問的Hologres執行個體中選擇需要映射的目標Hologres執行個體。選擇此方式後，還需要選擇Hologres 執行個體、Database以及Schema來指定目標Schema。請確保您已擁有源MaxCompute表與目標Hologres的讀寫權限。 說明 僅Holgres 3.0.7及更高版本支援該功能。 僅支援將MaxCompute中繼資料映射至Hologres獨享執行個體。
     Database	選擇Hologres執行個體中已有的Database。
     Schema	定義在指定的Hologres獨享執行個體下建立的新的Schema名稱，源端Schema資料將會被映射至此Schema中。 說明 建立Schema為一次性動作，不會自動重新整理中繼資料，如需重新整理中繼資料，需要刪除當前Schema並重新手動建立Schema級中繼資料映射。

3. 單擊頂部運行按鈕，系統將通過Hologres外部表格Auto Load能力實現MaxCompute Schema級資料對應。

單表級中繼資料映射

MaxCompute單表級中繼資料映射功能會將指定MaxCompute表通過外表方式映射至Hologres的指定表中，支援您指定外表路徑以及自訂外表名稱。

1. 在MaxCompute專案下找到需要映射中繼資料至Hologres的MaxCompute表。按右鍵表名，選擇中繼資料映射至Hologres，進入中繼資料映射配置頁面。

2. 配置單表級中繼資料映射相關參數。

   • 源端

     參數	說明
     源端物件類型	確認需要映射單表級中繼資料至Hologres的物件類型，預設為MaxCompute Table。
     源端對象名稱	確認需要映射單表級中繼資料至Hologres的MaxCompute表，固定為當前選擇的MaxCompute表。

   • Hologres 目標端

     參數	說明
     執行個體尋找方式	選擇如何尋找Hologres執行個體。 來自DataWorks資料來源：通過選擇當前空間綁定Hologres資料來源的方式來選擇其對應的Hologres執行個體。選擇此方式後，還需要選擇資料來源、Schema和External Table來指定目標Hologres執行個體的具體外部表格。選擇該方式，您需要確保資料來源指定的訪問身份已擁有源MaxCompute表與目標Hologres的讀寫權限。 說明 僅擁有工作空間營運角色或者管理員角色的使用者可選擇生產資料來源。 我有許可權的：從當前阿里雲主帳號下，您有許可權訪問的Hologres執行個體中選擇需要映射的目標Hologres執行個體。選擇此方式後，還需要選擇Hologres 執行個體、Database、Schema和External Table來指定目標外表。請確保您已擁有源MaxCompute表與目標Hologres的讀寫權限。 說明 僅Holgres 3.0.7及更高版本支援該功能。 僅支援將MaxCompute中繼資料映射至Hologres獨享執行個體。
     Database	選擇Hologres執行個體中已有的Database。
     Schema	選擇Hologres執行個體中對應Database下已有的Schema。
     External Table	定義指定Hologres獨享執行個體的Database的Schema下建立的新的外表名稱，源端表資料將會被映射至此表中。 說明 建立外表為一次性動作，不會自動重新整理中繼資料，如需重新整理中繼資料，需要刪除當前外表並重新手動建立中繼資料映射。
     欄位	按需配置目標外表中的映射欄位和分區配置。
     表名衝突	選擇表名衝突時的處理策略： 跳過，不再重複建立 覆蓋，刪除已存在的表並建立新表 報錯

3. 單擊頂部運行按鈕，系統將通過Hologres的外部表格CREATE FOREIGN TABLE能力實現MaxCompute表級中繼資料映射。

後續步驟

• 在資料目錄 > Hologres下查看已建立的外表。

• 在資料開發 > Hologres SQL節點中通過外表加速查詢MaxCompute資料。