Dataphin：MaxCompute湖倉一體

背景資訊

MaxCompute湖倉一體方案通過資料倉儲MaxCompute和資料湖共同實現。當前支援的兩種構建湖倉一體方式如下：

• 通過MaxCompute與資料湖構建DLF和Object Storage Service構建湖倉一體：資料湖的中繼資料（Schema）全部位於DLF中。MaxCompute可以利用DLF對OSS中繼資料管理能力，提升對OSS半結構化格式（Delta Lake、Hudi、AVRO、CSV、JSON、PARQUET、ORC）資料的處理能力。更多DLF和OSS介紹，請參見資料湖構建DLF和Object Storage Service。

• 通過MaxCompute與Hadoop構建湖倉一體：該方式包括本地機房搭建、雲端式上虛擬機器搭建以及阿里雲E-MapReduce等。當MaxCompute與Hadoop平台所在的VPC地區網路開通後，MaxCompute可以直接存取Hive中繼資料服務，並將中繼資料資訊映射到MaxCompute的外部項目（External Project）中。

前提條件

在開始使用Dataphin管理通過MaxCompute與DLF和OSS構建的湖倉一體前，您需要確保已經完成以下準備工作：

• 已開通DLF服務。您可以在DLF開通頁面，開通DLF服務。

• 已開通OSS服務。詳情請參見開通OSS服務。

• 已開通MaxCompute服務並建立了MaxCompute專案，詳情可見建立MaxCompute專案。

  create externalproject -source dlf -name external_project  -- 必填。待建立External Project的名稱。
  -ref maxcompute_project -- 已建立的MaxCompute專案名稱
  -comment "DLF"
  -region "cn-hangzhou" -- DLF所在地區的RegionID。各地區RegionID資訊，請參見擷取RegionID及VPC ID。
  -db metadat_store -- DLF中繼資料庫的名稱。
  -endpoint "dlf-share.cn-hangzhou.aliyuncs.com" -- DLF的Endpoint資訊
  -ossEndpoint "oss-cn-hangzhou-internal.aliyuncs.com"; -- OSS所屬地區的Endpoi

MaxCompute訪問授權

• 當您通過MaxCompute與Hadoop構建湖倉一體時，授權方法如下。

  授予MaxCompute在使用者VPC內建立ENI網卡的許可權，以實現MaxCompute到使用者VPC的網路連通。您可以使用VPC所有者帳號登入阿里雲，單擊授權進行授權。

• 當您通過MaxCompute與DLF和OSS構建湖倉一體時，授權方法如下。

  MaxCompute專案的帳號未經授權無法訪問DLF，您需要執行授權操作。授權方式包含以下兩種：

  • 一鍵授權：當建立MaxCompute專案的帳號和部署DLF的帳號相同時。建議您直接單擊授權DLF進行一鍵授權。

  • 自訂授權：當建立MaxCompute專案的帳號和部署DLF的帳號相同或不相同，都可以使用該方式。詳情請參見自訂授權DLF。

通過Dataphin管理MaxCompute湖倉一體

資料湖構建DLF可用於OSS的中繼資料發現及管理，MaxCompute可基於DLF建立外部項目將DLF管理的中繼資料註冊到MaxCompute的外部項目中。Dataphin即可基於MaxCompute和DLF對湖倉一體的資料進行資料的加工處理（離線研發及規範建模），中繼資料管理、存取權限及安全管理、資料品質稽核與計算資源的治理。

建立MaxCompute計算源並綁定到Dataphin專案中

需要建立MaxCompute計算源，將MaxCompute的外部項目註冊進來。由於MaxCompute外部項目不包含計算資源，我們需要額外指定一個MaxCompute專案使用者任務的執行、品質規則、安全規則掃描以及安裝安全性原則。如何建立MaxCompute計算源，詳情請參見建立MaxCompute計算源。

建立好計算源後，即可建立專案，並將建立好的計算源註冊為MaxCompute的計算源。

基於MaxCompute湖倉一體的外部項目的資料進行規範建模和資料處理

建立MaxCompute計算源並綁定到Dataphin專案中後，規範建模可基於外部項目中的來源表建立邏輯表，MaxCompute SQL任務可用映射的內部專案的計算資源來執行，並支援讀寫外部項目中的表資料。

查看湖倉一體的中繼資料資訊及進行許可權管控

• 支援查看中繼資料資訊。

• 支援外部項目中的資料表及欄位的資產搜尋及查詢。

• 支援資料預覽。

• 支援產生select語句及DDL語句。

• 支援申請外部項目中的表及欄位的許可權。

對湖倉一體的資料進行品質稽核和安全管控

• 支援基於外部項目的物理表配置資料表品質規則。

• 支援MaxComput SQL任務執行品質規則校正。

• 支援安全規則掃描以及安裝安全性原則。