E-MapReduce：通過Unity Catalog中的Delta Sharing訪問Databricks資料

建立共用 (Share)

• 登入 Databricks 工作空間，在左側導覽列進入 Catalog > Delta Sharing > Shared by me。

• 點擊 Shared data，建立一個新的 Share。Share 是用於組織和管理待共用資料表的邏輯容器。

添加資料資產 (Assets)

• 在建立的 共用 (Share) 中，輸入Share name後，添加資料資產。

• 選擇您希望對外共用的一個或多個資料表。

  Serverless Spark訪問共用資料時會使用到剛剛配置的Share name和相應的庫表。

建立接收者 (Recipient)

• 如果之前沒有建立接收者 (Recipient)，可以在下拉式清單中選擇建立接收者 (Recipient)。也可以返回 共用 (Share) 詳情頁，點擊 Add recipient 以建立一個新的資料 接收者 (Recipient)。

  

配置接收者並產生憑證檔案

• 為 接收者 (Recipient) 產生一個包含存取權杖的憑證檔案 (Credential File)。

  

  • 接收者類型：選擇Open類型。Open 類型用於與任何支援 Delta Sharing 協議的用戶端（如 EMR Serverless Spark）進行開放共用，它會產生一個可移植的憑證檔案。Databricks 類型則用於 Databricks 平台之間的內部共用。

    說明

    確保Recipient type是Open，如果Open框不可選，需要在右上方organization -> View Delta Sharing Settings中Enable External delta sharing

  • 認證方式：選擇Token類型。

  • Token生命週期：設定Token有效期間，最長支援365天。

• 建立完成後，系統會產生一個啟用 Token連結 (Activation link)。

下載憑證檔案

• 在瀏覽器中開啟上一步產生的 Activation link，系統將提示您下載一個以 .share 為尾碼的憑證檔案。

上傳憑證檔案至 OSS

• 將上一步下載的 .share憑證檔案上傳到您的 OSS Bucket 中。

• 記錄該檔案的完整 OSS 路徑，例如 oss://your-bucket/path/to/credential.share。

  說明

  安全建議：

  • 建議將憑證檔案儲存體在私人許可權的 Bucket 中。

  • 確保後續運行 Spark 任務的 RAM 角色具有該 OSS 檔案的讀取許可權。

配置公網訪問

準備一個具備公網訪問能力的Virtual Private Cloud，並配置適用於 Serverless Spark 的交換器，以支援 Serverless Spark 通過公網訪問 Databricks Delta Sharing。阿里雲提供公網 NAT Gateway以實現 VPC 的公網訪問，詳細操作請參見公網 NAT Gateway。Serverless Spark支援的可用性區域交換器，請參見支援的可用性區域交換器列表。

添加網路連接

在工作空間中新增網路連接時，請選擇前期配置的支援公網訪問的專用網路及其對應的交換器。詳細操作請參見新增網路連接。

準備並上傳SQL檔案

• 準備SQL檔案，將共用資料集寫入DLF。

  -- 建立暫存資料表
  -- 替換 憑證檔案 地址和 share 資料集
  -- demo_share 是前面建立 共用 (Share) 的名稱
  -- default.alitable  是前面共用的庫表
  CREATE TEMPORARY TABLE dbc_delta_sharing USING deltaSharing LOCATION 'oss://your-bucket/path/to/credential.share#demo_share.default.alitable';
  SELECT * FROM dbc_delta_sharing limit 10;
  
  -- 建立資料庫和表
  CREATE database if NOT EXISTS demo_day_ss_dlf;
  DROP TABLE if EXISTS demo_day_ss_dlf.dw_songs_ss_dlf;
  
  CREATE TABLE demo_day_ss_dlf.dw_songs_ss_dlf SELECT * FROM dbc_delta_sharing limit 10;
  SELECT * FROM demo_day_ss_dlf.dw_songs_ss_dlf limit 10;

• 通過檔案管理，將SQL檔案上傳至Serverless Spark的工作空間。詳細操作請參見管理檔案。

添加資料目錄

在添加資料目錄對話方塊中，選擇DLF資料目錄。資料目錄詳細操作，請參見管理資料目錄。

建立 Spark 任務