开源大数据平台E-MapReduce：通过Unity Catalog中的Delta Sharing访问Databricks数据

创建共享 (Share)

• 登录 Databricks 工作空间，在左侧导航栏进入 Catalog > Delta Sharing > Shared by me。

• 点击 Shared data，创建一个新的 Share。Share 是用于组织和管理待共享数据表的逻辑容器。

添加数据资产 (Assets)

• 在新建的 共享 (Share) 中，输入Share name后，添加数据资产。

• 选择您希望对外共享的一个或多个数据表。

  Serverless Spark访问共享数据时会使用到刚刚配置的Share name和相应的库表。

创建接收者 (Recipient)

• 如果之前没有创建接收者 (Recipient)，可以在下拉列表中选择创建接收者 (Recipient)。也可以返回 共享 (Share) 详情页，点击 Add recipient 以创建一个新的数据 接收者 (Recipient)。

  

配置接收者并生成凭证文件

• 为 接收者 (Recipient) 生成一个包含访问令牌的凭证文件 (Credential File)。

  

  • 接收者类型：选择Open类型。Open 类型用于与任何支持 Delta Sharing 协议的客户端（如 EMR Serverless Spark）进行开放共享，它会生成一个可移植的凭证文件。Databricks 类型则用于 Databricks 平台之间的内部共享。

    说明

    确保Recipient type是Open，如果Open框不可选，需要在右上角organization -> View Delta Sharing Settings中Enable External delta sharing

  • 认证方式：选择Token类型。

  • Token生命周期：设置Token有效期，最长支持365天。

• 创建完成后，系统会生成一个激活令牌链接 (Activation link)。

下载凭证文件

• 在浏览器中打开上一步生成的 Activation link，系统将提示您下载一个以 .share 为后缀的凭证文件。

上传凭证文件至 OSS

• 将上一步下载的 .share凭证文件上传到您的 OSS Bucket 中。

• 记录该文件的完整 OSS 路径，例如 oss://your-bucket/path/to/credential.share。

  说明

  安全建议：

  • 建议将凭证文件存储在私有权限的 Bucket 中。

  • 确保后续运行 Spark 任务的 RAM 角色具有该 OSS 文件的读取权限。

配置公网访问

准备一个具备公网访问能力的专有网络（VPC），并配置适用于 Serverless Spark 的交换机，以支持 Serverless Spark 通过公网访问 Databricks Delta Sharing。阿里云提供公网 NAT 网关以实现 VPC 的公网访问，详细操作请参见公网 NAT 网关。Serverless Spark支持的可用区交换机，请参见支持的可用区交换机列表。

添加网络连接

在工作空间中新增网络连接时，请选择前期配置的支持公网访问的专有网络及其对应的交换机。详细操作请参见新增网络连接。

准备并上传SQL文件

• 准备SQL文件，将共享数据集写入DLF。

  -- 创建临时表
  -- 替换 凭证文件 地址和 share 数据集
  -- demo_share 是前面创建 共享 (Share) 的名称
  -- default.alitable  是前面共享的库表
  CREATE TEMPORARY TABLE dbc_delta_sharing USING deltaSharing LOCATION 'oss://your-bucket/path/to/credential.share#demo_share.default.alitable';
  SELECT * FROM dbc_delta_sharing limit 10;
  
  -- 创建数据库和表
  CREATE database if NOT EXISTS demo_day_ss_dlf;
  DROP TABLE if EXISTS demo_day_ss_dlf.dw_songs_ss_dlf;
  
  CREATE TABLE demo_day_ss_dlf.dw_songs_ss_dlf SELECT * FROM dbc_delta_sharing limit 10;
  SELECT * FROM demo_day_ss_dlf.dw_songs_ss_dlf limit 10;

• 通过文件管理，将SQL文件上传至Serverless Spark的工作空间。详细操作请参见管理文件。

添加数据目录

在添加数据目录对话框中，选择DLF数据目录。数据目录详细操作，请参见管理数据目录。

创建 Spark 任务