E-MapReduce:Unity Catalog の Delta Sharing を介した Databricks データへのアクセス

Share の作成

• Databricks ワークスペースにログインします。左側のナビゲーションウィンドウで、[Catalog] > [Delta Sharing] > [Shared by me] に移動します。

• [Share data] をクリックして、新しい Share を作成します。Share は、共有したいテーブルを整理・管理するための論理的なコンテナーです。

資産の追加

• 新しい Share で、[Share name] を入力し、データ資産を追加します。

• 外部と共有したいテーブルを 1 つ以上選択します。

  Serverless Spark は、設定された Share 名と対応するテーブルを使用して、共有データにアクセスします。

Recipient の作成

• まだ Recipient を作成していない場合は、ドロップダウンリストから Recipient を作成できます。また、Share ページに戻り、[Add recipient] をクリックして新しいデータ Recipient を作成することもできます。

  

Recipient の設定と認証情報ファイルの生成

• Recipient のアクセストークンを含む認証情報ファイルを生成します。

  

  • Recipient タイプ：Open を選択します。Open タイプは、EMR Serverless Spark など、Delta Sharing プロトコルをサポートする任意のクライアントとのオープンな共有に使用されます。これにより、ポータブルな認証情報ファイルが生成されます。Databricks タイプは、Databricks プラットフォーム間の内部共有に使用されます。

    説明

    Recipient タイプが Open に設定されていることを確認してください。Open オプションが選択できない場合は、右上の [Organization] > [View Delta Sharing Settings] に移動し、[External delta sharing] を有効にします。

  • 認証方法：Token を選択します。

  • Token のライフサイクル：Token の有効期間を設定します。最大期間は 365 日です。

• プロセスが完了すると、[Activation link] が生成されます。

認証情報ファイルのダウンロード

• 前のステップで取得した [Activation link] をブラウザで開きます。システムにより、.share 拡張子の認証情報ファイルをダウンロードするよう求められます。

OSS への認証情報ファイルのアップロード

• 前のステップでダウンロードした .share 認証情報ファイルを OSS バケットにアップロードします。

• ファイルの完全な OSS パス (例：oss://your-bucket/path/to/credential.share) を記録しておきます。

  説明

  セキュリティに関する推奨事項：

  • 認証情報ファイルは、非公開権限を持つバケットに保存してください。

  • Spark タスクの実行に使用する RAM ロールに、対象の OSS ファイルに対する読み取り権限があることを確認してください。

パブリックネットワークアクセスの設定

パブリックネットワークアクセスが可能な virtual private cloud (VPC) を準備し、Serverless Spark 用に互換性のある vSwitch を設定する必要があります。この設定により、Serverless Spark はパブリックネットワーク経由で Databricks Delta Sharing にアクセスできます。Alibaba Cloud は、VPC のパブリックネットワークアクセスを有効にするために NAT Gateway を提供しています。詳細については、「NAT Gateway」をご参照ください。Serverless Spark がサポートするゾーンと vSwitch の一覧については、「サポートされているゾーンと vSwitch の一覧」をご参照ください。

ネットワーク接続の追加

ワークスペースでネットワーク接続を追加する際に、パブリックネットワークアクセス用に設定した VPC と、それに対応する vSwitch を選択します。詳細については、「ネットワーク接続の追加」をご参照ください。

SQL ファイルの準備とアップロード

• 共有データセットを DLF に書き込むための SQL ファイルを準備します。

  -- 一時テーブルを作成します
  -- 認証情報ファイルのパスと共有データセットを置き換えてください
  -- demo_share は以前に作成した Share の名前です
  -- default.alitable は共有ライブラリとテーブルです
  CREATE TEMPORARY TABLE dbc_delta_sharing USING deltaSharing LOCATION 'oss://your-bucket/path/to/credential.share#demo_share.default.alitable';
  SELECT * FROM dbc_delta_sharing limit 10;
  
  -- データベースとテーブルを作成します
  CREATE database if NOT EXISTS demo_day_ss_dlf;
  DROP TABLE if EXISTS demo_day_ss_dlf.dw_songs_ss_dlf;
  
  CREATE TABLE demo_day_ss_dlf.dw_songs_ss_dlf SELECT * FROM dbc_delta_sharing limit 10;
  SELECT * FROM demo_day_ss_dlf.dw_songs_ss_dlf limit 10;

• ファイル管理機能を使用して、SQL ファイルを Serverless Spark ワークスペースにアップロードします。詳細については、「ファイルの管理」をご参照ください。

データカタログの追加

[データカタログの追加] ダイアログボックスで、DLF Data Catalog を選択します。データカタログの詳細については、「データカタログの管理」をご参照ください。

Spark タスクの作成