Data Lake Formation:API 利用ガイド

アクセスエンドポイントの選択

DLF メタデータ API は、2 つのエンドポイントで利用できます。クライアントが実行される場所に基づいてエンドポイントを選択します。

• DLF VPC エンドポイント (推奨) — DLF ホワイトリストに含まれる VPC からの低レイテンシーアクセスを提供します。このトピックの例では、DLF VPC エンドポイントを使用します。

• Alibaba Cloud OpenAPI エンドポイント — パブリックネットワークアクセスを提供します。これは、クロスリージョンアクセスやローカルデバッグなどのシナリオに対応します。OpenAPI エンドポイントの署名サポートには、バージョン 1.4 以降の Paimon クライアントが必要です。このバージョンは、このトピックの Maven 依存関係で使用されている SDK バージョンよりも新しいです。

前提条件

VPC をホワイトリストに追加したり、ロールに権限を付与したり、Maven の依存関係を追加したり、DLF メタデータ API を呼び出したりする前に、次の要件が満たされていることを確認してください。

• ネットワークアクセス — デフォルトでは、DLF メタデータ API は、ホワイトリストに登録されている VPC からのみアクセスできます。DLF VPC エンドポイント経由で DLF にアクセスする場合、クライアントはホワイトリストに登録された VPC で実行する必要があります。

• ランタイム環境とロール — Elastic Compute Service (ECS) ロール認証を使用する場合、クライアントは ECS ロールに紐付けられている ECS インスタンスまたは E-MapReduce (EMR) クラスターノード上で実行されます。

• DLF カタログ — DLF カタログが利用可能で、そのカタログに対する権限が ECS ロールに付与されています。

• 認可資格情報 — ECS ロールに Resource Access Management (RAM) 権限を付与するために必要な Alibaba Cloud アカウントまたは RAM 管理者の資格情報を持っている必要があります。

• クライアントバージョン — Paimon クライアントは、前のセクションで説明したように、使用するエンドポイントのバージョン要件を満たしています。

VPC ホワイトリストの設定

DLF をアクティブ化すると、システムは現在のリージョンの VPC ID をユーザーレベルのホワイトリストに自動的に同期します。後で VPC を追加するには、DLF コンソールでその VPC ID を追加します。

1. Data Lake Formation (DLF) コンソールにログインします。

2. 左側のナビゲーションペインで、System & Security をクリックします。

3. System & Security タブで、Add VPC をクリックします。

4. 表示されたダイアログボックスで、DLF メタデータ API にアクセスする VPC の ID を入力し、[OK] をクリックします。

ロールへの DLF 権限の付与

ECS ロールに 2 つの権限セットを付与します：RAM コンソールでの RAM 権限と、DLF コンソールでのカタログ権限です。たとえば、EMR クラスターの場合、ロールは AliyunECSInstanceForEMRRole です。

1. ECS ロールに RAM 権限を付与します。

   1. Alibaba Cloud アカウントまたは RAM 管理者として Resource Access Management (RAM) コンソールにログインします。

   2. [Identities] > [Roles] の順に選択し、ECS ロールを検索します。

   3. [Actions] 列で、[Add Permissions] をクリックします。

   4. [Policies] で AliyunDLFFullAccess を検索して選択し、[OK] をクリックします。

2. ECS ロールに DLF 権限を付与します。

   1. Data Lake Formation (DLF) コンソールにログインします。

   2. Catalogs ページで、対象のカタログの名前をクリックします。

   3. Permissions タブで、Grant Permissions をクリックします。

   4. 認可ページで、次のパラメーターを設定し、[OK] をクリックします。

      • [Principal]：RAM ユーザーまたは RAM ロールを選択します。

      • [Select DLF User]：ドロップダウンリストから [ECS Role] を選択します。

        説明

        ユーザーのドロップダウンリストに [ECS Role] が表示されない場合は、System & Security > Access Control > Users の順に選択し、Sync Users をクリックします。

      • [Predefined Permission Type]：[Data Editor] を選択します。

REST API クライアントの作成

Java アプリケーションから DLF メタデータ API を呼び出すために、REST API クライアントを作成します。

<dependency>
  <groupId>org.apache.paimon</groupId>
  <artifactId>paimon-api</artifactId>
  <version>1.3.0</version>
</dependency>

import org.apache.paimon.options.Options;
import org.apache.paimon.rest.RESTApi;
import static org.apache.paimon.options.CatalogOptions.WAREHOUSE;
import static org.apache.paimon.rest.RESTCatalogOptions.DLF_TOKEN_LOADER;
import static org.apache.paimon.rest.RESTCatalogOptions.TOKEN_PROVIDER;
import static org.apache.paimon.rest.RESTCatalogOptions.URI;
public class RESTApiExample {
    public static void main(String[] args) {
        Options options = new Options();
        options.set(URI, "http://cn-hangzhou-vpc.dlf.aliyuncs.com");
        options.set(WAREHOUSE, "dlf_test");
        options.set(TOKEN_PROVIDER, "dlf");
        options.set(DLF_TOKEN_LOADER, "ecs");
        RESTApi api = new RESTApi(options);
        System.out.println(api.listTables("my_database"));
    }
}