Data Lake Formation:Panduan Penggunaan API

Pilih titik akhir akses

API metadata DLF tersedia melalui dua titik akhir. Pilih titik akhir berdasarkan lokasi tempat klien Anda berjalan:

• Titik Akhir VPC DLF (Direkomendasikan) — Menyediakan akses latensi rendah dari VPC yang berada dalam daftar putih DLF. Contoh dalam topik ini menggunakan titik akhir VPC DLF.

• Titik Akhir Alibaba Cloud OpenAPI — Menyediakan akses jaringan publik, yang mendukung skenario seperti cross-region access dan debugging lokal. Dukungan signature untuk titik akhir OpenAPI memerlukan klien Paimon versi 1.4 atau lebih baru, yang lebih baru daripada versi SDK yang digunakan dalam dependensi Maven pada topik ini.

Prasyarat

Sebelum menambahkan VPC ke daftar putih, memberikan izin kepada role, menambahkan dependensi Maven, dan memanggil API metadata DLF, pastikan persyaratan berikut terpenuhi:

• Akses Jaringan — Secara default, API metadata DLF hanya dapat diakses dari VPC yang ada dalam daftar putih. Saat mengakses DLF melalui titik akhir VPC DLF, klien Anda harus berjalan di VPC yang termasuk dalam daftar putih.

• Lingkungan Runtime dan Role — Saat menggunakan autentikasi role Elastic Compute Service (ECS), klien Anda berjalan pada instance ECS atau node kluster E-MapReduce (EMR) yang terikat pada role ECS.

• Katalog DLF — Katalog DLF tersedia, dan role ECS telah diberikan izin atas katalog tersebut.

• Kredensial Otorisasi — Anda memiliki Akun Alibaba Cloud atau kredensial administrator Resource Access Management (RAM), yang diperlukan untuk memberikan izin RAM kepada role ECS.

• Versi Klien — Klien Paimon memenuhi persyaratan versi untuk titik akhir yang Anda gunakan, sebagaimana dijelaskan pada bagian sebelumnya.

Konfigurasikan daftar putih VPC

Saat Anda mengaktifkan DLF, sistem secara otomatis menyinkronkan ID VPC di wilayah Anda saat ini ke daftar putih tingkat pengguna. Untuk menambahkan VPC kemudian, tambahkan ID VPC-nya di konsol DLF:

1. Login ke Konsol Data Lake Formation (DLF).

2. Di panel navigasi sebelah kiri, klik System & Security.

3. Klik tab System & Security, lalu klik Add VPC.

4. Pada kotak dialog yang muncul, masukkan ID VPC tempat Anda mengakses API metadata DLF, lalu klik OK.

Berikan izin DLF kepada role

Berikan role ECS dua set izin: izin RAM di Konsol RAM dan izin katalog di Konsol DLF. Sebagai contoh, untuk kluster EMR, role-nya adalah AliyunECSInstanceForEMRRole.

1. Berikan izin RAM kepada role ECS.

   1. Login ke Konsol Resource Access Management (RAM) menggunakan Akun Alibaba Cloud Anda atau sebagai administrator RAM.

   2. Pilih Identities > Roles, lalu cari role ECS tersebut.

   3. Pada kolom Actions, klik Add Permissions.

   4. Di bagian Policies, cari dan pilih AliyunDLFFullAccess, lalu klik OK.

2. Berikan izin DLF kepada role ECS.

   1. Login ke Konsol Data Lake Formation (DLF).

   2. Pada halaman Catalogs, klik nama katalog target.

   3. Klik tab Permissions, lalu klik Grant Permissions.

   4. Pada halaman otorisasi, konfigurasikan parameter berikut, lalu klik OK.

      • Principal: Pilih RAM user atau RAM role.

      • Select DLF User: Pilih ECS Role dari daftar drop-down.

        Catatan

        Jika ECS Role tidak muncul dalam daftar drop-down pengguna, pilih System & Security > Access Control > Users, lalu klik Sync Users.

      • Predefined Permission Type: Pilih Data Editor.

Buat client REST API

Buat klien REST API untuk memanggil API metadata DLF dari aplikasi Java Anda.

<dependency>
  <groupId>org.apache.paimon</groupId>
  <artifactId>paimon-api</artifactId>
  <version>1.3.0</version>
</dependency>

import org.apache.paimon.options.Options;
import org.apache.paimon.rest.RESTApi;
import static org.apache.paimon.options.CatalogOptions.WAREHOUSE;
import static org.apache.paimon.rest.RESTCatalogOptions.DLF_TOKEN_LOADER;
import static org.apache.paimon.rest.RESTCatalogOptions.TOKEN_PROVIDER;
import static org.apache.paimon.rest.RESTCatalogOptions.URI;
public class RESTApiExample {
    public static void main(String[] args) {
        Options options = new Options();
        options.set(URI, "http://cn-hangzhou-vpc.dlf.aliyuncs.com");
        options.set(WAREHOUSE, "dlf_test");
        options.set(TOKEN_PROVIDER, "dlf");
        options.set(DLF_TOKEN_LOADER, "ecs");
        RESTApi api = new RESTApi(options);
        System.out.println(api.listTables("my_database"));
    }
}