panduan API - Data Lake Formation

API metadata merupakan antarmuka standar open source Paimon. Kit Pengembangan Perangkat Lunak (SDK)-nya memiliki dependensi ringan yang hanya mencakup kelas-kelas terkait Paimon, sehingga mencegah konflik dependensi dengan program Anda. API ini menyediakan akses latensi rendah melalui titik akhir Virtual Private Cloud (VPC) Data Lake Formation (DLF) dan mendukung akses jaringan publik melalui titik akhir Alibaba Cloud OpenAPI. Akses jaringan publik berguna untuk skenario lintas wilayah (cross-region) dan debugging lokal. Diperlukan client Paimon versi 1.4 untuk menandatangani permintaan ke titik akhir OpenAPI.

Persiapan

Konfigurasikan daftar putih VPC

Secara default, API metadata hanya dapat diakses dari VPC yang terdaftar dalam daftar putih. Saat Anda mengaktifkan layanan DLF, sistem secara otomatis menyinkronkan ID VPC di wilayah Anda saat ini ke daftar putih tingkat pengguna. Untuk menambahkan VPC baru, masukkan ID VPC tersebut secara manual di Konsol DLF. Ikuti langkah-langkah berikut:

Masuk ke Konsol Data Lake Formation.
Pada panel navigasi di sebelah kiri, klik System and Security.
Klik tab System Security, lalu klik Add VPC ID.
Pada kotak dialog yang muncul, masukkan ID VPC dan klik OK.

Berikan izin DLF kepada role

Berikan izin Resource Access Management (RAM) kepada role Elastic Compute Service (ECS). Untuk kluster EMR, role-nya adalah AliyunECSInstanceForEMRRole.
1. Masuk ke Konsol Resource Access Management (RAM) menggunakan Akun Alibaba Cloud atau sebagai administrator RAM.
2. Pada panel navigasi di sebelah kiri, pilih Identity Management > Roles, lalu cari role ECS tersebut.
3. Pada kolom Actions, klik Add Permissions.
4. Pada bagian Access Policy, cari dan pilih AliyunDLFFullAccess, lalu klik Confirm Authorization.
Berikan izin DLF kepada role ECS.
1. Masuk ke Konsol Data Lake Formation.
2. Pada halaman Catalogs, klik nama katalog untuk membuka halaman detailnya.
3. Klik tab Permissions, lalu klik Grant.
4. Pada halaman otorisasi, konfigurasikan parameter berikut dan klik OK.
  - User/Role: Pilih RAM User/RAM Role.
  - Select Authorization Object: Dari daftar drop-down, pilih role ECS tersebut.
    Catatan
    Jika role ECS tidak muncul dalam daftar drop-down, buka halaman System and Security > Access Control > Users dan klik Sync.
  - Predefined Permission Type: Pilih Data Editor.

Tambahkan dependensi Maven

Jika Anda menggunakan Java dan ingin mereferensikan SDK API, tambahkan dependensi Maven berikut:

<dependency>
  <groupId>org.apache.paimon</groupId>
  <artifactId>paimon-api</artifactId>
  <version>1.3.0</version>
</dependency>

Anda juga dapat mengunduh file JAR secara langsung: paimon-api-1.3.0.jar.

Buat REST API

Gunakan role ECS untuk autentikasi REST DLF.

import org.apache.paimon.options.Options;
import org.apache.paimon.rest.RESTApi;

import static org.apache.paimon.options.CatalogOptions.WAREHOUSE;
import static org.apache.paimon.rest.RESTCatalogOptions.DLF_TOKEN_LOADER;
import static org.apache.paimon.rest.RESTCatalogOptions.TOKEN_PROVIDER;
import static org.apache.paimon.rest.RESTCatalogOptions.URI;

public class RESTApiExample {
    public static void main(String[] args) {
        Options options = new Options();
        options.set(URI, "http://cn-hangzhou-vpc.dlf.aliyuncs.com");
        options.set(WAREHOUSE, "dlf_test");
        options.set(TOKEN_PROVIDER, "dlf");
        options.set(DLF_TOKEN_LOADER, "ecs");
        RESTApi api = new RESTApi(options);
        System.out.println(api.listTables("my_database"));
    }
}

Tabel berikut menjelaskan parameter-parameter tersebut.

Parameter	Deskripsi	Wajib	Contoh
URI	URI untuk mengakses DLF Rest Catalog Server. Formatnya adalah `http://[region-id]-vpc.dlf.aliyuncs.com`. Untuk informasi lebih lanjut mengenai ID wilayah dan alamat OpenAPI, lihat Endpoints.	Ya	http://cn-hangzhou-vpc.dlf.aliyuncs.com
WAREHOUSE	Nama Katalog DLF.	Ya	dlf_test
TOKEN_PROVIDER	Penyedia token. Nilainya tetap dlf.	Ya	dlf
DLF_TOKEN_LOADER	Menerbitkan token temporary melalui instans ECS. Nilainya tetap ecs. Catatan Sebagai alternatif, hubungkan langsung ke layanan REST DLF tanpa menggunakan autentikasi ECS. Untuk melakukannya, konfigurasikan parameter `RESTCatalogOptions` `DLF_ACCESS_KEY_ID` dan `DLF_ACCESS_KEY_SECRET`.	Tidak	ecs