Akses katalog Iceberg di DLF menggunakan Flink SQL - Data Lake Formation

Topik ini menjelaskan cara mengakses katalog Data Lake Formation (DLF) menggunakan Flink SQL melalui Iceberg REST.

Prasyarat

Anda telah membuat ruang kerja Realtime Compute for Apache Flink. Untuk instruksi, lihat Aktifkan Realtime Compute for Apache Flink.
Anda telah membuat kluster sesi dengan versi mesin Ververica Runtime (VVR) 11.2.0 atau lebih baru. Lihat Buat kluster sesi.

Persyaratan mesin

Hanya versi VVR 11.2.0 ke atas yang didukung.

Daftarkan katalog DLF di Flink

Catatan

Operasi ini membuat pemetaan ke katalog DLF Anda. Membuat atau menghapus katalog di Flink tidak memengaruhi data aktual di DLF.
Semua tabel yang dibuat di katalog DLF melalui Iceberg REST adalah tabel Iceberg.

Masuk ke Konsol Manajemen Realtime Compute for Apache Flink.
Di kolom Actions ruang kerja Anda, klik Console.
Di bilah navigasi kiri, klik Development > Scripts.

Buat skrip baru. Di editor SQL, salin dan tempel pernyataan SQL berikut. Di pojok kanan bawah, klik Environment, pilih kluster sesi VVR 11.2.0 ke atas, dan jalankan pernyataan SQL untuk mendaftarkan katalog DLF melalui Iceberg REST.

CREATE CATALOG `catalog_name` 
 WITH (
    'type' = 'iceberg',
    'catalog-type' = 'rest',
    'uri' = 'http://cn-hangzhou-vpc.dlf.aliyuncs.com/iceberg',
    'warehouse' = 'iceberg_test',
    'rest.signing-region' = 'cn-hangzhou',
    'io-impl' = 'org.apache.iceberg.rest.DlfFileIO'
);

Tabel berikut menjelaskan opsi-opsinya.

Opsi	Deskripsi	Diperlukan	Contoh
type	Jenis. Atur ini ke `iceberg`.	Ya	iceberg
catalog-type	Jenis katalog. Atur ini ke `rest`.	Ya	rest
token.provider	Penyedia token. Atur ini ke dlf.	Ya	dlf
uri	URI yang digunakan untuk mengakses katalog DLF melalui Iceberg REST. Untuk informasi lebih lanjut, lihat Iceberg REST.	Ya	http://ap-southeast-1-vpc.dlf.aliyuncs.com/iceberg
warehouse	Nama katalog DLF Anda.	Ya	iceberg_test
rest.signing-region	ID Wilayah DLF. Untuk informasi lebih lanjut, lihat Endpoints.	Ya	ap-southeast-1
io-impl	Atur ini ke `org.apache.iceberg.rest.DlfFileIO`.	Ya	org.apache.iceberg.rest.DlfFileIO

Kueri data dalam katalog

Untuk menanyakan database dan tabel dalam katalog terdaftar, jalankan pernyataan SQL berikut di Skrip:

SELECT * FROM catalog_name.database_name.table_name;