Kelola katalog DLF – buat, lihat, konfigurasikan, hapus - Data Lake Formation

Katalog merupakan kontainer metadata tingkat teratas di DLF. Gunakan katalog untuk mengatur database dan tabel secara hierarkis, mengisolasi metadata antar tim, mengelola penyimpanan data, serta menyederhanakan tata kelola.

Prasyarat

Sebelum memulai, pastikan Anda telah:

Menyiapkan DLF (aktivasi dan otorisasi satu kali)
(Pengguna RAM) Memiliki kebijakan izin AliyunDLFFullAccess atau kebijakan kustom dengan aksi terkait katalog. Untuk informasi selengkapnya, lihat Kelola izin API.
(Pengguna RAM) Memiliki role sistem super_administrator atau admin, atau role kustom dengan izin data terkait katalog. Untuk informasi selengkapnya, lihat Berikan izin data kepada pengguna.

Catatan

Pengguna RAM memerlukan izin API dan izin data untuk mengelola katalog.

Batasan

Maksimal 10 katalog dapat dibuat per akun di setiap wilayah. Untuk meminta peningkatan kuota, submit a ticket.

Buat katalog

Masuk ke DLF console.
Pada halaman Catalogs, klik Create Catalog.

Konfigurasikan parameter berikut.

Parameter	Wajib	Default	Deskripsi
Catalog Name	Ya	--	Nama unik untuk katalog.
Description	Tidak	--	Deskripsi katalog.
Storage Type	Ya	Standard Storage	Ditetapkan ke Standard Storage.
Storage Redundancy Type	Ya	LRS	Kebijakan redundansi data. Nilai yang valid: LRS dan ZRS.

Opsi Storage Redundancy Type:

LRS (Locally Redundant Storage): Menyimpan data di zona tunggal. Jika zona tidak tersedia, data tidak dapat diakses. Opsi default.
ZRS (Zone-Redundant Storage): Mereplikasi data di beberapa zona dalam satu wilayah untuk ketersediaan yang lebih tinggi.

Penting

Setelah katalog dibuat, jenis redundansi tidak dapat diubah dari ZRS ke LRS.
ZRS memberikan ketersediaan data yang lebih tinggi tetapi biayanya lebih mahal dibandingkan LRS.

Baca dan pilih Terms of Service, lalu klik Create Catalog.

Lihat katalog

Di panel navigasi kiri, klik Catalogs.
Klik nama katalog untuk melihat detailnya.
Pada tab Details, lihat informasi dasar katalog.
Klik tab Permissions untuk memberikan izin tingkat katalog kepada pengguna atau role DLF. Kelola otorisasi data.
Klik tab Storage Optimization untuk mengonfigurasi tiering penyimpanan. Untuk informasi selengkapnya, lihat Konfigurasi optimasi penyimpanan.
Klik tab Catalog Configuration untuk mengonfigurasi siklus hidup fragmen file dan properti default tabel Paimon. Untuk informasi selengkapnya, lihat Konfigurasi pengaturan katalog.

Hapus katalog

Penting

Sebelum menghapus katalog, pastikan kondisi berikut terpenuhi. Jika tidak, penghapusan akan gagal.

Hapus semua tabel dan semua database non-default di dalam katalog.
Tunggu 24 jam setelah semua tabel dihapus sebelum menghapus katalog.

Pada halaman Catalogs, temukan katalog yang dituju dan klik Delete di kolom Actions.
Pada kotak dialog, klik OK.

Konfigurasi optimasi penyimpanan

Pada tab Storage Optimization, gunakan Intelligent Tiering untuk secara otomatis menempatkan data panas dan dingin di berbagai kelas penyimpanan berdasarkan aturan siklus hidup.

Perilaku tingkat katalog dan tingkat tabel

Tingkat katalog: Saat diaktifkan, Intelligent Tiering berlaku untuk semua tabel dan mewarisi pengaturan katalog. Penggantian di tingkat tabel akan menghapus status "Inherited from Catalog".
Tingkat tabel: Anda dapat mengaktifkan Intelligent Tiering untuk tabel individual meskipun tiering tingkat katalog dinonaktifkan.

Strategi tiering

Strategi	Deskripsi
Last Access Time	Memicu aturan berdasarkan kapan data tabel atau partisi terakhir diakses.
Last Update Time	Memicu aturan berdasarkan kapan data tabel atau partisi terakhir diperbarui.

Aturan tiering

Konfigurasikan aturan untuk memindahkan data antar kelas penyimpanan. Durasi penyimpanan minimum bervariasi berdasarkan kelas.

Aturan	Default (hari)	Deskripsi
Transition to Infrequent Access	30	Memindahkan data ke penyimpanan Infrequent Access (IA) setelah jumlah hari yang ditentukan. Data IA tetap dapat diakses oleh mesin komputasi dengan performa yang dikurangi.
Transition to Archive	60	Memindahkan data ke penyimpanan Archive setelah jumlah hari yang ditentukan. Data yang diarsipkan tidak dapat diakses oleh mesin komputasi.
Transition to Cold Archive	180	Memindahkan data ke penyimpanan Cold Archive setelah jumlah hari yang ditentukan. Data yang diarsipkan dingin tidak dapat diakses oleh mesin komputasi.

Aturan Transition to Infrequent Access dan Transition to Archive mendukung opsi tambahan:

Convert to Standard Storage Upon Access: Secara otomatis memulihkan partisi atau tabel non-partisi ke penyimpanan Standard saat diakses.

Catatan

Convert to Standard Storage Upon Access hanya tersedia jika Tiering Strategy diatur ke Last Access Time.

Konfigurasi pengaturan katalog

Pada tab Catalog Configuration, konfigurasikan pengaturan tingkat katalog berikut.

File Fragment Lifecycle

Tetapkan waktu kedaluwarsa untuk fragmen file (minimum: 1 hari). Fragmen yang kedaluwarsa akan dihapus secara otomatis dan tidak dapat dipulihkan.

Advanced Settings

Tetapkan properti default untuk tabel Paimon yang baru dibuat. Format kunci konfigurasi: table-default.<Paimon table property>. Untuk detail properti, lihat dokumentasi konfigurasi Apache Paimon.

Contohnya, untuk mengaktifkan Deletion Vectors secara default, konfigurasikan table-default.deletion-vectors.enabled=true. Saat tabel dibuat, sistem akan menghapus awalan table-default. dan menerapkan deletion-vectors.enabled=true sebagai properti tabel.

Catatan

Properti yang secara eksplisit ditentukan saat pembuatan tabel memiliki prioritas lebih tinggi dan tidak akan ditimpa oleh pengaturan ini.

Langkah selanjutnya

Kelola otorisasi data: Berikan izin tingkat katalog kepada pengguna dan role.
Paimon Table: Buat dan kelola tabel Paimon dalam katalog.