Membuat, mengonfigurasi, dan menghapus katalog DLF - Data Lake Formation

Katalog merupakan kontainer metadata tingkat teratas di DLF. Topik ini menjelaskan cara membuat, melihat, mengonfigurasi, dan menghapus katalog.

Prasyarat

Sebelum memulai, pastikan Anda telah:

Menyiapkan DLF (aktivasi dan otorisasi satu kali)
(Pengguna RAM) Memiliki kebijakan izin AliyunDLFFullAccess atau kebijakan kustom dengan aksi terkait katalog. Untuk informasi selengkapnya, lihat Mengelola izin API.
(Pengguna RAM) Memiliki role sistem super_administrator atau admin, atau role kustom dengan izin data terkait katalog. Untuk informasi selengkapnya, lihat Memberikan izin data kepada pengguna.

Catatan

Pengguna RAM memerlukan izin API dan izin data untuk mengelola katalog.

Batasan

Maksimal 10 katalog dapat dibuat per akun di setiap wilayah. Untuk meminta peningkatan kuota, submit a ticket.

Membuat katalog

Masuk ke DLF console
Pada halaman Catalogs, klik Create Catalog.

Konfigurasikan parameter berikut.

Parameter	Wajib	Bawaan	Deskripsi
Catalog Name	Ya	--	Nama unik untuk katalog.
Description	Tidak	--	Deskripsi katalog.
Storage Type	Ya	Standard Storage	Ditetapkan sebagai Standard Storage.
Storage Redundancy Type	Ya	LRS	Kebijakan redundansi data. Nilai yang valid: LRS dan ZRS.

Opsi Storage Redundancy Type:

LRS (Locally Redundant Storage): Menyimpan data di zona tunggal. Jika zona tidak tersedia, data tidak dapat diakses. Opsi bawaan.
ZRS (Zone-Redundant Storage): Mereplikasi data di beberapa zona dalam satu wilayah untuk ketersediaan yang lebih tinggi.

Penting

Setelah katalog dibuat, tipe redundansi tidak dapat diubah dari ZRS ke LRS.
ZRS memberikan ketersediaan data yang lebih tinggi tetapi menimbulkan biaya lebih besar dibandingkan LRS.

Baca dan pilih Terms of Service, lalu klik Create Catalog.

Menampilkan katalog

Di panel navigasi kiri, klik Catalogs.
Klik nama katalog untuk melihat detailnya.
Pada tab Details, lihat informasi dasar katalog.
Klik tab Permissions untuk memberikan izin tingkat katalog kepada pengguna atau role DLF. Mengelola otorisasi data.
Klik tab Storage Optimization untuk mengonfigurasi tiering penyimpanan. Untuk informasi selengkapnya, lihat Mengonfigurasi tiering penyimpanan.
Klik tab Catalog Configuration untuk mengonfigurasi siklus hidup fragmen file dan properti tabel Paimon bawaan. Untuk informasi selengkapnya, lihat Mengonfigurasi katalog.

Mengonfigurasi katalog

Mengonfigurasi tiering penyimpanan

Pada tab Storage Optimization, gunakan Intelligent Tiering untuk secara otomatis menempatkan data panas dan dingin di berbagai kelas penyimpanan berdasarkan aturan siklus hidup.

Perilaku tingkat katalog dan tingkat tabel

Tingkat katalog: Saat diaktifkan, Intelligent Tiering berlaku untuk semua tabel dan mewarisi pengaturan katalog. Penggantian pada tingkat tabel akan menghapus status "Inherited from Catalog".
Tingkat tabel: Anda dapat mengaktifkan Intelligent Tiering untuk tabel individual meskipun tiering tingkat katalog dinonaktifkan.

Strategi tiering

Strategi	Deskripsi
Last Access Time	Memicu aturan berdasarkan kapan data tabel atau partisi terakhir diakses.
Last Update Time	Memicu aturan berdasarkan kapan data tabel atau partisi terakhir diperbarui.

Aturan tiering

Konfigurasikan aturan untuk memindahkan data antar kelas penyimpanan. Durasi penyimpanan minimum bervariasi berdasarkan kelas.

Aturan	Bawaan (hari)	Deskripsi
Transition to Infrequent Access	30	Memindahkan data ke penyimpanan Infrequent Access (IA) setelah jumlah hari yang ditentukan. Data IA tetap dapat diakses oleh mesin komputasi dengan performa yang dikurangi.
Transition to Archive	60	Memindahkan data ke penyimpanan Archive setelah jumlah hari yang ditentukan. Data yang diarsipkan tidak dapat diakses oleh mesin komputasi.
Transition to Cold Archive	180	Memindahkan data ke penyimpanan Cold Archive setelah jumlah hari yang ditentukan. Data yang diarsipkan dingin tidak dapat diakses oleh mesin komputasi.

Aturan Transition to Infrequent Access dan Transition to Archive mendukung opsi tambahan:

Convert to Standard Storage Upon Access: Secara otomatis memulihkan partisi atau tabel non-partisi ke penyimpanan Standard saat diakses.

Catatan

Convert to Standard Storage Upon Access hanya tersedia jika Tiering Strategy diatur ke Last Access Time.

Mengonfigurasi siklus hidup fragmen file

Pada tab Catalog Configuration, konfigurasikan pengaturan tingkat katalog berikut.

File Fragment Lifecycle

Tetapkan waktu kedaluwarsa untuk fragmen file (minimum: 1 hari). Fragmen yang kedaluwarsa akan dihapus secara otomatis dan tidak dapat dipulihkan.

Mengonfigurasi properti tabel Paimon bawaan

Advanced Settings

Tetapkan properti bawaan untuk tabel Paimon yang baru dibuat. Format kunci konfigurasi: table-default.<Paimon table property>. Untuk detail properti, lihat Apache Paimon configuration documentation.

Contohnya, untuk mengaktifkan Deletion Vectors secara bawaan, konfigurasikan table-default.deletion-vectors.enabled=true. Saat tabel dibuat, sistem akan menghapus awalan table-default. dan menerapkan deletion-vectors.enabled=true sebagai properti tabel.

Catatan

Properti yang secara eksplisit ditentukan saat pembuatan tabel memiliki prioritas lebih tinggi dan tidak akan ditimpa oleh pengaturan ini.

Menghapus katalog

Penting

Sebelum menghapus katalog, pastikan kondisi berikut terpenuhi. Jika tidak, penghapusan akan gagal.

Hapus semua tabel dan semua database non-default di dalam katalog.
Tunggu 24 jam setelah semua tabel dihapus sebelum menghapus katalog.

Pada halaman Catalogs, temukan katalog yang dituju dan klik Delete di kolom Actions.
Pada kotak dialog, klik OK.

Langkah selanjutnya

Mengelola otorisasi data: Memberikan izin tingkat katalog kepada pengguna dan role.
Paimon Table: Membuat dan mengelola tabel Paimon dalam katalog.