Katalog data - Data Lake Formation

Katalog merupakan kontainer tingkat teratas untuk mengorganisasi metadata di Data Lake Formation (DLF). Katalog mengelompokkan database dan tabel ke dalam struktur hierarkis, memungkinkan Anda memisahkan metadata antar tim, mengelola penyimpanan data, serta menyederhanakan tata kelola.

Prasyarat

Sebelum memulai, pastikan Anda telah:

Menyiapkan DLF (aktivasi dan otorisasi satu kali)
(Pengguna RAM) Memiliki kebijakan izin AliyunDLFFullAccess atau kebijakan kustom yang mencakup aksi otorisasi terkait katalog. Untuk informasi selengkapnya, lihat Referensi aksi otorisasi RAM.
(Pengguna RAM) Memiliki role sistem super_administrator atau admin, atau role kustom dengan izin data terkait katalog. Untuk informasi selengkapnya, lihat Konfigurasikan izin data.

Catatan

Pengguna RAM memerlukan izin API dan izin data untuk mengelola katalog.

Batasan

Maksimal 10 katalog dapat dibuat per akun di setiap wilayah. Untuk meminta peningkatan kuota, submit a ticket.

Buat katalog

Masuk ke Data Lake Formation console.
Pada halaman Catalogs, klik Create Catalog.

Konfigurasikan parameter berikut.

Parameter	Wajib	Bawaan	Deskripsi
Catalog Name	Ya	--	Nama unik untuk katalog.
Description	Tidak	--	Deskripsi teks untuk katalog.
Storage Type	Ya	Standard Storage	Ditetapkan ke Standard Storage.
Storage Redundancy Type	Ya	LRS	Kebijakan redundansi untuk penyimpanan data. Nilai yang valid: LRS dan ZRS.

Opsi Storage Redundancy Type:

LRS (Locally Redundant Storage): Menyimpan data dalam satu zona tunggal. Jika zona tersebut tidak tersedia, data tidak dapat diakses. Ini merupakan opsi bawaan.
ZRS (Zone-Redundant Storage): Mereplikasi data di beberapa zona dalam satu wilayah, memberikan ketersediaan data yang lebih tinggi.

Penting

Setelah katalog dibuat, jenis redundansi tidak dapat diubah dari ZRS ke LRS.
ZRS memberikan ketersediaan data yang lebih tinggi tetapi menimbulkan biaya lebih besar dibandingkan LRS.

Baca dan pilih Terms of Service, lalu klik Create Catalog.

Lihat katalog

Di panel navigasi kiri, klik Catalogs.
Klik nama katalog untuk membuka halaman detail-nya.
Pada tab Details, lihat informasi dasar katalog.
Klik tab Permissions untuk memberikan izin tingkat katalog kepada pengguna atau role DLF. Untuk informasi selengkapnya, lihat Kelola otorisasi data.
Klik tab Storage Optimization untuk mengonfigurasi tiering penyimpanan. Untuk informasi selengkapnya, lihat Konfigurasikan optimasi penyimpanan.
Klik tab Catalog Configuration untuk menyiapkan kebijakan siklus hidup fragmen file dan mengganti properti bawaan saat membuat tabel Paimon. Untuk informasi selengkapnya, lihat Konfigurasikan pengaturan katalog.

Hapus katalog

Penting

Sebelum menghapus katalog, hapus semua tabel dari database default dan semua database lain yang dibuat pengguna dalam katalog tersebut.

Pada halaman Catalogs, temukan katalog target dan klik Delete di kolom Actions.
Pada kotak dialog, klik OK.

Konfigurasikan optimasi penyimpanan

Pada tab Storage Optimization, konfigurasikan Intelligent Tiering untuk secara otomatis melakukan tiering data panas dan dingin di semua tabel dalam katalog berdasarkan aturan siklus hidup.

Perilaku tingkat katalog dan tingkat tabel

Tingkat katalog: Saat diaktifkan pada tingkat katalog, Intelligent Tiering diterapkan secara otomatis ke semua tabel dalam katalog dan mewarisi pengaturan katalog. Pengaturan tingkat tabel dapat mengganti pengaturan tingkat katalog, tetapi tindakan ini akan menghapus status "Inherited from Catalog" untuk tabel tersebut.
Tingkat tabel: Meskipun Intelligent Tiering tingkat katalog dinonaktifkan, Anda tetap dapat mengaktifkan dan mengonfigurasinya secara independen untuk masing-masing tabel.

Strategi tiering

Strategi	Deskripsi
Last Access Time	Aturan dipicu berdasarkan waktu akses terakhir data tabel atau partisi.
Last Update Time	Aturan dipicu berdasarkan waktu pembaruan terakhir data tabel atau partisi.

Aturan tiering

Konfigurasikan aturan untuk memindahkan data antar kelas penyimpanan secara otomatis. Durasi penyimpanan minimum bervariasi tergantung kelas penyimpanan.

Aturan	Bawaan (hari)	Deskripsi
Transition to Infrequent Access	30	Memindahkan data ke kelas penyimpanan Infrequent Access (IA) setelah jumlah hari yang ditentukan. Data dalam penyimpanan IA tetap dapat diakses oleh mesin komputasi, tetapi dengan performa yang berkurang.
Transition to Archive	60	Memindahkan data ke kelas penyimpanan Archive setelah jumlah hari yang ditentukan. Data dalam penyimpanan Archive tidak dapat diakses oleh mesin komputasi.
Transition to Cold Archive	180	Memindahkan data ke kelas penyimpanan Cold Archive setelah jumlah hari yang ditentukan. Data dalam penyimpanan Cold Archive tidak dapat diakses oleh mesin komputasi.

Untuk Transition to Infrequent Access dan Transition to Archive, tersedia opsi tambahan:

Convert to Standard Storage Upon Access: DLF secara otomatis mengonversi partisi atau tabel non-partisi kembali ke kelas penyimpanan Standard saat diakses.

Catatan

Opsi Convert to Standard Storage Upon Access hanya tersedia ketika Tiering Strategy diatur ke Last Access Time.

Konfigurasikan pengaturan katalog

Pada tab Catalog Configuration, konfigurasikan pengaturan tingkat katalog berikut.

Siklus hidup fragmen file

Tentukan waktu kedaluwarsa untuk fragmen file. Nilai minimum adalah 1 hari. Fragmen yang telah kedaluwarsa akan dihapus secara otomatis dan tidak dapat dipulihkan.

Pengaturan lanjutan

Ganti properti bawaan untuk membuat tabel Paimon. Untuk informasi selengkapnya, lihat Tabel Paimon.

Langkah berikutnya

Kelola otorisasi data: Berikan izin tingkat katalog kepada pengguna dan role.
Tabel Paimon: Buat dan kelola tabel Paimon dalam katalog.