Kelola katalog - Data Lake Formation

Di Data Lake Formation (DLF), katalog adalah wadah tingkat atas untuk mengatur metadata Anda. Katalog ini memberikan struktur hirarkis untuk database dan tabel Anda, memungkinkan Anda menjaga metadata tetap terpisah untuk tim yang berbeda, mengelola penyimpanan data, dan menyederhanakan pengelolaan. Topik ini akan membimbing Anda melalui pembuatan, modifikasi, dan penghapusan katalog.

Prasyarat

Anda telah Mengatur DLF.
Catatan
Aktivasi dan otorisasi dilakukan hanya sekali saat Anda pertama kali menyiapkan lingkungan DLF.
Untuk mengelola katalog sebagai Pengguna RAM, Anda memerlukan izin berikut:
- Izin API: Anda telah diberi kebijakan izin AliyunDLFFullAccess atau kebijakan yang mencakup tindakan otorisasi terkait katalog. Untuk informasi lebih lanjut, lihat Referensi aksi otorisasi RAM.
- Izin data: Anda harus diberi peran sistem super_administrator atau admin, atau peran kustom yang memiliki izin terkait katalog. Untuk informasi lebih lanjut, lihat Konfigurasikan izin data.

Batasan

Anda dapat membuat maksimal 10 katalog per akun di setiap Wilayah. Untuk meminta peningkatan batas ini, ajukan tiket.

Buat katalog

Masuk ke Konsol DLF.

Di halaman Catalogs, klik Create Catalog dan konfigurasikan parameter berikut.

Item Konfigurasi	Deskripsi
Catalog Name	Masukkan nama unik untuk katalog.
Description	Masukkan deskripsi untuk katalog.
Storage Type	Tetap pada Standard Storage.
Storage Redundancy Type	Pilih kebijakan redundansi untuk data Anda: LRS (Locally Redundant Storage): (Default) Menyimpan data dalam zona tunggal. Jika zona tidak tersedia, data menjadi tidak dapat diakses. ZRS (Zone-Redundant Storage): Mereplikasi data di beberapa zona dalam satu wilayah untuk ketersediaan yang lebih tinggi. Catatan Anda tidak dapat mengubah tipe redundansi dari ZRS ke LRS setelah katalog dibuat. ZRS memberikan ketersediaan data yang lebih tinggi tetapi juga menimbulkan biaya yang lebih tinggi.

Baca dan pilih Terms of Service, lalu klik Create Catalog.

Lihat katalog

Di panel navigasi kiri, klik Catalogs, lalu klik nama katalog Anda.
Di tab Details, lihat informasi dasar katalog.
Klik tab Permissions untuk memberikan izin tingkat katalog kepada pengguna atau peran DLF. Untuk informasi lebih lanjut, lihat Kelola otorisasi data.
Klik tab Storage Optimization untuk mengonfigurasi tiering penyimpanan. Untuk informasi lebih lanjut, lihat Optimasi penyimpanan.
Klik tab Catalog Configuration untuk mengonfigurasi kebijakan siklus hidup untuk fragmentasi file dan menimpa properti default untuk membuat tabel Paimon. Untuk informasi lebih lanjut, lihat Konfigurasi katalog.

Optimasi penyimpanan

Item konfigurasi	Deskripsi
Intelligent Tiering	Setelah fitur ini diaktifkan, DLF secara otomatis melakukan tiering penyimpanan untuk data panas dan dingin di semua tabel dalam katalog, sesuai dengan aturan siklus hidup yang telah dikonfigurasi. Anda dapat menentukan kebijakan dan aturan tiering sesuai kebutuhan. Catatan Tiering cerdas tingkat katalog: Saat diaktifkan di tingkat katalog, tiering penyimpanan cerdas secara otomatis diterapkan ke semua tabel dan mewarisi pengaturan katalog. Anda dapat menyesuaikan konfigurasi di tingkat tabel. Mengubah pengaturan tingkat tabel akan menghapus status "Diwarisi dari Katalog". Tiering cerdas tingkat tabel: Jika tiering cerdas tingkat katalog dinonaktifkan, Anda masih dapat mengaktifkan dan mengonfigurasinya secara independen untuk tabel individu.
Tiering Strategy	Waktu Akses Terakhir: Aturan dipicu oleh waktu akses terakhir data tabel atau partisi. Waktu Pembaruan Terakhir: Aturan dipicu oleh waktu pembaruan terakhir data tabel atau partisi.
Tiering Rule	Durasi penyimpanan minimum bervariasi menurut kelas penyimpanan. Konfigurasikan aturan tiering sebagai berikut: Transisi ke Akses Jarang Hari: Masukkan jumlah hari kustom. Default: 30 hari. Data secara otomatis dipindahkan ke kelas penyimpanan Infrequent Access (IA) jika tidak diakses selama durasi yang ditentukan. Data dalam penyimpanan IA dapat diakses oleh mesin komputasi, tetapi dengan performa yang berkurang. Konversi ke Penyimpanan Standar Saat Diakses: DLF secara otomatis mengubah partisi atau tabel non-partisi ke kelas penyimpanan Standar saat diakses. Catatan Opsi ini hanya tersedia ketika Tiering Strategy disetel ke Last Access Time. Transisi ke Arsip Hari: Masukkan jumlah hari kustom. Default: 60 hari. Data secara otomatis dipindahkan ke kelas penyimpanan Arsip jika tidak diakses selama durasi yang ditentukan. Data dalam penyimpanan Arsip tidak dapat diakses oleh mesin komputasi. Konversi ke Penyimpanan Standar Saat Diakses: DLF secara otomatis mengubah partisi atau tabel non-partisi ke kelas penyimpanan Standar saat diakses. Catatan Opsi ini hanya tersedia ketika Tiering Strategy disetel ke Last Access Time. Transisi ke Penyimpanan Arsip Dingin Hari: Masukkan jumlah hari kustom. Default: 180 hari. Data secara otomatis dipindahkan ke kelas penyimpanan Penyimpanan Arsip Dingin jika tidak diakses selama durasi yang ditentukan. Data dalam Penyimpanan Arsip Dingin tidak dapat diakses oleh mesin komputasi.

Konfigurasi katalog

Siklus Hidup Fragmen File
Tentukan waktu kedaluwarsa untuk fragmen file. Nilai minimum adalah 1 hari. Fragmen yang kedaluwarsa akan dihapus secara otomatis dan tidak dapat dipulihkan.
Pengaturan Lanjutan
Timpa properti default untuk membuat tabel Paimon. Untuk informasi lebih lanjut, lihat Tabel Paimon.

Hapus katalog

Penting

Sebelum menghapus katalog, Anda harus menghapus semua tabel dari database default dan semua database lainnya yang dibuat pengguna dalam katalog tersebut.

Di daftar Catalog, klik Delete di kolom Actions.
Di kotak dialog, klik OK.