Manajemen siklus hidup mendukung berbagai jenis aturan yang memungkinkan Anda mengelola siklus hidup data dalam data lake, sehingga membantu menghemat biaya penyimpanan. Topik ini menjelaskan cara mengelola aturan siklus hidup.
Cara kerja
Anda dapat menggunakan manajemen siklus hidup untuk mengonfigurasi aturan manajemen data pada database dan tabel di data lake Anda. Berdasarkan empat jenis aturan—last access time of data, partition value by time, partition/table creation time, dan last partition/table update time—Anda dapat secara berkala memindahkan data ke kelas penyimpanan yang berbeda guna mengurangi biaya penyimpanan. Data lake sering kali berisi sejumlah besar data historis yang tidak lagi aktif digunakan. Data tersebut dapat dipindahkan ke kelas penyimpanan yang lebih hemat biaya, seperti Infrequent Access, Archive, atau Cold Archive. Contohnya:
Untuk tabel pesanan yang dipartisi berdasarkan tanggal (misalnya,
pt=20220101), Anda mungkin hanya perlu menganalisis data dari tiga tahun terakhir. Aturan berbasis nilai partisi dapat dikonfigurasi untuk secara otomatis memindahkan partisi lama ke Cold Archive, sehingga mengurangi biaya penyimpanan.Jika suatu database berasal dari lini bisnis yang sudah dihentikan, Anda dapat mengonfigurasi aturan untuk memindahkan seluruh database ke Cold Archive guna penyimpanan jangka panjang.
Konfigurasikan aturan dengan cermat sesuai kebutuhan bisnis aktual Anda.
Data yang dipindahkan ke Archive atau Cold Archive tidak dapat diakses oleh compute engine. Untuk menggunakannya kembali, Anda harus memulihkannya secara manual, yang akan dikenai biaya. Untuk informasi lebih lanjut, lihat OSS storage classes dan Convert storage classes.
Saat data dipindahkan ke Infrequent Access, kinerja akses untuk compute engine menurun.
Batasan
Manajemen siklus hidup memerlukan Data Lake Formation (DLF 1.0), dan data harus disimpan di Object Storage Service (OSS).
Manajemen siklus hidup tidak mendukung data tidak terstruktur. Untuk mengelola data tidak terstruktur, gunakan fitur manajemen siklus hidup di OSS.
Penagihan
Manajemen siklus hidup melibatkan dua jenis biaya:
Fitur manajemen siklus hidup saat ini berada dalam pratinjau publik dan tidak dikenai biaya.
Untuk informasi tentang biaya siklus hidup OSS, lihat Fees related to lifecycle rules.
Prosedur
Prasyarat
Anda harus telah mengaktifkan Object Storage Service (OSS). Untuk melakukannya, buka OSS console.
Akses ke database dan tabel untuk manajemen siklus hidup dikontrol oleh izin data DLF. Anda hanya dapat mengonfigurasi aturan siklus hidup untuk database dan tabel yang memiliki izin akses.
Buat aturan siklus hidup
Ikuti langkah-langkah berikut untuk membuat aturan siklus hidup.
Masuk ke Data Lake Formation console.
Di panel navigasi sebelah kiri, pilih Lake Management > Lifecycle Management.
Klik Create Rule untuk mengonfigurasi aturan.
Tentukan informasi dasar: Name, Description, Catalog List, dan Resource Type.
Untuk Resource Type, Anda dapat memilih Database atau Table untuk mengonfigurasi aturan siklus hidup masing-masing untuk database atau tabel.
Pilih jenis aturan. DLF saat ini mendukung empat jenis berikut:
Last access time of data: Menentukan siklus hidup berdasarkan waktu akses terakhir data. Untuk tabel partisi, digunakan waktu akses terakhir partisi dengan granularitas terkecil. Untuk tabel non-partisi, digunakan waktu akses terakhir tabel.
Partition value by time: Menentukan siklus hidup berdasarkan nilai partisi. Aturan ini hanya berlaku untuk tabel yang partisi tingkat pertamanya berisi format waktu.
Last partition/table update time: Menentukan siklus hidup berdasarkan waktu pembaruan terakhir partisi atau tabel. Untuk tabel partisi, digunakan waktu pembaruan terakhir partisi dengan granularitas terkecil. Untuk tabel non-partisi, digunakan waktu pembaruan terakhir tabel.
Partition/table creation time: Menentukan siklus hidup berdasarkan waktu pembuatan partisi atau tabel. Untuk tabel partisi, digunakan waktu pembuatan partisi dengan granularitas terkecil. Untuk tabel non-partisi, digunakan waktu pembuatan tabel.
Pilih interval waktu untuk memindahkan data ke Infrequent Access, Archive, atau Cold Archive.
Konfigurasikan mekanisme eksekusi aturan.
Aktifkan Execution Scheduling agar aturan dijalankan secara otomatis setiap hari. Jika penjadwalan dinonaktifkan, Anda dapat menjalankan aturan secara manual setelah membuatnya. Eksekusi terjadwal diselesaikan setiap hari sebelum pukul 08.00.
Klik Next untuk memilih database atau tabel yang akan diterapkan aturan tersebut.
Klik Add Database Resources, pilih resource yang akan di-bind (pencarian dan pemilihan lintas halaman didukung), lalu klik Add.
Setelah menambahkan resource, klik OK untuk melihat hasil binding.
Jika binding berhasil, muncul pesan yang menampilkan jumlah resource yang berhasil di-bind. Jika gagal, muncul pesan yang menunjukkan alasan kegagalannya.
CatatanJika jenis resource adalah Database, Anda dapat meng-bind resource database. Jika jenis resource adalah Table, Anda dapat meng-bind resource tabel.
Aturan tabel memiliki prioritas lebih tinggi daripada aturan database. Jika suatu tabel sudah di-bind oleh aturan database, operasi ini akan menimpa aturan yang ada untuk tabel tersebut.
Setiap database atau tabel hanya dapat di-bind ke satu aturan dalam satu waktu.
Setiap aturan dapat di-bind ke maksimal 1.000 resource.
Anda dapat membuat aturan tanpa meng-bind resource terlebih dahulu dan meng-bind-nya nanti. Untuk melakukannya, klik Save.
Edit aturan siklus hidup
Untuk mengedit aturan siklus hidup, temukan aturan tersebut dalam daftar dan klik Edit di sebelah kanan.
Setelah Anda memodifikasi aturan, jika Execution Scheduling diaktifkan, perubahan akan berlaku pada eksekusi hari berikutnya.
Saat aturan yang dimodifikasi dieksekusi kembali, aturan tersebut memengaruhi semua resource yang di-bind sebagai berikut:
Data yang sudah dipindahkan ke Infrequent Access, Archive, atau Cold Archive tetap berada dalam statusnya saat ini.
Data yang belum dipindahkan diproses berdasarkan aturan baru.
Lihat detail aturan
Di panel navigasi sebelah kiri, pilih Lake Management > Lifecycle Management.
Pilih aturan dan klik ID-nya untuk melihat detailnya.
Basic Information: Menampilkan detail aturan dan mekanisme eksekusi.
Resource Information: Menampilkan daftar database atau tabel yang di-bind ke aturan.
Execution History: Menampilkan daftar eksekusi aturan baik manual maupun terjadwal.
Hapus aturan siklus hidup
Di panel navigasi sebelah kiri, pilih Lake Management > Lifecycle Management.
Temukan aturan siklus hidup yang ingin dihapus, klik Delete di sebelah kanan, lalu klik OK di kotak dialog konfirmasi.
Setelah aturan siklus hidup dihapus, aturan tersebut tidak dapat dijalankan lagi baik secara manual maupun oleh penjadwal.
Data yang sebelumnya terpengaruh oleh aturan tetap berada dalam statusnya saat ini setelah aturan dihapus.
Jalankan aturan secara manual
Di panel navigasi sebelah kiri, pilih Lake Management > Lifecycle Management.
Temukan aturan siklus hidup yang ingin dijalankan secara manual, klik Manual Execution di sebelah kanan, baca prompt dengan cermat, lalu klik OK untuk memulai tugas.
Eksekusi manual dijalankan segera dan memengaruhi semua resource yang saat ini di-bind. Hal ini dapat berdampak pada aplikasi bisnis Anda. Evaluasi risiko dengan cermat sebelum melanjutkan.
Lihat catatan eksekusi
Di panel navigasi sebelah kiri, pilih Lake Management > Lifecycle Management.
Klik tab Execution History untuk melihat semua tugas siklus hidup historis dan log eksekusinya.
Klik nama tugas untuk melihat informasi dan log eksekusinya.
Pulihkan tabel
Di panel navigasi sebelah kiri, pilih Metadata > Metadata.
Klik tab Data Table, lalu klik nama tabel tersebut.
Klik tab Storage Rule. Di DLF, Anda dapat mengklik Restore Table untuk mengubah kelas penyimpanan tabel menjadi Standard Storage.
Untuk opsi pemulihan lanjutan, lihat dokumen berikut: