Data Lake Formation:Manajemen Siklus Hidup

Skenario

Sejumlah besar data historis disimpan di danau data tetapi tidak lagi digunakan seiring waktu. Dalam kasus ini, Anda dapat mengonversi kelas penyimpanan data historis ke Infrequent Access (IA), Arsip, atau Penyimpanan Arsip Dingin untuk mengurangi biaya. Contoh:

• Tabel pesanan memiliki partisi berdasarkan waktu, seperti 20220101. Hanya data tiga tahun terakhir yang perlu dianalisis. Kelas penyimpanan partisi historis dapat diubah menjadi Penyimpanan Arsip Dingin menggunakan aturan Nilai Partisi Berdasarkan Waktu.

• Basis Data A dari Bisnis A tidak lagi aktif dikembangkan. Data historisnya dapat diarsipkan dengan mengubah kelas penyimpanannya menjadi Penyimpanan Arsip Dingin.

Batasan

• Metadata dikelola menggunakan Data Lake Formation (DLF), dan data disimpan di Object Storage Service (OSS).

• Pengelolaan data tidak terstruktur tidak didukung. Jika Anda memerlukan pengelolaan data tidak terstruktur, lihat dokumentasi Siklus Hidup dalam OSS.

Penagihan

Jika Anda ingin menggunakan fitur manajemen siklus hidup, biaya berikut terlibat:

1. Fitur manajemen siklus hidup DLF sedang dalam pratinjau publik dan gratis.

2. Untuk informasi lebih lanjut tentang biaya terkait aturan siklus hidup, lihat Biaya terkait aturan siklus hidup.

Peringatan

1. Jika kelas penyimpanan data diubah menjadi Arsip atau Penyimpanan Arsip Dingin, data tidak dapat diakses oleh mesin komputasi. Anda harus memulihkan data secara manual sebelum menggunakannya, dan biaya terkait akan timbul. Untuk informasi lebih lanjut, lihat Kelas Penyimpanan dan Konversi Kelas Penyimpanan.

   Konfigurasikan aturan siklus hidup sesuai dengan kebutuhan bisnis Anda.

2. Jika kelas penyimpanan data diubah menjadi IA, performa data menurun ketika diakses oleh mesin komputasi. Konfigurasikan aturan siklus hidup sesuai dengan kebutuhan bisnis Anda.

3. Setelah mengaktifkan sakelar Penjadwalan Eksekusi untuk tugas aturan siklus hidup, tugas tersebut dieksekusi secara berkala setiap malam dan mulai berlaku sebelum pukul 08:00 keesokan harinya. Untuk tugas yang dieksekusi secara manual, tugas langsung berlaku setelah eksekusi.

Prasyarat

1. OSS telah diaktifkan. Jika belum, buka Konsol OSS untuk mengaktifkannya.

2. Izin pada basis data dan tabel untuk manajemen siklus hidup tunduk pada kontrol izin data yang diberlakukan oleh DLF. Akibatnya, Anda hanya dapat mengonfigurasi aturan siklus hidup untuk basis data dan tabel dalam izin yang diberikan kepada Anda.

Membuat aturan siklus hidup

Ikuti langkah-langkah berikut untuk membuat aturan siklus hidup:

1. Masuk ke Konsol Data Lake Formation.

2. Di panel navigasi di sebelah kiri, pilih Lake Management > Lifecycle Management.

3. Klik Create Rule untuk mengonfigurasi aturan.

   1. Isi informasi dasar: Name, Description, Catalog List, Resource Type.

      Resource Type dapat diatur ke Basis Data atau Tabel, sesuai dengan metadatabase atau metadata tabel untuk konfigurasi aturan siklus hidup.

   2. Pilih tipe aturan. DLF mendukung empat tipe aturan berikut:

      • Waktu Akses Terakhir Data: Tentukan siklus hidup berdasarkan waktu saat data terakhir diakses.

      • Nilai Partisi Berdasarkan Waktu: Tentukan siklus hidup berdasarkan nilai partisi. Cocok untuk tabel dengan format waktu di level-1 partisi.

      • Waktu Pembaruan Terakhir Partisi/Tabel: Tentukan siklus hidup berdasarkan waktu saat partisi atau tabel dimodifikasi.

      • Waktu Pembuatan Partisi/Tabel: Tentukan siklus hidup berdasarkan waktu saat partisi atau tabel dibuat.

   3. Pilih interval saat kelas penyimpanan data dikonversi menjadi IA, Arsip, atau Penyimpanan Arsip Dingin.

   4. Konfigurasikan mekanisme eksekusi.

      Aktifkan sakelar Execution Scheduling jika ingin DLF mengeksekusi aturan secara otomatis setiap hari. Jika tidak, klik Manual Execution di halaman Manajemen Siklus Hidup untuk mengeksekusi aturan secara manual. Eksekusi periodik selesai sebelum pukul 08:00 setiap hari.

4. Klik Next untuk memilih metadatabase atau metadata tabel yang akan diarsipkan.

5. Klik Add Database Resource, pilih sumber daya untuk diikat, dan klik Add.

6. Setelah menambahkan sumber daya, klik OK untuk melihat hasil pengikatan sumber daya.

   Jika pengikatan berhasil, Anda dapat melihat jumlah sumber daya yang berhasil diikat. Jika gagal, Anda dapat melihat alasan kegagalannya.

   Catatan

   • Jika parameter Tipe Sumber Daya diatur ke Basis Data, Anda dapat menambahkan sumber daya basis data. Jika diatur ke Tabel, Anda dapat menambahkan sumber daya tabel.

   • Prioritas aturan tabel lebih tinggi daripada aturan basis data. Jika sebuah tabel telah dikaitkan dengan aturan basis data, aturan basis data asli yang terkait dengan tabel diganti.

   • Setiap basis data atau tabel hanya dapat dikaitkan dengan satu aturan siklus hidup pada satu waktu.

   • Setiap aturan siklus hidup dapat dikaitkan dengan maksimal 1.000 sumber daya.

   • Anda dapat mengonfigurasi aturan siklus hidup dan kemudian mengaitkan sumber daya dengan aturan tersebut. Setelah mengaitkan sumber daya, klik Simpan.

Edit aturan siklus hidup

Untuk memodifikasi aturan siklus hidup, temukan aturan yang diinginkan dan klik Edit di kolom Actions di halaman Lifecycle Management.

Lihat aturan siklus hidup

1. Di panel navigasi di sebelah kiri, pilih Lake Management > Lifecycle Management.

2. Pilih aturan dan klik ID aturan untuk melihat informasi saat ini dari aturan tersebut.

   • Basic Information: Di tab Basic Information, Anda dapat memeriksa informasi dasar, detail aturan, serta mekanisme eksekusi.

   • Resource Information: Di tab Resource Information, Anda dapat memeriksa informasi terkait database atau tabel.

   • Execution History: Informasi historis eksekusi manual dan terjadwal dari aturan.

Hapus aturan siklus hidup

1. Di panel navigasi di sebelah kiri, pilih Lake Management > Lifecycle Management.

2. Temukan aturan yang ingin dihapus, klik Delete di kolom Actions, dan klik Delete di kotak pop-up.

Eksekusi manual aturan siklus hidup

1. Di panel navigasi di sebelah kiri, pilih Lake Management > Lifecycle Management.

2. Temukan aturan yang ingin dieksekusi secara manual, klik Manual Execution di kolom Actions, baca prompt pop-up dengan cermat, dan klik OK untuk memulai tugas.

Lihat catatan eksekusi tugas

1. Di panel navigasi di sebelah kiri, pilih Lake Management > Lifecycle Management.

2. Klik tab Execution History untuk melihat semua tugas arsip eksekusi historis dan log eksekusi.

3. Klik nama tugas untuk melihat informasi eksekusi tugas dan log eksekusi.