Object Storage Service:Simpan data dingin dengan biaya rendah menggunakan penyimpanan berjenjang di layanan OSS-HDFS

Wilayah yang didukung

Versi JindoSDK

Diperlukan JindoSDK versi 6.8.0 atau lebih baru.

Jika versi JindoSDK Anda lebih lama dari 6.8.0, Anda tidak dapat membuat objek langsung di direktori IA, Archive, Cold Archive, atau Deep Cold Archive. Sebagai solusi sementara, buat objek di direktori Standard, lalu pindahkan menggunakan operasi rename.

Tiket yang diperlukan

Anda harus mengajukan tiket dukungan sebelum menggunakan fitur ini:

• IA, Archive, dan Cold Archive: Satu tiket mencakup ketiga kelas tersebut.

• Deep Cold Archive: Ajukan tiket terpisah.

• Aktivasi pertama kali: Jika fitur ini belum pernah diaktifkan pada akun Anda, satu tiket akan mengaktifkan keempat kelas penyimpanan.

Batas ukuran konversi

• Mengonversi objek Archive, Cold Archive, atau Deep Cold Archive ke Standard atau IA dalam satu operasi: maksimal total 5 TB.

• Objek Archive, Cold Archive, atau Deep Cold Archive dalam status Processing secara bersamaan: maksimal 50 TB.

Keamanan aturan siklus hidup

Biaya pengambilan data

Membaca objek IA, Archive, Cold Archive, atau Deep Cold Archive dikenai biaya pengambilan data. Hindari menyimpan data yang sering diakses di kelas penyimpanan ini. Lihat Biaya pemrosesan data.

Biaya tag

Menetapkan kebijakan penyimpanan menambahkan tag transition-storage-class ke setiap blok data. Tag ditagih sesuai aturan penandaan objek OSS. Lihat Biaya penandaan objek.

Durasi penyimpanan minimum

Setiap kelas penyimpanan memiliki durasi penyimpanan minimum. Objek yang ditransisikan sebelum mencapai durasi minimum tetap dikenai biaya untuk periode minimum penuh.

Cara penghitungan waktu berbeda-beda tergantung kelas tujuan:

• IA dan Archive: Waktu tidak direset saat konversi. Hari yang dihabiskan di kelas sebelumnya dihitung menuju durasi minimum, sehingga waktu penyimpanan sebelumnya mengurangi kewajiban tersisa.

• Cold Archive dan Deep Cold Archive: Waktu direset saat konversi. Durasi minimum penuh 180 hari berlaku sejak tanggal konversi, terlepas dari durasi penyimpanan sebelumnya.

Contoh:

Langkah 1: Siapkan JindoFS SDK

Sebelum memulai, pastikan Anda telah:

• Menulis data ke OSS-HDFS

• Menginstal JindoSDK versi 6.8.0 atau lebih baru (lihat Menghubungkan kluster non-EMR ke OSS-HDFS)

• Mengajukan tiket dukungan (lihat Tiket yang diperlukan)

1. Terhubung ke instans Elastic Compute Service (ECS). Lihat Menghubungkan ke instans.

2. Unduh paket JAR JindoFS SDK.

3. Buka direktori bin dari paket yang diekstrak:

      cd jindofs-sdk-x.x.x-linux/bin/

4. Buat file konfigurasi bernama jindosdk.cfg di direktori bin:

      [client]
      fs.oss.accessKeyId = <your-access-key-id>
      fs.oss.accessKeySecret = <your-access-key-secret>
      fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com

   Ganti cn-hangzhou.oss-dls.aliyuncs.com dengan titik akhir wilayah Anda.

5. Tetapkan variabel lingkungan JINDOSDK_CONF_DIR ke jalur mutlak file konfigurasi jindosdk.cfg:

      export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>

Langkah 2: Tetapkan kebijakan penyimpanan

Jalankan setStoragePolicy pada direktori yang berisi data yang akan ditiering. Perintah ini memberi tag semua objek dalam direktori tersebut untuk dikonversi.

Langkah 3: Aktifkan fitur di Konsol OSS

1. Masuk ke Konsol OSS.

2. Di panel navigasi kiri, klik Buckets, lalu klik nama bucket target.

3. Di pohon navigasi kiri, pilih Data Lake > OSS-HDFS.

4. Di tab OSS-HDFS, klik Configure.

5. Di bagian Basic Settings pada panel Automatic Storage Tiering, aktifkan Status. OSS secara otomatis membuat aturan siklus hidup untuk setiap nilai tag. Setiap aturan mengonversi objek dalam .dlsdata/ yang memiliki tag yang sesuai satu hari setelah modifikasi terakhirnya.

   

6. Klik OK.

Setelah mengaktifkan fitur:

• OSS memuat aturan siklus hidup dalam waktu 24 jam setelah pembuatan.

• Aturan siklus hidup dijalankan sekali per hari pukul 08.00 (UTC+8). Waktu penyelesaian tepatnya bervariasi tergantung jumlah objek.

• Objek mencapai kelas penyimpanan target dalam waktu minimal 48 jam.

setStoragePolicy

./jindofs fs -setStoragePolicy -path <path> -policy <policy>

Menetapkan kebijakan penyimpanan ke semua objek dalam suatu path.

getStoragePolicy

./jindofs fs -getStoragePolicy -path <path>

Mengembalikan kebijakan penyimpanan yang ditetapkan pada suatu path.

unsetStoragePolicy

./jindofs fs -unsetStoragePolicy -path <path>

Menghapus kebijakan penyimpanan dari suatu path.

checkStoragePolicy

./jindofs fs -checkStoragePolicy -path <path>

Mengembalikan status tugas konversi untuk objek dalam suatu path.

Pulihkan objek Archive atau tier dingin

./jindofs fs -setStoragePolicy -path <path> -policy <policy> -restoreDays <days>

Memulihkan sementara objek Archive, Cold Archive, atau Deep Cold Archive untuk akses langsung.

Before restoring:

• Tunggu minimal dua hari setelah menerapkan CLOUD_AR, CLOUD_COLD_AR, atau CLOUD_DEEP_COLD_AR sebelum menjalankan pemulihan.

• Setelah pemulihan dimulai, objek Archive dapat dibaca dalam beberapa menit. Objek Cold Archive dan Deep Cold Archive memerlukan beberapa jam.

• Setelah periode retensi berakhir, objek tidak dapat lagi dibaca. Untuk memperpanjang akses, lakukan pemulihan ulang selama periode retensi—beri jeda minimal dua hari antar operasi pemulihan.