Object Storage Service：Gunakan tiering penyimpanan otomatis OSS-HDFS untuk mengurangi biaya penyimpanan

Catatan penggunaan

• Jika versi JindoSDK lebih awal dari 6.8.0, Anda tidak dapat membuat objek di direktori IA, Arsip, Penyimpanan Arsip Dingin, atau Deep Cold Archive. Jika Anda perlu membuat objek di direktori tersebut, buatlah objek di direktori Standar terlebih dahulu, lalu pindahkan ke direktori IA, Arsip, Penyimpanan Arsip Dingin, atau Deep Cold Archive menggunakan operasi rename.

  Untuk langsung membuat objek di direktori IA, Arsip, Penyimpanan Arsip Dingin, atau Deep Cold Archive, Anda harus meningkatkan JindoSDK ke versi 6.8.0 atau lebih baru.

• Saat mengubah kelas penyimpanan objek menjadi Arsip, Penyimpanan Arsip Dingin, atau Deep Cold Archive, overhead sistem tambahan akan dihasilkan dan pemulihan data lambat. Lanjutkan dengan hati-hati.

• Anda dapat menggunakan fitur tiering penyimpanan otomatis untuk mengubah kelas penyimpanan objek berdasarkan aturan berikut:

  • Panas ke dingin

  • Dingin ke panas

Aturan penagihan

• Biaya Pengambilan Data

  Anda dikenakan biaya pengambilan data saat membaca objek IA, Arsip, Penyimpanan Arsip Dingin, atau Deep Cold Archive di OSS-HDFS. Kami menyarankan agar Anda tidak menyimpan data yang sering diakses sebagai objek IA, Arsip, Penyimpanan Arsip Dingin, atau Deep Cold Archive. Untuk informasi lebih lanjut, lihat Biaya Pemrosesan Data.

• Biaya Tag

  Saat mengonfigurasi kebijakan penyimpanan untuk data di OSS-HDFS, Anda harus menambahkan tag ke blok data. Anda dikenakan biaya untuk tag berdasarkan aturan penandaan objek. Untuk informasi lebih lanjut, lihat Biaya Penandaan Objek.

• Penggunaan Penyimpanan Objek yang Disimpan Kurang dari Durasi Penyimpanan Minimum

  Durasi penyimpanan minimum adalah 30 hari untuk objek IA, 60 hari untuk objek Arsip, dan 180 hari untuk objek Penyimpanan Arsip Dingin dan Deep Cold Archive. Untuk menghindari biaya yang tidak perlu, pastikan bahwa objek memenuhi persyaratan durasi penyimpanan minimum saat menggunakan jindofs untuk mengubah kelas penyimpanan objek. Tabel berikut memberikan contoh.

  Konversi Kelas Penyimpanan	Contoh	Metode Perhitungan Durasi Penyimpanan Minimum	Penggunaan Penyimpanan Aktual	Metode untuk Mencegah Penggunaan Penyimpanan Objek yang Disimpan Kurang dari Durasi Penyimpanan Minimum
  Panas ke Dingin	Dari Standar (disimpan selama 10 hari) ke IA	OSS-HDFS tidak menghitung ulang durasi penyimpanan saat kelas penyimpanan objek berubah. Jumlah hari objek disimpan dalam kelas penyimpanan Standar sebelum konversi kelas penyimpanan termasuk dalam durasi penyimpanan minimum objek IA.	Penggunaan penyimpanan objek Standar selama 10 hari	Lanjutkan menyimpan objek IA selama 20 hari
  	Dari IA (disimpan selama 10 hari) ke Arsip		Penggunaan penyimpanan objek IA selama 10 hari	Lanjutkan menyimpan objek Arsip selama 50 hari
  	Dari Standar (disimpan selama 10 hari) ke Penyimpanan Arsip Dingin	OSS-HDFS menghitung ulang durasi penyimpanan saat kelas penyimpanan objek berubah. Jumlah hari objek disimpan dalam kelas penyimpanan Standar sebelum konversi kelas penyimpanan tidak termasuk dalam durasi penyimpanan minimum objek Penyimpanan Arsip Dingin.	Penggunaan penyimpanan objek Standar selama 10 hari	Lanjutkan menyimpan objek Penyimpanan Arsip Dingin selama 180 hari
  	Dari Standar (disimpan selama 10 hari) ke Deep Cold Archive		Penggunaan penyimpanan objek Standar selama 10 hari	Lanjutkan menyimpan objek Deep Cold Archive selama 180 hari
  Dingin ke Panas	Dari Penyimpanan Arsip Dingin (disimpan selama 10 hari) ke IA		Penggunaan penyimpanan objek Penyimpanan Arsip Dingin selama 10 hari	Lanjutkan menyimpan objek Penyimpanan Arsip Dingin selama 170 hari Lanjutkan menyimpan objek IA selama 30 hari setelah konversi kelas penyimpanan

Prosedur

1. Hubungkan ke instance Elastic Compute Service (ECS). Untuk informasi lebih lanjut, lihat Hubungkan ke Instance.

2. Unduh paket JAR JindoFS SDK.

3. Konfigurasikan pasangan AccessKey dan variabel lingkungan.

   1. Masuk ke direktori bin dari paket JAR JindoFS SDK yang terinstal.

      Contoh kode berikut menunjukkan cara masuk ke direktori bin paket JAR jindofs-sdk-x.x.x-linux. Jika Anda menggunakan versi JindoFS SDK yang berbeda, ganti nama paket dengan nama paket JindoFS SDK yang sesuai.

      cd jindofs-sdk-x.x.x-linux/bin/

   2. Buat file konfigurasi bernama jindosdk.cfg di direktori bin, lalu tambahkan parameter berikut ke file konfigurasi:

      [client]
      <! -- Tentukan ID AccessKey dan Rahasia AccessKey yang digunakan untuk mengakses OSS-HDFS.   -->
      fs.oss.accessKeyId = yourAccessKeyId    
      fs.oss.accessKeySecret = yourAccessKeySecret
      <!-- Dalam contoh ini, titik akhir wilayah Cina (Hangzhou) digunakan. Tentukan titik akhir aktual Anda.   -->
      fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com                                     

   3. Konfigurasikan variabel lingkungan.

      Catatan

      Setel <JINDOSDK_CONF_DIR> ke jalur absolut file konfigurasi jindofs.cfg.

      export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>

4. Tentukan kebijakan penyimpanan untuk data yang ditulis ke OSS-HDFS. Tabel berikut menjelaskan kebijakan penyimpanan.

   Skenario	Perintah	Hasil
   IA	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir1 -policy CLOUD_IA	Objek di direktori dir1/ memiliki tag dengan kunci transition-storage-class dan nilainya adalah IA.
   Arsip	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir2 -policy CLOUD_AR	Objek di direktori dir2/ memiliki tag dengan kunci transition-storage-class dan nilainya adalah Arsip.
   Penyimpanan Arsip Dingin	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir3 -policy CLOUD_COLD_AR	Objek di direktori dir3/ memiliki tag dengan kunci transition-storage-class dan nilainya adalah ColdArchive.
   Deep Cold Archive	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir4 -policy CLOUD_DEEP_COLD_AR	Objek di direktori dir4/ memiliki tag dengan kunci transition-storage-class dan nilainya adalah DeepColdArchive.

5. Aktifkan fitur tiering penyimpanan otomatis.

   1. Masuk ke Konsol OSS.

   2. Di panel navigasi sisi kiri, klik Buckets. Di halaman Buckets, klik nama bucket tempat Anda ingin mengaktifkan fitur tiering penyimpanan otomatis.

   3. Di pohon navigasi sisi kiri, pilih Data Lake > OSS-HDFS.

   4. Di tab OSS-HDFS, klik Configure.

   5. Di bagian Basic Settings dari panel Automatic Storage Tiering, aktifkan Status.

      

      Untuk mencegah fitur tiering penyimpanan otomatis gagal berjalan seperti yang diharapkan karena konfigurasi yang salah, OSS secara otomatis membuat aturan siklus hidup untuk mengubah kelas penyimpanan data di OSS-HDFS dengan tag tertentu:

      • Aturan siklus hidup menentukan bahwa kelas penyimpanan objek yang memiliki tag dengan kunci transition-storage-class dan nilainya adalah IA di direktori .dlsdata/ diubah menjadi IA satu hari setelah mereka dimodifikasi terakhir kali.

      • Aturan siklus hidup menentukan bahwa kelas penyimpanan data yang berisi tag dengan kunci transition-storage-class dan nilainya adalah Arsip di direktori .dlsdata/ diubah menjadi Arsip satu hari setelah data dimodifikasi terakhir kali.

      • Aturan siklus hidup menentukan bahwa kelas penyimpanan objek yang memiliki tag dengan kunci transition-storage-class dan nilainya adalah ColdArchive di direktori .dlsdata/ diubah menjadi Penyimpanan Arsip Dingin satu hari setelah mereka dimodifikasi terakhir kali.

      • Aturan siklus hidup menentukan bahwa kelas penyimpanan data yang berisi tag dengan kunci transition-storage-class dan nilainya adalah DeepColdArchive di direktori .dlsdata/ diubah menjadi Deep Cold Archive satu hari setelah data dimodifikasi terakhir kali.

      Penting

      Setelah fitur tiering penyimpanan otomatis diaktifkan, OSS secara otomatis membuat aturan siklus hidup untuk mengubah kelas penyimpanan objek menjadi IA, Arsip, Penyimpanan Arsip Dingin, atau Deep Cold Archive. Jangan ubah aturan siklus hidup. Jika tidak, pengecualian data atau OSS-HDFS mungkin terjadi.

   6. Klik OK.

      • OSS-HDFS mengubah kelas penyimpanan objek berdasarkan kebijakan penyimpanan yang dikonfigurasi.

      • OSS memuat aturan siklus hidup dalam waktu 24 jam setelah aturan siklus hidup dibuat. Setelah aturan siklus hidup dimuat, OSS mulai mengeksekusi aturan siklus hidup pada pukul 08:00 (UTC+8) setiap hari. Waktu spesifik bervariasi berdasarkan jumlah objek. Objek diubah ke kelaspenyimpanan yang ditentukan dalam waktu minimal 48 jam.

Perintah terkait

./jindofs fs -setStoragePolicy -path <path> -policy <policy>

./jindofs fs -getStoragePolicy -path <path>

./jindofs fs -unsetStoragePolicy -path <path>

./jindofs fs -checkStoragePolicy -path <path>

./jindofs fs -setStoragePolicy -path <path> -policy <policy> -restoreDays <restoreDays>

Tanya Jawab Umum

• Apa yang harus saya lakukan jika saya secara tidak sengaja menghapus aturan siklus hidup yang dikonfigurasi untuk data OSS-HDFS setelah fitur tiering penyimpanan otomatis diaktifkan?

• Bisakah saya mengubah kelas penyimpanan objek dari Arsip atau Penyimpanan Arsip Dingin menjadi Standar atau IA?

Referensi

• Kelas Penyimpanan

• Biaya Penyimpanan