Object Storage Service:Simpan data dingin secara hemat biaya dengan tiering penyimpanan otomatis layanan OSS-HDFS

Catatan penggunaan

• Jika Anda menggunakan versi JindoSDK sebelum 6.8.0, Anda tidak dapat membuat file di direktori yang dikonfigurasi untuk Infrequent Access, Archive, Cold Archive, atau Deep Cold Archive. Sebagai solusi, buat dan tutup file tersebut di direktori penyimpanan Standard, lalu pindahkan ke direktori target menggunakan operasi rename.

  Untuk membuat file langsung di direktori yang dikonfigurasi untuk Infrequent Access, Archive, Cold Archive, atau Deep Cold Archive, Anda harus melakukan upgrade JindoSDK ke versi 6.8.0 atau yang lebih baru.

• Transisi data ke Archive, Cold Archive, atau Deep Cold Archive menimbulkan overhead sistem yang signifikan dan waktu pemulihan yang lama. Pilih tier penyimpanan ini dengan hati-hati.

• Transisi tier penyimpanan berikut didukung:

  • Dari hot ke cold:

  • Dari cold ke hot:

Penagihan

• Biaya pengambilan data

  Anda dikenai biaya pengambilan data saat membaca data dari Infrequent Access, Archive, Cold Archive, atau Deep Cold Archive. Untuk menghindari biaya ini, jangan gunakan tier penyimpanan tersebut untuk data yang sering diakses. Untuk informasi selengkapnya, lihat Biaya Pemrosesan Data.

• Biaya tag objek

  Saat Anda mengatur kebijakan penyimpanan untuk data dalam layanan OSS-HDFS, tag objek ditambahkan ke blok data tersebut. Anda dikenai biaya untuk tag-tag ini berdasarkan aturan penagihan tag objek OSS. Untuk informasi selengkapnya, lihat Biaya Tag Objek.

• Biaya penyimpanan di bawah durasi minimum

  Durasi penyimpanan minimum adalah 30 hari untuk Infrequent Access, 60 hari untuk Archive, 180 hari untuk Cold Archive, dan 180 hari untuk Deep Cold Archive. Saat mentransisi data menggunakan jindofs, pastikan data tersebut memenuhi durasi penyimpanan minimum tier penyimpanan baru untuk menghindari biaya tambahan. Tabel berikut memberikan contohnya.

  Jenis transisi	Contoh	Durasi penyimpanan minimum	Biaya penyimpanan	Pencegahan biaya
  Hot ke cold	Penyimpanan Standard (disimpan selama 10 hari) → Infrequent Access	Durasi penyimpanan tidak direset; hari-hari di tier sebelumnya dihitung terhadap durasi minimum tier baru.	Biaya penyimpanan Standard selama 10 hari	Simpan data di Infrequent Access setidaknya selama 20 hari lagi.
  	Infrequent Access (disimpan selama 10 hari) → Archive		Biaya penyimpanan Infrequent Access selama 10 hari	Simpan data di Archive setidaknya selama 50 hari lagi.
  	Penyimpanan Standard (disimpan selama 10 hari) → Cold Archive	Durasi penyimpanan direset. Hari-hari yang dihabiskan di tier sebelumnya tidak dihitung terhadap durasi minimum tier baru.	Biaya penyimpanan Standard selama 10 hari	Simpan data di Cold Archive selama 180 hari.
  	Penyimpanan Standard (disimpan selama 10 hari) → Deep Cold Archive		Biaya penyimpanan Standard selama 10 hari	Simpan data di Deep Cold Archive selama 180 hari.
  Dingin ke Panas	Cold Archive (disimpan selama 10 hari) → Infrequent Access		Biaya penyimpanan Cold Archive selama 10 hari	Simpan data di Cold Archive selama 170 hari lagi sebelum mentransisinya ke Infrequent Access. Setelah mentransisi data ke Infrequent Access, simpan data tersebut di Infrequent Access selama 30 hari.

Prosedur

1. Sambungkan ke instance ECS. Untuk informasi selengkapnya, lihat Sambungkan ke Instance ECS.

2. Unduh JindoSDK.

3. Konfigurasikan pasangan kunci akses dan variabel lingkungan.

   1. Buka direktori bin dari paket JindoSDK yang diinstal.

      Perintah berikut menggunakan jindofs-sdk-x.x.x-linux sebagai contoh. Ganti nama paket dengan nama aktual paket JindoSDK Anda.

      cd jindofs-sdk-x.x.x-linux/bin/

   2. Di direktori bin, buat file jindofs.cfg dengan konten berikut:

      [client]
      # Tentukan ID AccessKey dan Rahasia AccessKey yang digunakan untuk mengakses layanan OSS-HDFS.
      fs.oss.accessKeyId = yourAccessKeyId    
      fs.oss.accessKeySecret = yourAccessKeySecret
      # Titik akhir berikut untuk wilayah Tiongkok (Hangzhou). Ganti dengan titik akhir wilayah Anda.
      fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com                                     

   3. Atur variabel lingkungan.

      Catatan

      Ganti dengan jalur mutlak file konfigurasi jindofs.cfg.

      export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>

4. Atur kebijakan penyimpanan untuk data yang ditulis ke layanan OSS-HDFS.

   Skenario	Perintah	Hasil
   Atur kebijakan penyimpanan untuk data yang ditulis ke layanan OSS-HDFS ke Infrequent Access.	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir1 -policy CLOUD_IA	Layanan memberi tag blok data untuk file dalam direktori dir1/ dengan kunci transition-storage-class dan nilai IA.
   Atur kebijakan penyimpanan untuk data yang ditulis ke layanan OSS-HDFS ke Archive.	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir2 -policy CLOUD_AR	Layanan memberi tag blok data untuk file dalam direktori dir2/ dengan kunci transition-storage-class dan nilai Archive.
   Atur kebijakan penyimpanan untuk data yang ditulis ke layanan OSS-HDFS ke Cold Archive.	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir3 -policy CLOUD_COLD_AR	Layanan memberi tag blok data untuk file dalam direktori dir3/ dengan kunci transition-storage-class dan nilai ColdArchive.
   Atur kebijakan penyimpanan untuk data yang ditulis ke layanan OSS-HDFS ke Deep Cold Archive.	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir4 -policy CLOUD_DEEP_COLD_AR	Layanan memberi tag blok data untuk file dalam direktori dir4/ dengan kunci transition-storage-class dan nilai DeepColdArchive.

5. Aktifkan tiering penyimpanan otomatis.

   1. Masuk ke Konsol OSS.

   2. Di panel navigasi kiri, klik Buckets. Di halaman Buckets, klik nama bucket target.

   3. Di panel navigasi kiri, pilih Data Lake > OSS-HDFS.

   4. Di tab OSS-HDFS, temukan tiering penyimpanan otomatis dan klik Settings.

   5. Di panel Automatic Storage Tiering, buka bagian Basic Settings dan aktifkan sakelar Status.

      Tiering penyimpanan otomatis diimplementasikan oleh aturan siklus hidup tertentu yang telah dikonfigurasi sebelumnya dan tidak dapat diubah. Tier penyimpanan untuk tiering otomatis mencakup Infrequent Access, Archive, Cold Archive, dan Deep Cold Archive.

      Untuk mencegah kesalahan konfigurasi yang menyebabkan tiering penyimpanan otomatis gagal, OSS secara otomatis membuat aturan siklus hidup yang mencakup empat kebijakan berikut:

      • Mentransisi data di direktori data OSS-HDFS .dlsdata/ yang diberi tag dengan kunci transition-storage-class dan nilai IA ke Infrequent Access setelah satu hari.

      • Mentransisi data di direktori data OSS-HDFS .dlsdata/ yang diberi tag dengan kunci transition-storage-class dan nilai Archive ke Archive setelah satu hari.

      • Mentransisi data di direktori data OSS-HDFS .dlsdata/ yang diberi tag dengan kunci transition-storage-class dan nilai ColdArchive ke Cold Archive setelah satu hari.

      • Mentransisi data di direktori data OSS-HDFS .dlsdata/ yang diberi tag dengan kunci transition-storage-class dan nilai DeepColdArchive ke Deep Cold Archive setelah satu hari.

      Penting

      Setelah mengaktifkan tiering penyimpanan otomatis, aturan siklus hidup akan dibuat secara otomatis. Aturan ini berisi kebijakan untuk mentransisi objek ke Infrequent Access, Archive, Cold Archive, dan Deep Cold Archive. Jangan mengedit aturan ini. Jika tidak, data dalam layanan OSS-HDFS atau layanan itu sendiri mungkin menjadi tidak tersedia.

   6. Klik OK.

      • Layanan OSS-HDFS menerapkan kebijakan transisi yang sesuai dari aturan siklus hidup berdasarkan kebijakan penyimpanan yang Anda atur.

      • OSS memuat aturan siklus hidup baru dalam waktu 24 jam. Setelah dimuat, aturan tersebut dijalankan setiap hari pukul 08.00 (UTC+8). Transisi selesai dalam waktu minimal 48 jam, meskipun waktu eksekusi tepatnya bergantung pada jumlah file.

Perintah terkait

./jindofs fs -setStoragePolicy -path <path> -policy <policy>

./jindofs fs -getStoragePolicy -path <path>

./jindofs fs -unsetStoragePolicy -path <path>

./jindofs fs -checkStoragePolicy -path <path>

./jindofs fs -setStoragePolicy -path <path> -policy <policy> -restoreDays <restoreDays>

FAQ

• Apa yang harus saya lakukan jika saya tidak sengaja menghapus aturan siklus hidup untuk tiering penyimpanan otomatis layanan OSS-HDFS?

• Dapatkah saya mentransisi file dari Archive atau Cold Archive ke Standard atau Infrequent Access dalam layanan OSS-HDFS?

Topik terkait

• Ikhtisar Kelas Penyimpanan

• Biaya Penyimpanan