Object Storage Service:Use tiered storage to store cold data at a low cost with OSS-HDFS

Ön koşullar

• Veriler OSS-HDFS'ye yazılmış olmalıdır.

• Katmanlı depolamayı (Seyrek Erişim, Arşiv ve Soğuk Arşiv depolama sınıfları dahil) kullanmak için öncelikle destek talebi göndermeniz gerekir. Buna ek olarak Derin Soğuk Arşiv depolama sınıfını da kullanmak istiyorsanız ayrı bir talep açmalısınız. Daha önce katmanlı depolamayı etkinleştirmediyseniz Derin Soğuk Arşiv dahil tüm depolama sınıflarını kapsayan tek bir talep oluşturabilirsiniz.

• Aşağıdaki bölgeler Seyrek Erişim, Arşiv ve Soğuk Arşiv depolama sınıflarına dönüştürmeyi destekler: Çin (Hangzhou), Çin (Şanghay), Çin (Pekin), Çin (Shenzhen), Çin (Zhangjiakou), Çin (Ulanqab), Çin (Hong Kong), Singapur, Almanya (Frankfurt), ABD (Silikon Vadisi), ABD (Virginia) ve Endonezya (Cakarta)

• Aşağıdaki bölgeler Derin Soğuk Arşiv depolama sınıfına dönüştürmeyi destekler: Çin (Hangzhou), Çin (Şanghay), Çin (Pekin), Çin (Ulanqab), Çin (Shenzhen), Çin (Zhangjiakou) ve Singapur

• JindoSDK 6.8.0 veya sonraki bir sürüm yüklü olmalıdır. Ayrıntılı bilgi için bkz. Hızlı başlangıç: EMR dışı bir kümeyi OSS-HDFS hizmetine bağlama.

Kullanım notları

• JindoSDK sürümünüz 6.8.0'dan eskiyse Seyrek Erişim, Arşiv, Soğuk Arşiv veya Derin Soğuk Arşiv depolama sınıfına ayarlanmış bir dizinde dosya oluşturamazsınız. Bu dört depolama sınıfından birine ait bir dizine dosya yerleştirmek için önce dosyayı Standart depolama sınıfındaki bir dizinde oluşturup kapatın ardından rename işlemiyle hedef dizine taşıyın.

  Seyrek Erişim, Arşiv, Soğuk Arşiv veya Derin Soğuk Arşiv depolama sınıfındaki bir dizinde doğrudan dosya oluşturmak için JindoSDK'yı 6.8.0 veya üzeri bir sürüme yükseltin.

• Verileri Arşiv, Soğuk Arşiv veya Derin Soğuk Arşiv depolama sınıfına dönüştürmek yüksek sistem yüküne neden olur ve veri getirme işlemi yavaştır. Bu depolama sınıflarını dikkatle seçin.

• Katmanlı depolama aşağıdaki depolama sınıfı dönüşümlerini destekler:

  • Sıcaktan soğuğa dönüşüm

    

  • Soğuktan sıcağa dönüşüm

    

Faturalama

• Veri getirme ücretleri

  Seyrek Erişim, Arşiv, Soğuk Arşiv veya Derin Soğuk Arşiv depolama sınıfındaki OSS-HDFS verilerini okuduğunuzda getirilen kapasite bazında veri getirme ücreti yansıtılır. Bu nedenle sık erişilmesi gereken veriler için bu dört depolama sınıfını kullanmaktan kaçının. Ayrıntılı bilgi için bkz. Veri işleme ücretleri.

• Etiketleme ücretleri

  OSS-HDFS verileri için depolama ilkesi yapılandırmak veri bloklarına etiket eklemeyi gerektirir. Veri bloğu etiketleme ücretleri OSS nesne etiketleme faturalama kurallarına tabidir. Ayrıntılı bilgi için bkz. Nesne etiketleme ücretleri.

• Minimum süreden daha kısa süreyle depolanan veriler için depolama ücretleri

  Seyrek Erişim depolama sınıfı için minimum depolama süresi 30 gün, Arşiv depolama sınıfı için 60 gün, Soğuk Arşiv depolama sınıfı için 180 gün ve Derin Soğuk Arşiv depolama sınıfı için 180 gündür. JindoFS kullanarak verilerin depolama sınıfını dönüştürürken her depolama sınıfı için belirlenen minimum depolama süresinin karşılandığından emin olun aksi takdirde ek ücretlerle karşılaşabilirsiniz. Aşağıdaki örnekler detayları açıklar:

  Dönüşüm yöntemi	Örnek	Minimum depolama süresi nasıl hesaplanır	Zaten tahakkuk eden kapasite ücretleri	Minimum süreden kısa depolama ücretlerinden nasıl kaçınılır
  Sıcaktan soğuğa	Standart (10 gün saklandı) --> Seyrek Erişim'e dönüştürüldü	Dönüşüm sonrası depolama süresi yeniden hesaplanmaz. Dönüşüm öncesinde geçen günler yeni depolama sınıfının minimum depolama süresine sayılır.	10 günlük Standart depolama için kapasite ücretleri	Verileri Seyrek Erişim depolama sınıfında 20 gün daha saklamaya devam edin
  	Seyrek Erişim (10 gün saklandı) --> Arşiv'e dönüştürüldü		10 günlük Seyrek Erişim depolama için kapasite ücretleri	Verileri Arşiv depolama sınıfında 50 gün daha saklamaya devam edin
  	Standart (10 gün saklandı) --> Soğuk Arşiv'e dönüştürüldü	Dönüşüm sonrası depolama süresi yeniden hesaplanır. Dönüşüm öncesinde geçen günler yeni depolama sınıfının minimum depolama süresine sayılmaz.	10 günlük Standart depolama için kapasite ücretleri	Verileri Soğuk Arşiv depolama sınıfında 180 gün daha saklamaya devam edin
  	Standart (10 gün saklandı) --> Derin Soğuk Arşiv'e dönüştürüldü		10 günlük Standart depolama için kapasite ücretleri	Verileri Derin Soğuk Arşiv depolama sınıfında 180 gün daha saklamaya devam edin
  Soğuktan sıcağa	Soğuk Arşiv (10 gün saklandı) --> Seyrek Erişim'e dönüştürüldü		10 günlük Soğuk Arşiv depolama için kapasite ücretleri	Verileri Soğuk Arşiv depolama sınıfında 170 gün daha saklayın ardından Seyrek Erişim'e dönüştürün Veriler Seyrek Erişim depolama sınıfına dönüştürüldükten sonra 30 gün daha saklamaya devam edin

Yordam

1. ECS örneğine bağlanın. Ayrıntılı bilgi için bkz. Bir örneğe bağlanma.

2. JindoFS SDK paketini indirin.

3. Erişim anahtarını ve ortam değişkenlerini yapılandırın.

   1. Yüklü JindoFS JAR paketindeki bin dizinine gidin.

      Aşağıdaki örnekte jindofs-sdk-x.x.x-linux kullanılmıştır. Farklı bir JindoSDK sürümü kullanıyorsanız JAR paketi adını buna göre değiştirin.

      cd jindofs-sdk-x.x.x-linux/bin/

   2. Bin dizininde jindofs.cfg adlı bir yapılandırma dosyası oluşturun ve aşağıdaki yapılandırma öğelerini dosyaya ekleyin.

      [client]
      <!-- Configure the AccessKey ID and AccessKey secret used to access OSS-HDFS. -->
      fs.oss.accessKeyId = yourAccessKeyId    
      fs.oss.accessKeySecret = yourAccessKeySecret
      <!-- The following example uses the China (Hangzhou) region. Replace it with the actual region. -->
      fs.oss.endpoint = cn-hangzhou.oss-dls.aliyuncs.com                                     

   3. Ortam değişkenini ayarlayın.

      Not

      <JINDOSDK_CONF_DIR> yerine jindofs.cfg yapılandırma dosyasının bulunduğu dizinin mutlak yolunu girin.

      export JINDOSDK_CONF_DIR=<JINDOSDK_CONF_DIR>

4. OSS-HDFS'ye yazılan veriler için bir depolama ilkesi yapılandırın.

   Senaryo	Komut	Sonuç
   OSS-HDFS'ye yazılan verilerin depolama ilkesini Seyrek Erişim olarak ayarlayın	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir1 -policy CLOUD_IA	dir1/ dizinindeki dosyaların veri blokları transition-storage-class anahtarı ve IA değeriyle etiketlenir.
   OSS-HDFS'ye yazılan verilerin depolama ilkesini Arşiv olarak ayarlayın	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir2 -policy CLOUD_AR	dir2/ dizinindeki dosyaların veri blokları transition-storage-class anahtarı ve Archive değeriyle etiketlenir.
   OSS-HDFS'ye yazılan verilerin depolama ilkesini Soğuk Arşiv olarak ayarlayın	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir3 -policy CLOUD_COLD_AR	dir3/ dizinindeki dosyaların veri blokları transition-storage-class anahtarı ve ColdArchive değeriyle etiketlenir.
   OSS-HDFS'ye yazılan verilerin depolama ilkesini Derin Soğuk Arşiv olarak ayarlayın	./jindofs fs -setStoragePolicy -path oss://examplebucket/dir4 -policy CLOUD_DEEP_COLD_AR	dir4/ dizinindeki dosyaların veri blokları transition-storage-class anahtarı ve DeepColdArchive değeriyle etiketlenir.

5. Katmanlı depolamayı etkinleştirin.

   1. OSS konsoluna giriş yapın.

   2. Sol gezinme bölmesinde Buckets seçeneğine tıklayın ardından hedef paketi seçin.

   3. Sol gezinme bölmesinde Data Lake > OSS-HDFS yolunu izleyin.

   4. OSS-HDFS sekmesinde katmanlı depolama için Settings seçeneğine tıklayın.

   5. Automatic Storage Tiering panelinin Basic Settings bölümünde durum anahtarını açın.

      Sayfanın üst kısmında şu mesaj görüntülenir: Katmanlı depolama belirli bir yaşam döngüsü kuralı oluşturularak uygulanır. Bu kural önceden yapılandırılmıştır ve değiştirilemez. Katmanlı depolama sınıfları arasında Seyrek Erişim, Arşiv, Soğuk Arşiv ve Derin Soğuk Arşiv bulunur.

      Yapılandırma hatalarından kaynaklanan katmanlı depolama arızalarını önlemek amacıyla OSS otomatik olarak aşağıdaki dört ilkeyi içeren bir yaşam döngüsü kuralı oluşturur:

      • .dlsdata/ OSS-HDFS veri depolama dizininde bulunan ve transition-storage-class anahtarı ile IA değeriyle etiketlenmiş veriler 1 gün sonra Seyrek Erişim depolama sınıfına dönüştürülür.

      • .dlsdata/ OSS-HDFS veri depolama dizininde bulunan ve transition-storage-class anahtarı ile Archive değeriyle etiketlenmiş veriler 1 gün sonra Arşiv depolama sınıfına dönüştürülür.

      • .dlsdata/ OSS-HDFS veri depolama dizininde bulunan ve transition-storage-class anahtarı ile ColdArchive değeriyle etiketlenmiş veriler 1 gün sonra Soğuk Arşiv depolama sınıfına dönüştürülür.

      • .dlsdata/ OSS-HDFS veri depolama dizininde bulunan ve transition-storage-class anahtarı ile DeepColdArchive değeriyle etiketlenmiş veriler 1 gün sonra Derin Soğuk Arşiv depolama sınıfına dönüştürülür.

      Önemli

      Katmanlı depolama etkinleştirildikten sonra otomatik olarak bir yaşam döngüsü kuralı oluşturulur. Bu kural verileri Seyrek Erişim, Arşiv, Soğuk Arşiv ve Derin Soğuk Arşiv depolama sınıflarına dönüştüren dört ilke içerir. Bu kuralı düzenlemeyin aksi takdirde OSS-HDFS verileri ve hizmetlerinde anormallikler oluşabilir.

   6. OK seçeneğine tıklayın.

      • OSS-HDFS yapılandırılan depolama ilkesine göre yaşam döngüsü kuralındaki ilgili dönüşüm ilkesini uygular.

      • OSS yaşam döngüsü kuralı oluşturulduktan sonraki 24 saat içinde kuralı yükler. Kural yüklendikten sonra OSS her gün saat 08:00'de (UTC+8) kuralı çalıştırır. Kesin çalışma zamanı dosya sayısına bağlıdır ve veriler en erken 48 saat içinde belirtilen depolama sınıfına dönüştürülür.

İlgili komutlar

./jindofs fs -setStoragePolicy -path <path> -policy <policy>

./jindofs fs -getStoragePolicy -path <path>

./jindofs fs -unsetStoragePolicy -path <path>

./jindofs fs -checkStoragePolicy -path <path>

./jindofs fs -setStoragePolicy -path <path> -policy <policy> -restoreDays <restoreDays>

SSS

• OSS-HDFS katmanlı depolama yaşam döngüsü kuralını yanlışlıkla silersem ne yapmalıyım?

• OSS-HDFS Arşiv veya Soğuk Arşiv nesnelerini Standart veya Seyrek Erişim depolama sınıfına dönüştürmeyi destekler mi?

Referanslar

• Depolama sınıflarına genel bakış

• Depolama ücretleri