Cloud Parallel File Storage (CPFS) veri akışı, CPFS dosya sistemleri ile Object Storage Service paketleri arasında verileri senkronize eder. İki depolama hizmeti arasında veri içe aktarmak, dışa aktarmak veya silmek için veri akışı görevleri oluşturabilirsiniz.
Genel bakış
Bir CPFS fileset ile bir OSS paketi arasında veri akışı oluşturulduktan sonra, CPFS dosya sistemi OSS paketinden gelen nesne meta verilerini otomatik olarak senkronize eder. Ardından, yüksek performanslı ve POSIX uyumlu dosya arabirimleri aracılığıyla OSS verilerine erişip bu verileri işleyebilirsiniz. Verileri CPFS konsolundan veya OpenAPI işlemlerini çağırarak OSS paketlerine dışa da aktarabilirsiniz.
-
İhtiyaç üzerine yükleme
Bir OSS paketine bağlı olan bir CPFS dosya sistemindeki bir dizine veya dosyaya eriştiğinizde, dosya sistemi gerekli meta verileri veya verileri ihtiyaç duyulduğunda otomatik olarak yükler. Örneğin, bağlantılı bir dizinde ls komutunu çalıştırmak, OSS'ten meta veri yüklemeyi tetikler. Bir dosyaya erişmek ise OSS'ten gereken veri bloklarının yüklenmesini tetikler.
-
Veri içe ve dışa aktarma
CPFS ile OSS arasında veri içe veya dışa aktarmak için veri akışı görevleri oluşturabilirsiniz. Bu sayede, hesaplama işleri başlamadan önce veriler yüksek performanslı CPFS dosya sistemine senkronize edilir. CPFS, tam dizin ağaçlarının veya belirli dosya listelerinin içe ve dışa aktarılmasını destekler. Bir görev tamamlandığında, yürütme ayrıntıları için görev raporunu inceleyebilirsiniz.
ÖnemliCPFS, meta verileri bir OSS nesnesinin özel meta verilerine dışa aktarır. Bu meta verilerin adı
x-oss-meta-afm-xxxşeklindedir. Bu meta verileri silmeyin veya değiştirmeyin. Aksi takdirde, dosya sistemi meta veri hataları oluşabilir.Görev raporları yalnızca referans amaçlıdır. Hedefteki verilerin nihai durumu kesin kayıttır. Veri akışı tamamlandıktan sonra kaynak ve hedef arasındaki veri tutarlılığını doğrulamanız gerekir.
-
Otomatik meta veri güncellemeleri
Otomatik meta veri güncellemelerini etkinleştirdikten sonra, CPFS OSS veri değiştirme olaylarını izler ve güncellenen dosya meta verilerini CPFS dosya sistemine senkronize eder. Bu durum, CPFS ile OSS arasında nihai tutarlılık sağlar ve işletim ve bakım maliyetlerini azaltır.
-
Esnek ölçeklendirme
Veri akışı bant genişliğini ihtiyacınıza göre artırabilir veya azaltabilirsiniz. Yoğun trafik dönemlerinde bant genişliğini artırın, yoğun olmayan dönemlerde ise düşürün.
Sınırlamalar
-
Fileset
Fileset'ler yalnızca CPFS 2.2.0 ve sonraki sürümlerde desteklenir.
Tek bir CPFS dosya sistemi en fazla 10 fileset'i destekler.
Bir fileset, CPFS dosya sisteminde en fazla sekiz düzey derinliğindeki bir dizine bağlanabilir.
Bir fileset en fazla 1 milyon dosya veya dizin içerebilir.
İç içe geçmiş fileset'ler desteklenmez.
-
Veri akışları
Veri akışları yalnızca CPFS 2.2.0 ve sonraki sürümlerde desteklenir.
Tek bir CPFS dosya sistemi en fazla 10 veri akışını destekler.
Tek bir veri akışı en fazla beş otomatik güncelleme dizinine sahip olabilir.
Bir CPFS dosya sistemindeki bir fileset yalnızca bir OSS paketine bağlanabilir.
Veri akışı görev kayıtları en fazla 90 gün boyunca saklanır.
Veri akışı görev raporları CPFS dosya sisteminde depolanır ve depolama alanı tüketir. En fazla 1 milyon rapor depolanabilir.
Bölgeler arası veri akışları desteklenmez. CPFS dosya sistemi ile OSS paketi aynı bölgede olmalıdır.
-
Dosya sistemlerinde veri akışı sınırlamaları
Bir veri akışıyla ilişkili fileset içinde boş olmayan bir dizini yeniden adlandırmayın. Boş olmayan bir dizini yeniden adlandırmak,
Permission Deniedhatasına veya "dizin boş değil" hatasına neden olabilir.Veri akışları, OSS'teki Archive veya Cold Archive nesnelerini desteklemez.
Dizin ve dosya adlarında özel karakterleri dikkatli kullanın. Desteklenen karakterler büyük ve küçük harfler, rakamlar, ünlem işaretleri (!), tireler (-), alt çizgiler (_), noktalar (.), yıldız işaretleri (*) ve parantezlerdir ().
Uzun yollar desteklenmez. Bir veri akışı için maksimum yol uzunluğu 1.023 karakterdir.
-
Veri dışa aktarma sınırlamaları
Veri akışları, sabit bağlantıları veya sembolik bağlantıları bir OSS paketine dışa aktarmayı desteklemez.
Veri akışları, boş dizinleri bir OSS paketine dışa aktarmayı desteklemez.
Veri akışları, ChangeTime özelliklerini bir OSS paketine dışa aktarmayı desteklemez.
Bir veri akışı seyrek verileri dışa aktardığında, sıfır değerli boşluklar veriler bir OSS paketine dışa aktarılmadan önce doldurulur.
-
Otomatik meta veri güncellemeleri sınırlamaları
Otomatik meta veri güncelleme özelliği yalnızca aşağıdaki bölgelerde kullanılabilir: Çin (Hangzhou), Çin (Chengdu), Çin (Shanghai), Çin (Shenzhen), Çin (Zhangjiakou) ve Çin (Beijing).
Yordam
Bir CPFS fileset'i oluşturun. Daha fazla bilgi için bkz. Fileset oluşturma.
Bir veri akışı oluşturun. Daha fazla bilgi için bkz. Veri akışı oluşturma.
Bir veri içe aktarma, veri dışa aktarma veya veri silme görevi oluşturun. Daha fazla bilgi için bkz. Veri akışı görevi oluşturma.
-
Verileri doğrulayın. Veri akışı görevi tamamlandıktan sonra, hedefteki verilerin doğru olduğunu doğrulayın.
UyarıVerilerin hedefe doğru şekilde aktarıldığını doğrulamadan önce kaynak verileri silerseniz, ortaya çıkabilecek veri kaybından ve tüm sonuçlardan yalnızca siz sorumlu olursunuz.
Performans ölçümleri
|
İşlem türü |
Ölçüm |
Açıklama |
|
Veri içe aktarma |
1 GB'tan büyük dosyalar için aktarım hızı |
|
|
Megabayt ölçeğindeki dosyalar için OPS |
Tek dizin ve çoklu dizin içe aktarma: 1.000. |
|
|
Veri dışa aktarma |
1 GB'tan büyük dosyalar için aktarım hızı |
|
|
Megabayt ölçeğindeki dosyalar için OPS |
Tek dizin ve çoklu dizin dışa aktarma: 600. |
|
|
Veri silme |
OPS |
Tek dizin ve çoklu dizin silme: 2.000. |
|
İhtiyaç üzerine yükleme (tembel yükleme) |
1 GB'tan büyük dosyalar için aktarım hızı |
|
|
Megabayt ölçeğindeki dosyalar için OPS |
Tek dizin ve çoklu dizin içe aktarma: 1.000. |
|
|
Otomatik meta veri güncelleme |
OPS |
|