ossfs, bir Alibaba Cloud Object Storage Service (OSS) paketini yerel bir dosya sistemi olarak bağlar; böylece OSS verilerini standart dosya sistemi işlemleriyle yönetebilirsiniz.
Sürüm yükseltme
Yapay zeka eğitimi, çıkarım ve otonom sürüş simülasyonu iş yükleri için bunun yerine ossfs 2,0 kullanın. Bir OSS SDK veya AI/ML için OSS Bağlayıcısı Kullanarak Model Eğitimini Hızlandırma tarafından sağlanandan daha iyi performansa ihtiyaç duyduğunuzda ossfs 2,0 önerilen alternatiftir.
ossfs 2,0 şunları sunar:
OSS sunucu tarafı okuma ve yazma yetenekleri üzerine inşa edilmiş temel POSIX uyumluluğu.
Uçtan uca G/Ç yolu optimizasyonu sayesinde büyük dosyalar için yüksek performanslı sıralı okuma ve yazma.
Optimize edilmiş meta veri yönetimi ile küçük dosyaların verimli eşzamanlı yüklenmesi.
İş yükünüz öncelikli olarak bir Linux sisteminde standart POSIX dosya işlemlerini içeriyorsa ve ossfs 2,0'ın hedeflediği yüksek aktarım hızı performansına ihtiyaç duymuyorsanız ossfs 1,0'ı kullanın.
ossfs
ossfs, FUSE (kullanıcı alanındaki dosya sistemi) üzerine inşa edilmiştir ve bir OSS paketini Linux üzerinde yerel bir dosya sistemi olarak bağlar. Günlük arşivleme, statik içerik sunumu, veri gölü erişimi ve dosyaları sıralı olarak okuyan veya yazan toplu işler gibi iş yükleri için uygundur.
ossfs şunları destekler:
Dosya ve dizin yükleme ve indirme ile kullanıcı izinlerini ayarlama dahil olmak üzere çoğu POSIX dosya sistemi işlemi.
Varsayılan olarak çok parçalı yükleme ve kaldığı yerden devam eden yükleme.
Veri bütünlüğünü sağlamak için MD5 doğrulaması.
Ön koşullar
ossfs, FUSE'u destekleyen makinelerde çalışır. Ubuntu, CentOS ve Alibaba Cloud Linux için önceden oluşturulmuş kurulum paketleri mevcuttur. Diğer ortamlar için ossfs'yi kaynaktan derleyin.
-
Linux
CentOS 7.0 veya üzeri.
Ubuntu 20.04 veya üzeri.
Alibaba Cloud Linux 2 veya üzeri.
-
FUSE 2.8.4 veya üzeri
FUSE sürümünüzü kontrol etmek için
fusermount -Vkomutunu çalıştırın.fusermount version: 2.9.2gibi bir çıktı, gereksinimin karşılandığını doğrular.
Sınırlamalar
ossfs nesne depolama API çağrılarını POSIX dosya sistemi anlambilimine eşlediğinden bazı işlemler yerel diskteki davranışlardan farklı olabilir. Bir paketi bağlamadan önce aşağıdaki sınırlamaları dikkate alın:
-
Yüksek eşzamanlı karışık okuma ve yazma iş yükleri için uygun değildir.
NotRastgele okumalar ve tüm yazmalar önce verileri diske yazar. Yüksek eşzamanlı karışık okuma/yazma iş yüklerinde disk G/Ç'si hem okuma hem de yazma için darboğaz haline gelir.
Eşzamanlı okuma ve yazma istekleri aynı bant genişliği için yarışır ve genel aktarım hızını azaltır.
Sabit bağlantılar desteklenmez. OSS nesneleri, aynı verilere işaret eden birden fazla dizin girişi kavramına sahip değildir.
Arşiv, Soğuk Arşiv veya Derin Soğuk Arşiv depolama sınıflarını kullanan paketleri bağlamayın. Bu sınıflar, erişim öncesinde veri geri yüklemesi gerektirir ve bu durum dosya sistemi anlambilimi ile uyumsuzdur.
Bir dosyayı düzenlemek, ossfs'nin tüm dosyayı yeniden yüklemesine neden olur çünkü OSS satır içi kısmi yazmaları desteklemez.
list directorygibi meta veri işlemleri yavaştır. Her çağrı, dizin listelemelerinin bellekte önbelleğe alındığı yerel bir dosya sisteminin aksine, OSS sunucusuna gidiş-dönüş gerektirir.Bir dosya veya dizini yeniden adlandırmak başarısız olabilir ve bu durum veri tutarsızlığına neden olabilir. OSS atomik yeniden adlandırmayı desteklemez; ossfs, kesintiye uğrarsa kısmi durum bırakabilen bir kopyala-sonra-sil dizisiyle bunu taklit eder.
Birden çok istemci aynı OSS paketini bağlar ve aynı anda aynı dosyaya yazarsa veri tutarlılığı garanti edilmez.
AccessKey'inize hedef paket veya ön ek üzerinde tam izinler verin. Tam izinler mümkün değilse en azından şunları verin:
oss:GetObject,oss:ListObjects,oss:DeleteObject,oss:PutObject,oss:AbortMultipartUploadveoss:ListMultipartUploads. Yetersiz izinler bağlama hatalarına veya beklenmeyen davranışlara neden olur.
Sonraki adımlar
Bir paketi bağlamadan önce ossfs 1,0'ı yükleyin ve ossfs 1,0'ı yapılandırın. Kurulum tamamlandıktan sonra bir paketi yerel bir Linux sistemine bağlayın.