Object Storage Service:optimize ossfs for read-only workloads

Varsayılan mod

Sayfa önbelleğine sığan küçük dosyalar ve rastgele okuma yapılan büyük dosyalar için uygundur. Doğrudan okuma modunda bazı rastgele okuma işlemleri olmasına rağmen yapay zeka eğitim görüntüsü okumalarının performansı düşükse varsayılan moda geçin.

ossfs, dosya verilerini hem bellekte hem de yerel diskte önbelleğe alır; bu durum toplam önbellek boyutunun dosya boyutunun iki katı olmasına neden olur.

• Kirli sayfalar için 6 GB kullanılabilir sayfa önbelleği bulunduğunda varsayılan mod teorik olarak 3 GB'a kadar olan dosyaları destekler.

• Eşzamanlı indirmeler için parallel_count parametresini ve indirme parçası boyutu için multipart_size parametresini ayarlayın.

Doğrudan okuma modu

Sınırlı rastgele erişim içeren büyük dosyaların sıralı okunması (örneğin yapay zeka çıkarım senaryolarında büyük Safetensors dosyalarının yüklenmesi) için en uygun seçenektir.

• Bu modu -odirect_read seçeneğiyle etkinleştirin.

• ossfs, verileri [-direct_read_backward_chunks * direct_read_chunk_size, +direct_read_prefetch_chunks * direct_read_chunk_size] aralığında tamponlar. Varsayılan değerler: direct_read_chunk_size = 4 MB, direct_read_prefetch_chunks = 32, direct_read_backward_chunks = 1; bu da [-4 MB, +128 MB] penceresini sağlar. Sınırlı rastgele okumalar desteklenir. Örneğin, ardışık Safetensors okumaları [-32 MB, +32 MB] aralığındaysa mevcut ofsetten önce 32 MB'lık veriyi korumak için -odirect_read_backward_chunks=8 ayarını kullanın.

• Paralel ön getirmeyi artırmak ve bant genişliğini en üst düzeye çıkarmak için direct_read_prefetch_chunks ve direct_read_chunk_size değerlerini ayarlayın.

Hibrit okuma modu

Küçük dosyalar (sayfa önbelleğinde önbelleğe alınabilir) ve sınırlı rastgele erişimli büyük dosyaların karışık iş yükleri (örneğin yapay zeka çıkarım senaryolarında büyük Safetensors dosyalarının yüklenmesi) için uygundur. Geniş ofset aralıklarını kapsayan rastgele okumalar için varsayılan mod daha iyi performans gösterir.

• Bu modu -odirect_read seçeneğiyle etkinleştirin.

• Doğrudan okumaya geçiş yapmak için eşik değeri olarak direct_read_local_file_cache_size_mb parametresini ayarlayın. Örneğin, 6 GB sayfa önbelleği varsa indirilen veri 3 GB'a ulaştığında geçiş yapmak için -odirect_read_local_file_cache_size_mb=3072 ayarını kullanın.

• ossfs, verileri [-direct_read_backward_chunks * direct_read_chunk_size, +direct_read_prefetch_chunks * direct_read_chunk_size] aralığında tamponlar. Varsayılan değerler: direct_read_chunk_size = 4 MB, direct_read_prefetch_chunk = 32, direct_read_backward_chunks = 1; bu da [-4 MB, +128 MB] penceresini sağlar. Sınırlı rastgele okumalar desteklenir. Örneğin, ardışık Safetensors okumaları [-32 MB, +32 MB] aralığındaysa mevcut ofsetten önce 32 MB'lık veriyi korumak için -odirect_read_backward_chunks=8 ayarını kullanın.

• Paralel ön getirmeyi artırmak ve bant genişliğini en üst düzeye çıkarmak için direct_read_prefetch_chunks ve direct_read_chunk_size değerlerini ayarlayın.