Optimizar ossfs para cargas de trabajo de solo lectura - Object Storage Service

Ajuste los parámetros de ossfs para maximizar el throughput de lectura en cargas de trabajo de solo lectura.

Importante

Aplica a ossfs 1.91.3 y versiones posteriores. Obtenga la versión más reciente desde Install ossfs.

Modos de lectura

ossfs ofrece tres modos de lectura para diferentes cargas de trabajo.

Modo predeterminado

Ideal para archivos pequeños que caben en la caché de páginas y archivos grandes con lecturas aleatorias. Si las lecturas de imágenes de entrenamiento de IA tienen un rendimiento deficiente en modo de lectura directa a pesar de algunas operaciones de lectura aleatoria, cambie al modo predeterminado.

ossfs almacena datos de archivos en caché tanto en memoria como en disco local, lo que consume el doble del tamaño del archivo en caché total.

Con 6 GB de caché de páginas disponible para páginas modificadas, el modo predeterminado admite teóricamente archivos de hasta 3 GB.
Establezca parallel_count para descargas simultáneas y multipart_size para el tamaño de fragmento de descarga.

Modo de lectura directa

Recomendado para lecturas secuenciales de archivos grandes con acceso aleatorio limitado, como la carga de archivos Safetensors de gran tamaño en escenarios de inference de IA.

Habilite este modo con la opción -odirect_read.
ossfs almacena datos en búfer dentro de [-direct_read_backward_chunks * direct_read_chunk_size, +direct_read_prefetch_chunks * direct_read_chunk_size]. Valores predeterminados: direct_read_chunk_size = 4 MB, direct_read_prefetch_chunks = 32, direct_read_backward_chunks = 1, lo que resulta en una ventana de [-4 MB, +128 MB]. Se admiten lecturas aleatorias limitadas. Por ejemplo, si las lecturas consecutivas de Safetensors caen dentro de [-32 MB, +32 MB], establezca -odirect_read_backward_chunks=8 para conservar 32 MB antes del desplazamiento actual.
Ajuste direct_read_prefetch_chunks y direct_read_chunk_size para aumentar la precarga paralela y maximizar el ancho de banda.

Modo de lectura híbrida

Adecuado para cargas de trabajo mixtas de archivos pequeños (almacenables en caché de páginas) y archivos grandes con acceso aleatorio limitado, como la carga de archivos Safetensors de gran tamaño en escenarios de inference de IA. Para lecturas aleatorias que abarcan rangos amplios de desplazamiento, el modo predeterminado ofrece mejor rendimiento.

Habilite este modo con la opción -odirect_read.
Establezca direct_read_local_file_cache_size_mb como umbral para cambiar a lectura directa. Por ejemplo, con 6 GB de caché de páginas, configure -odirect_read_local_file_cache_size_mb=3072 para realizar el cambio cuando los datos descargados alcancen 3 GB.
ossfs almacena datos en búfer dentro de [-direct_read_backward_chunks * direct_read_chunk_size, +direct_read_prefetch_chunks * direct_read_chunk_size]. Valores predeterminados: direct_read_chunk_size = 4 MB, direct_read_prefetch_chunk = 32, direct_read_backward_chunks = 1, lo que resulta en una ventana de [-4 MB, +128 MB]. Se admiten lecturas aleatorias limitadas. Por ejemplo, si las lecturas consecutivas de Safetensors caen dentro de [-32 MB, +32 MB], establezca -odirect_read_backward_chunks=8 para conservar 32 MB antes del desplazamiento actual.
Ajuste direct_read_prefetch_chunks y direct_read_chunk_size para aumentar la precarga paralela y maximizar el ancho de banda.

Recomendaciones

Si ossfs lee y escribe el mismo archivo simultáneamente, utilice el modo de lectura predeterminado.

Si ossfs solo lee archivos, o lee y escribe archivos diferentes:

Tipo de archivo	Modo recomendado
Solo archivos pequeños	Utilice el modo de lectura predeterminado.
Solo archivos grandes	Para lecturas secuenciales o lecturas aleatorias de archivos Safetensors con rangos de desplazamiento estrechos, utilice el modo de lectura directa. Para lecturas aleatorias con rangos de desplazamiento amplios, utilice el modo de lectura predeterminado. Si no está seguro, o si el rendimiento sigue siendo deficiente tras ajustar direct_read_backward_chunks, utilice el modo predeterminado.
Archivos pequeños y archivos grandes	Para lecturas secuenciales o lecturas aleatorias de archivos Safetensors con rangos de desplazamiento estrechos, utilice el modo de lectura híbrida. Para lecturas aleatorias con rangos de desplazamiento amplios, si no está seguro, o si el rendimiento sigue siendo deficiente tras ajustar direct_read_backward_chunks, utilice el modo predeterminado.

Nota

Si el modo de lectura directa o híbrida presenta un rendimiento deficiente, cambie al modo predeterminado, que almacena datos en caché en el disco local. La E/S de disco se convierte entonces en el cuello de botella; utilice un disco de alto rendimiento como ESSD AutoPL con configuraciones adecuadas de rendimiento aprovisionado y ráfaga.