ossfs read performance tuning - Object Storage Service: Central de Documentação do Alibaba Cloud

Ajuste os parâmetros do ossfs para maximizar o throughput de leitura em cargas de trabalho somente leitura.

Importante

Aplica-se ao ossfs 1.91.3 e versões posteriores. Obtenha a versão mais recente em Instale o ossfs.

Modos de leitura

O ossfs oferece três modos de leitura para diferentes cargas de trabalho.

Modo padrão

Ideal para arquivos pequenos que cabem no page cache e arquivos grandes com leituras aleatórias. Se as leituras de imagens de treinamento de IA apresentarem baixo desempenho no modo de leitura direta, apesar de algumas operações de leitura aleatória, mude para o modo padrão.

O ossfs armazena dados de arquivos em cache tanto na memória quanto no disco local, consumindo o dobro do tamanho do arquivo no cache total.

Com 6 GB de page cache disponível para páginas sujas (dirty pages), o modo padrão suporta teoricamente arquivos de até 3 GB.
Defina parallel_count para downloads simultâneos e multipart_size para o tamanho dos blocos de download.

Modo de leitura direta

Recomendado para leituras sequenciais de arquivos grandes com acesso aleatório limitado, como o carregamento de arquivos Safetensors grandes em cenários de inferência de IA.

Ative este modo com a opção -odirect_read.
O ossfs armazena dados em buffer no intervalo [-direct_read_backward_chunks * direct_read_chunk_size, +direct_read_prefetch_chunks * direct_read_chunk_size]. Valores padrão: direct_read_chunk_size = 4 MB, direct_read_prefetch_chunks = 32, direct_read_backward_chunks = 1, resultando em uma janela de [-4 MB, +128 MB]. O modo suporta leituras aleatórias limitadas. Por exemplo, se leituras consecutivas de Safetensors estiverem dentro de [-32 MB, +32 MB], defina -odirect_read_backward_chunks=8 para reter 32 MB antes do offset atual.
Ajuste direct_read_prefetch_chunks e direct_read_chunk_size para aumentar o prefetch paralelo e maximizar a largura de banda.

Modo de leitura híbrida

Mais indicado para cargas mistas de arquivos pequenos (armazenáveis em cache no page cache) e arquivos grandes com acesso aleatório limitado, como o carregamento de arquivos Safetensors grandes em cenários de inferência de IA. Para leituras aleatórias que abrangem faixas amplas de offset, o modo padrão apresenta melhor desempenho.

Ative este modo com a opção -odirect_read.
Configure direct_read_local_file_cache_size_mb como o limiar para alternar para a leitura direta. Por exemplo, com 6 GB de page cache, defina -odirect_read_local_file_cache_size_mb=3072 para alternar quando os dados baixados atingirem 3 GB.
O ossfs armazena dados em buffer no intervalo [-direct_read_backward_chunks * direct_read_chunk_size, +direct_read_prefetch_chunks * direct_read_chunk_size]. Valores padrão: direct_read_chunk_size = 4 MB, direct_read_prefetch_chunk = 32, direct_read_backward_chunks = 1, resultando em uma janela de [-4 MB, +128 MB]. O modo suporta leituras aleatórias limitadas. Por exemplo, se leituras consecutivas de Safetensors estiverem dentro de [-32 MB, +32 MB], defina -odirect_read_backward_chunks=8 para reter 32 MB antes do offset atual.
Ajuste direct_read_prefetch_chunks e direct_read_chunk_size para aumentar o prefetch paralelo e maximizar a largura de banda.

Recomendações

Se o ossfs ler e gravar o mesmo arquivo simultaneamente, use o modo de leitura padrão.

Se o ossfs apenas ler arquivos, ou ler e gravar arquivos diferentes:

Tipo de arquivo	Modo recomendado
Apenas arquivos pequenos	Use o modo de leitura padrão.
Apenas arquivos grandes	Para leituras sequenciais ou leituras aleatórias de arquivos Safetensors com faixas estreitas de offset, prefira o modo de leitura direta. Para leituras aleatórias com faixas amplas de offset, opte pelo modo de leitura padrão. Em caso de dúvida, ou se o desempenho permanecer baixo após ajustar direct_read_backward_chunks, use o modo padrão.
Arquivos pequenos e grandes	Para leituras sequenciais ou leituras aleatórias de arquivos Safetensors com faixas estreitas de offset, escolha o modo de leitura híbrida. Para leituras aleatórias com faixas amplas de offset, em caso de dúvida, ou se o desempenho permanecer baixo após ajustar direct_read_backward_chunks, use o modo padrão.

Nota

Se o modo de leitura direta ou híbrida apresentar baixo desempenho, mude para o modo padrão, que armazena dados em cache no disco local. A E/S de disco passa então a ser o gargalo — utilize um disco de alto desempenho, como ESSD AutoPL, com configurações adequadas de desempenho provisionado e burst.