Object Storage Service:ossfs 2.0

Melhorias de desempenho

O ossfs 2.0 traz melhorias significativas de desempenho em relação ao ossfs 1.0 nas operações de leitura e gravação sequencial, além de leituras de objetos pequenos com alta concorrência. Para obter mais informações sobre o desempenho do ossfs 2.0, consulte Performance testing.

• Desempenho de gravação sequencial: Em cenários de gravação sequencial de objetos grandes com thread única, o ossfs 2.0 oferece quase 18 vezes a largura de banda do ossfs 1.0.

• Desempenho de leitura sequencial: Em cenários de leitura sequencial de objetos grandes com thread única ou múltiplas threads (4 threads), o ossfs 2.0 proporciona mais de 3 vezes a largura de banda do ossfs 1.0.

• Desempenho de leitura concorrente de objetos pequenos: Em cenários de leitura de objetos pequenos com alta concorrência (128 threads), o ossfs 2.0 entrega mais de 20 vezes a largura de banda do ossfs 1.0.

Casos de uso

O ossfs 2.0 é ideal para cenários que exigem acesso a armazenamento de alto desempenho, como treinamento de IA, inferência, processamento de big data, direção autônoma e outras cargas de trabalho com uso intensivo de computação. Essas cargas envolvem principalmente leituras sequenciais e aleatórias, gravações sequenciais (apenas anexação) e não requerem semântica POSIX completa.

Ambiente de execução

O ossfs 2.0 é construído com base no Filesystem in Userspace (FUSE).

Limitações

• Requisitos de permissão: O AccessKey usado deve ter permissões totais para o bucket ou prefixo de destino. Permissões insuficientes podem causar falha na operação de montagem ou comportamento inesperado em outras operações.

• Limitações de classe de armazenamento: Não recomendamos a montagem de buckets nas classes Archive Storage, Cold Archive Storage ou Deep Cold Archive Storage.

• Limitações de nome de objeto e diretório: Os nomes de objetos e diretórios são limitados a 255 caracteres devido a uma restrição do Linux. Objetos ou diretórios no OSS com nomes que excedam esse limite não ficam visíveis no ponto de montagem.

• Limitações de leitura de objeto: O ossfs envia objetos recém-gravados para o OSS somente após o fechamento dos descritores de arquivo correspondentes. Ler um objeto antes do fechamento do seu descritor pode causar erro.

• Limitações de gravação de objeto: No modo padrão, não há suporte para gravações aleatórias e concorrentes no mesmo objeto. O tamanho padrão da parte é de 8.388.608 bytes (8 MiB), o que limita o tamanho máximo de um objeto gravável a 83.886.080.000 bytes (78,125 GiB). configure o tamanho da parte usando a opção de montagem upload_buffer_size. A partir da v2.0.9, use a opção de montagem temp_dir para ativar o modo de gravação aleatória com base em um diretório temporário local. Esse modo suporta gravações em deslocamentos arbitrários, truncamento para qualquer tamanho e descritores de gravação concorrentes no mesmo objeto.

• Operações de renomeação de objeto (não atômicas)

  • Objetos: A operação primeiro copia o objeto source para o destino e depois exclui o objeto source.

  • Diretórios: A operação copia todos os objetos dentro do diretório source para o destino e, em seguida, exclui os objetos source em massa. Por padrão, a operação de renomeação é limitada a 2 milhões de objetos descendentes. Altere esse limite usando a opção de montagem rename_dir_limit.

• Consistência de gravação concorrente: O ossfs 2.0 não garante a consistência dos dados quando vários clientes montam o mesmo bucket e gravam no mesmo objeto simultaneamente.

• Compatibilidade com a API POSIX: Parcialmente compatível. Para mais detalhes, consulte POSIX API support.

Recursos

Referências

• Instale ossfs 2.0

• Configure ossfs 2.0

• Mount a bucket using ossfs 2.0

• ossfs 2.0 mount options

• ossfs 2.0 performance tests

• Object and directory recognition mechanism

• Reduce OSS requests and improve mount point performance

• FAQ

• Release history