Object Storage Service:Performance metrics of OSS accelerator

Operações com grandes volumes de dados

No exemplo a seguir, o ossutil baixa ou lê 10.000 objetos de 100 KB cada (tamanho total: 976 MB) usando um endpoint interno do OSS e o endpoint acelerado de um acelerador do OSS.

• Plano de teste

  Ferramenta de teste	Operação	Descrição
  ossutil	Execute o comando cp para baixar 10.000 objetos de 100 KB de um bucket do OSS para o computador local.	Use o endpoint interno do OSS e o endpoint acelerado para testar a velocidade de baixe simultâneo dos objetos do diretório do OSS para o computador local.

• Resultados do teste

  Ferramenta de teste	Uso do endpoint interno do OSS	Uso do acelerador do OSS para pré-carregamento de dados e do endpoint acelerado para acesso otimizado
  ossutil	2,2 MB/s	24 MB/s

• Conclusão do teste

  • O baixe de dados via ossutil com o acelerador do OSS ativado é aproximadamente 10 vezes mais rápido do que com o recurso desativado.

  O exemplo anterior demonstra como o acelerador do OSS melhora significativamente a velocidade de transmissão e acesso aos dados durante operações em lote sobre grandes volumes com ferramentas como o ossutil.

Machine learning ou deep learning com grandes volumes de dados

No exemplo abaixo, os conjuntos OssIterableDataset e OssMapDataset criados pelo OSS Connector for AI/ML leem dados usando um endpoint interno do OSS e o endpoint acelerado de um acelerador. O teste utiliza 10.000.000 de objetos com tamanho médio de 100 KB (tamanho total: 1 TB).

• Parâmetros do teste

  Parâmetro	Valor/Operação	Descrição
  dataloader batch size	256	Cada tarefa em lote processa 256 amostras.
  dataloader workers	32	32 processos carregam os dados em paralelo.
  transform	def transform(object): data = object.read() return object.key, object.label	Não há pré-processamento dos dados.

• Resultados do teste

  Conjunto criado com	Tipo de conjunto	Tempo para carregar 10 milhões de imagens via endpoint interno do OSS (s)	Tempo para carregar 10 milhões de imagens via endpoint acelerado (s)
  OSS Connector for AI/ML	OssIterableDataset	100	81
  	OssMapDataset	176	127

• Conclusão do teste

  A leitura de dados dos conjuntos OssIterableDataset e OssMapDataset com o acelerador do OSS ativado é cerca de 1,6 vez mais rápida do que com o recurso desativado. O OSS Connector for AI/ML já suporta acessos altamente simultâneos com alta largura de banda mesmo sem o acelerador. No entanto, combinar o OSS Connector for AI/ML com o acelerador do OSS proporciona desempenho ainda superior.

Estatísticas de latência de resposta de baixe

Baixe objetos de 10 MB várias vezes para fins de teste e calcule a latência de resposta em milissegundos com o acelerador do OSS desativado e ativado. Com o acelerador desativado, os downloads ocorrem diretamente do OSS.

Na figura a seguir, P50 indica que 50% das solicitações atendem às estatísticas de latência atuais, enquanto P999 indica que 99,9% das solicitações se enquadram nessas estatísticas.

Os resultados mostram uma redução de 10 vezes na latência ao usar o acelerador do OSS.

Data lakes e data warehouses na nuvem

Um usuário testou o desempenho utilizando disco local, OSS e acelerador do OSS como meios de armazenamento. O teste envolveu aproximadamente 2 bilhões de registros em uma tabela lineitem de 760 GB.

• Latência

  Cenário	CacheFS local (disco local)	OSS	Acelerador do OSS
  Consultas pontuais	382 ms	2.451 ms	1.160 ms
  Consultas aleatórias em 1.000 itens de dados	438 ms	3.786 ms	1.536 ms
  Consultas aleatórias em 10% dos dados	130.564 ms	345.707 ms	134.659 ms
  Varredura completa	171.548 ms	398.681 ms	197.134 ms

• Desempenho

  • Em consultas online, o tempo de resposta do acelerador do OSS supera o do OSS em 2 a 2,5 vezes. Para varreduras completas e consultas aleatórias em 10% dos dados, o desempenho do acelerador é 2 a 2,5 vezes maior que o do OSS e atinge 85% do desempenho do CacheFS com ESSD local.

  • Nas consultas online, a latência fixa de uma única solicitação ao acelerador do OSS varia entre 8 e 10 ms. Em consultas aleatórias sobre 1.000 itens e consultas pontuais, o acelerador apresenta desempenho 1,5 a 3 vezes superior ao do OSS, correspondendo a 30% do desempenho do CacheFS com ESSD local.

Treinamento de simulação para contêineres e direção autônoma

Ao ativar o acelerador do OSS, inicie diversos contêineres simultaneamente para obter imagens, mapas e dados de log. Isso reduz a duração total do treinamento de simulação em 60%.