Function Compute:Best practices for model storage on GPU-accelerated instances

Informações básicas

Para obter informações sobre tipos de armazenamento para funções, consulte Selecione um tipo de armazenamento para uma função. Os dois tipos a seguir são adequados para armazenar modelos em instâncias aceleradas por GPU.

• File Storage NAS

• Object Storage Service (OSS)

Também é possível colocar arquivos de modelo diretamente na imagem de contêiner da função.

Cada método possui características e casos de uso específicos. Selecione a opção mais adequada com base nos requisitos, no ambiente de execução e no fluxo de trabalho da equipe para equilibrar eficiência e custo.

Distribuir modelos com imagens de contêiner

Uma das abordagens mais diretas é empacotar modelos treinados e código da aplicação associada em uma única imagem de contêiner. Assim, os arquivos do modelo são distribuídos junto com a imagem.

Vantagens e desvantagens

Vantagens:

• Praticidade: após criar a imagem, execute-a diretamente para inferência sem configurações adicionais.

• Consistência: garante versão uniforme do modelo em todos os ambientes e evita problemas causados por inconsistências entre eles.

Desvantagens:

• Tamanho da imagem: as imagens podem ficar muito grandes, especialmente no caso de modelos extensos.

• Atualizações demoradas: cada atualização do modelo exige reconstruir e redistribuir a imagem, processo que pode ser lento.

Descrição

Para melhorar a velocidade de inicialização a frio das instâncias de função, a plataforma pré-processa as imagens de contêiner. Imagens muito grandes podem exceder o limite de tamanho da plataforma e aumentar o tempo necessário para aceleração e pré-processamento.

• Para obter informações sobre limites de tamanho de imagem da plataforma, consulte What is the size limit for GPU images?

• Para obter informações sobre pré-processamento de imagens e status da função, consulte Function status and invocation for custom images.

Casos de uso

• Modelos relativamente pequenos, como algumas centenas de megabytes.

• Modelos com alterações pouco frequentes.

Se os arquivos de modelo forem grandes, atualizados frequentemente ou fizerem a imagem de contêiner exceder o limite de tamanho da plataforma, separe o modelo da imagem.

Armazenar modelos no File Storage NAS

O Function Compute permite montar um sistema de arquivos NAS em um diretório especificado na instância da função. A aplicação carrega os arquivos de modelo ao acessar o diretório do ponto de montagem do NAS.

Vantagens e desvantagens

Vantagens:

• O NAS oferece melhor compatibilidade com aplicações do que o Filesystem in Userspace (FUSE), pois fornece interfaces de arquivo POSIX mais completas e maduras.

• Capacidade: o NAS fornece capacidade de armazenamento na escala de petabytes.

Desvantagens:

• Dependência de VPC: configure o acesso à VPC para que as funções acessem os pontos de montagem do NAS. Isso exige configurar permissões em vários produtos cloud. Além disso, durante a inicialização a frio, a plataforma leva alguns segundos para estabelecer o acesso à VPC para a instância.

• Gerenciamento de conteúdo limitado: monte o sistema de arquivos NAS antes do uso. Esse método exige criar um fluxo de trabalho de negócios para distribuir arquivos de modelo para a instância NAS.

• Sem suporte para implantações ativo-ativo ou multizona de disponibilidade (AZ). Para obter mais informações, consulte NAS FAQ.

Descrição

Em cenários onde muitos contêineres iniciam e carregam modelos simultaneamente, o gargalo de largura de banda do NAS é facilmente atingido. Isso aumenta o tempo de inicialização da instância e pode causar falhas devido a tempos limite. Por exemplo, um Horizontal Pod Autoscaler (HPA) agendado cria snapshots de GPU em lotes, ou um pico de tráfego aciona a criação de muitas instâncias elásticas aceleradas por GPU.

• Visualize o monitoramento de desempenho do NAS (throughput de leitura) no console.

• Aumente o throughput de leitura e gravação de certos sistemas de arquivos NAS aumentando a capacidade.

Ao usar o NAS para armazenar arquivos de modelo, utilize um sistema de arquivos Performance NAS. Esse tipo fornece largura de banda inicial de leitura alta, de cerca de 600 MB/s. Para obter mais informações, consulte General-purpose NAS file systems.

Casos de uso

Recomendado quando é necessário desempenho de inicialização rápida ao usar instâncias elásticas aceleradas por GPU no Function Compute.

Armazenar modelos no OSS

O Function Compute permite montar um bucket do OSS em um diretório especificado na instância da função. As aplicações carregam modelos diretamente do ponto de montagem do OSS.

Vantagens

• Largura de banda: o OSS tem limite de largura de banda maior que o NAS, o que torna a contenção entre instâncias menos provável. Para obter mais informações, consulte Limits. Ative o OSS Accelerator para obter maior throughput.

• Múltiplos métodos de gerenciamento:

  • Oferece canais de acesso como console e APIs.

  • Disponibiliza várias ferramentas locais de gerenciamento de armazenamento de objetos. Para obter mais informações, consulte Developer Tools.

  • Use o recurso cross-region replication do OSS para sincronizar e gerenciar modelos.

• Configuração simples: diferentemente do sistema de arquivos NAS, montar um bucket do OSS em uma instância de função não requer conectividade VPC. O recurso fica pronto para uso imediatamente após a configuração.

• Custo: considerando apenas capacidade e throughput, o OSS geralmente é mais econômico que o NAS.

Descrição

A montagem do OSS utiliza o mecanismo de sistema de arquivos em modo de usuário FUSE. Quando uma aplicação acessa um arquivo em um ponto de montagem do OSS, a plataforma converte a solicitação em uma chamada de API do OSS para acessar os dados. Portanto, a montagem do OSS apresenta as seguintes características:

• Executa em modo de usuário e consome a cota de recursos da instância da função, como CPU, memória e armazenamento temporário. Por isso, esse método é mais adequado para instâncias aceleradas por GPU com especificações elevadas.

• O acesso aos dados usa a API do OSS. O throughput e a latência dependem do service de API do OSS. Isso torna o método mais adequado para acessar poucos arquivos grandes, comum em cenários de carregamento de modelos, mas não indicado para muitos arquivos pequenos.

• A montagem do OSS é mais adequada para leituras e gravações sequenciais do que aleatórias. Ao carregar arquivos grandes, as leituras sequenciais aproveitam o mecanismo de pré-busca do sistema de arquivos para alcançar melhor throughput de rede e menor latência.

  • Por exemplo, com arquivos safetensors, usar uma versão otimizada para leituras sequenciais reduz significativamente o tempo de carregamento de um ponto de montagem do OSS. Para obter mais informações, consulte load_file: load tensors ordered by their offsets.

  • Se não for possível ajustar o padrão de E/S da aplicação, leia o arquivo sequencialmente uma vez antes de carregá-lo. Isso pré-carrega o conteúdo no PageCache do sistema. Em seguida, a aplicação carrega o arquivo a partir do PageCache.

Casos de uso

• Muitas instâncias carregam modelos em paralelo. Isso exige maior throughput de armazenamento para evitar contenção de largura de banda.

• Necessidade de armazenamento com redundância local ou implantação multirregião.

• Acesso a poucos arquivos grandes com padrão de E/S de leitura sequencial, típico em cenários de carregamento de modelos.

Resumo

Com base nessa comparação, estas são as práticas recomendadas para armazenar modelos em instâncias aceleradas por GPU do Function Compute, considerando diferentes padrões de uso, volumes de inicialização simultânea de contêineres e necessidades de gerenciamento:

• Se for necessária alta compatibilidade com APIs de sistema de arquivos, ou se a aplicação usar leituras aleatórias e não puder ser modificada para acessar o PageCache de memória, use um sistema de arquivos Performance NAS.

• Em cenários com muitos contêineres GPU iniciando simultaneamente, use o OSS Accelerator para evitar o gargalo de largura de banda de ponto único do NAS.

• Em cenários de implantação multirregião, use o OSS e o OSS Accelerator para reduzir a complexidade do gerenciamento de modelos e da sincronização entre regiões.

Dados de teste

Os dois testes a seguir analisam diferenças de desempenho entre vários meios de armazenamento comparando o tempo de carregamento de arquivos em diferentes cenários. Menor tempo de carregamento indica melhor desempenho de armazenamento.