Function Compute:Best practices for model storage on GPU-accelerated instances

Informações básicas

Para obter informações sobre tipos de armazenamento para funções, consulte Selecione um tipo de armazenamento para uma função. Os dois tipos a seguir são adequados para armazenar modelos em instâncias aceleradas por GPU.

• File Storage NAS

• Object Storage Service (OSS)

Também é possível colocar arquivos de modelo diretamente na imagem de contêiner da função.

Cada método possui características e casos de uso específicos. Escolha a opção mais adequada com base nos requisitos, no ambiente de execução e no fluxo de trabalho da equipe para equilibrar eficiência e custo.

Distribuir modelos com imagens de contêiner

Uma das abordagens mais diretas consiste em empacotar modelos treinados e o código da aplicação associada em uma única imagem de contêiner. Assim, os arquivos do modelo são distribuídos junto com a imagem.

Vantagens e desvantagens

Vantagens:

• Praticidade: Após criar a imagem, execute-a diretamente para inferência sem configurações adicionais.

• Consistência: Garante versão uniforme do modelo em todos os ambientes e evita problemas causados por inconsistências entre eles.

Desvantagens:

• Tamanho da imagem: As imagens podem ficar muito grandes, especialmente no caso de modelos extensos.

• Atualizações demoradas: Cada atualização do modelo exige reconstruir e redistribuir a imagem, processo que pode ser lento.

Descrição

Para melhorar a velocidade de inicialização a frio das instâncias de função, a plataforma pré-processa as imagens de contêiner. Imagens muito grandes podem exceder o limite de tamanho da plataforma, além de aumentar o tempo necessário para aceleração e pré-processamento.

• Para obter informações sobre os limites de tamanho de imagem da plataforma, consulte Qual é o limite de tamanho para imagens de GPU?

• Para obter informações sobre pré-processamento de imagens e status da função, consulte Status e invocação de função para imagens personalizadas.

Casos de uso

• Modelos relativamente pequenos, com algumas centenas de megabytes.

• Modelos com alterações pouco frequentes.

Se os arquivos de modelo forem grandes, atualizados frequentemente ou fizerem a imagem de contêiner exceder o limite de tamanho da plataforma, separe o modelo da imagem.

Armazenar modelos no File Storage NAS

O Function Compute permite montar um sistema de arquivos NAS em um diretório especificado na instância da função. A aplicação carrega os arquivos de modelo ao acessar o diretório do ponto de montagem do NAS.

Vantagens e desvantagens

Vantagens:

• O NAS oferece melhor compatibilidade com aplicações do que o Filesystem in Userspace (FUSE), pois fornece interfaces de arquivo POSIX mais completas e maduras.

• Capacidade: O NAS fornece capacidade de armazenamento na escala de petabytes.

Desvantagens:

• Dependência de VPC: Configure o acesso à VPC para que as funções acessem os pontos de montagem do NAS. Essa configuração exige permissões em vários produtos de nuvem. Além disso, durante a inicialização a frio de uma instância de função, a plataforma leva alguns segundos para estabelecer o acesso à VPC.

• Gerenciamento de conteúdo limitado: Monte o sistema de arquivos NAS antes do uso. Esse método exige um fluxo de trabalho empresarial para distribuir arquivos de modelo à instância do NAS.

• Sem suporte para implantações ativo-ativo ou multizona de disponibilidade (AZ). Para obter mais informações, consulte Perguntas frequentes sobre o NAS.

Descrição

Em cenários com muitos contêineres iniciando e carregando modelos simultaneamente, o gargalo de largura de banda do NAS é facilmente atingido. Isso aumenta o tempo de inicialização da instância e pode causar falhas devido a tempos limite. Por exemplo, um Horizontal Pod Autoscaler (HPA) agendado cria snapshots de GPU em lotes, ou um pico de tráfego aciona a criação de muitas instâncias elásticas aceleradas por GPU.

• Visualize o monitoramento de desempenho do NAS (throughput de leitura) no console.

• Aumente o throughput de leitura e gravação de determinados sistemas de arquivos NAS ao expandir sua capacidade.

Ao usar o NAS para armazenar arquivos de modelo, utilize um sistema de arquivos NAS Performance. Esse tipo fornece alta largura de banda inicial de leitura, cerca de 600 MB/s. Para obter mais informações, consulte Sistemas de arquivos NAS de uso geral.

Casos de uso

Indicado quando há necessidade de desempenho rápido de inicialização ao usar instâncias elásticas aceleradas por GPU no Function Compute.

Armazenar modelos no OSS

O Function Compute permite montar um bucket do OSS em um diretório especificado na instância da função. As aplicações carregam modelos diretamente do ponto de montagem do OSS.

Vantagens

• Largura de banda: O OSS possui limite de largura de banda superior ao do NAS, o que reduz a probabilidade de contenção entre instâncias de função. Para obter mais informações, consulte Limites. Ative também o OSS加速器 para obter maior throughput.

• Múltiplos métodos de gerenciamento:

  • Oferece canais de acesso como console e APIs.

  • Disponibiliza diversas ferramentas locais de gerenciamento de armazenamento de objetos. Para obter mais informações, consulte Ferramentas de desenvolvedor.

  • Utilize o recurso de replicação entre regiões do OSS para sincronizar e gerenciar modelos.

• Configuração simples: Diferentemente de um sistema de arquivos NAS, montar um bucket do OSS em uma instância de função não exige conectividade VPC. O recurso fica pronto para uso imediatamente após a configuração.

• Custo: Considerando apenas capacidade e throughput, o OSS geralmente é mais econômico que o NAS.

Descrição

A montagem do OSS utiliza o mecanismo de sistema de arquivos em modo de usuário FUSE. Quando uma aplicação acessa um arquivo em um ponto de montagem do OSS, a plataforma converte a solicitação em uma chamada de API do OSS para acessar os dados. Portanto, a montagem do OSS apresenta as seguintes características:

• Executa em modo de usuário e consome a cota de recursos da instância de função, como CPU, memória e armazenamento temporário. Por isso, esse método é mais adequado para instâncias aceleradas por GPU com especificações elevadas.

• O acesso aos dados usa a API do OSS, cujo throughput e latência dependem desse serviço. Tal característica torna o método mais adequado para acessar poucos arquivos grandes, cenário comum no carregamento de modelos, mas inadequado para muitos arquivos pequenos.

• A montagem do OSS é mais adequada para leituras e gravações sequenciais do que para operações aleatórias. Ao carregar arquivos grandes, as leituras sequenciais aproveitam totalmente o mecanismo de pré-busca do sistema de arquivos para alcançar melhor throughput de rede e menor latência.

  • Por exemplo, com arquivos safetensors, usar uma versão otimizada para leituras sequenciais reduz significativamente o tempo de carregamento a partir de um ponto de montagem do OSS. Para obter mais informações, consulte load_file: load tensors ordered by their offsets.

  • Caso não seja possível ajustar o padrão de E/S da aplicação, leia o arquivo sequencialmente uma vez antes de carregá-lo. Essa ação pré-carrega o conteúdo no PageCache do sistema, permitindo que a aplicação carregue o arquivo a partir dele.

Casos de uso

• Muitas instâncias carregam modelos em paralelo, exigindo maior throughput de armazenamento para evitar contenção de largura de banda.

• Necessidade de armazenamento localmente redundante ou implantação em várias regiões.

• Acesso a poucos arquivos grandes com padrão de E/S de leitura sequencial, típico em cenários de carregamento de modelos.

Resumo

Com base nessa comparação, seguem as práticas recomendadas para armazenar modelos em instâncias aceleradas por GPU do Function Compute, considerando diferentes padrões de uso, volumes de inicialização simultânea de contêineres e necessidades de gerenciamento:

• Caso necessite de alta compatibilidade com APIs de sistema de arquivos, ou se a aplicação usar leituras aleatórias sem possibilidade de modificação para acessar o PageCache de memória, utilize um sistema de arquivos NAS Performance.

• Em cenários com muitos contêineres de GPU iniciando simultaneamente, use o OSS加速器 para evitar o gargalo de largura de banda de ponto único do NAS.

• Para implantações em várias regiões, utilize o OSS e o OSS加速器 a fim de reduzir a complexidade do gerenciamento de modelos e da sincronização entre regiões.

Dados de teste

Os dois testes a seguir analisam diferenças de desempenho entre vários meios de armazenamento ao comparar o tempo de carregamento de arquivos em diferentes cenários. Um tempo menor indica melhor desempenho.