Cloud Parallel File Storage:CPFS AI-Computing Edition supports the VSC high-speed access channel

O que é o VSC?

O Virtual Storage Channel (VSC) é uma tecnologia de acesso a armazenamento de alto desempenho desenvolvida pela Alibaba Cloud. Ela utiliza o protocolo RDMA para fornecer aos nós de computação acesso a sistemas de arquivos com baixa latência e alto throughput.

Principais recursos

• Acesso direto via RDMA: Ao contrário da pilha TCP/IP tradicional, o VSC minimiza a sobrecarga da CPU e reduz significativamente a latência de ponta a ponta.

• Alto throughput: Maximiza o desempenho do sistema de arquivos. O throughput por nó escala conforme as especificações da instância.

• Relação flexível entre computação e armazenamento: Gerencie a vinculação entre uma instância e um sistema de arquivos com as operações attach e detach, sem configurar um ambiente de rede. Um único canal VSC pode se vincular a vários sistemas de arquivos simultaneamente.

Para obter métricas detalhadas de desempenho, incluindo throughput, IOPS e latência, consulte Product Specifications.

Casos de uso típicos

• Leitura e gravação de checkpoints no treinamento de modelos grandes

• Carregamento de modelos para serviços de inferência

• Pré-processamento de dados com alta concorrência

• Outras tarefas de computação de IA sensíveis a I/O

Modelo de recursos do VSC

Gerencie o canal de acesso de alta velocidade VSC como um recurso no console e por meio da OpenAPI.

• Um nó de computação corresponde a um canal de acesso de alta velocidade VSC.

• Um canal de acesso de alta velocidade VSC pode se vincular a vários sistemas de arquivos do CPFS AI-Computing Edition.

O gerenciamento de canais VSC segue o princípio "a computação gerencia o canal, o armazenamento gerencia as vinculações":

Comparação entre acesso VSC e VPC

O CPFS AI-Computing Edition suporta os métodos de acesso VSC e VPC. O VSC é o método recomendado; utilize o VPC para acesso complementar entre domínios de afinidade armazenamento-computação.

Diferenças conceituais:

• VSC: Estabelece uma relação de vinculação direta entre uma instância e um recurso de armazenamento, sem abstração de camada de rede, resultando em menor sobrecarga de desempenho.

• VPC: Estabelece primeiro uma nuvem privada virtual e depois conecta os recursos de computação e armazenamento à rede. O controle de acesso depende de Listas de Controle de Acesso (ACLs) e grupos de segurança.

Recomendação: Quando seus nós de computação e o sistema de arquivos CPFS AI-Computing Edition estiverem no mesmo domínio de afinidade armazenamento-computação, utilize o acesso de alta velocidade VSC para obter o melhor desempenho.

Como determinar a compatibilidade com VSC

Um nó de computação só pode usar o VSC para acessar um sistema de arquivos CPFS AI-Computing Edition se ambos estiverem no mesmo domínio de afinidade armazenamento-computação. Para verificar a compatibilidade:

1. Consulte a lista de HPNZones associadas ao sistema de arquivos: Chame a operação da API do CPFS DescribeFileSystemAssociatedHpnZones. Informe o ID do sistema de arquivos para obter a lista de IDs de clusters Lingjun (HPNZones) que suportam acesso VSC para esse sistema.

2. Identifique a HPNZone do nó de computação: Verifique o ID do cluster Lingjun do seu nó de computação no console Lingjun ou PAI console.

3. Compare os resultados:

   • Se a HPNZone do nó de computação estiver na lista, use o acesso de alta velocidade VSC.

   • Caso a HPNZone do nó de computação não esteja na lista, trata-se de acesso entre domínios de afinidade armazenamento-computação. Nesse caso, use obrigatoriamente o acesso VPC, o que exige crie um ponto de montagem VPC.

*Nota: Um único sistema de arquivos pode estar associado a várias HPNZones. O suporte a VSC não exige correspondência exata de HPNZone. Sempre consulte a lista retornada pela operação da API DescribeFileSystemAssociatedHpnZones.*

APIs

As seguintes operações da OpenAPI do CPFS gerenciam o canal de acesso de alta velocidade VSC e as associações de sistemas de arquivos:

Nota: A criação e a exclusão de um canal de acesso de alta velocidade VSC são gerenciadas pela OpenAPI do respectivo product de computação. Para mais informações, consulte a documentação desse product.