Serviços de armazenamento de arquivos de alto desempenho
O Cloud Parallel File Storage (CPFS) é um sistema de arquivos paralelos totalmente gerenciado fornecido pela Alibaba Cloud. Você pode usar o CPFS em cenários que exigem computação de alto desempenho.
O CPFS fornece um namespace unificado e oferece suporte ao acesso simultâneo de centenas de máquinas. O CPFS também fornece uma taxa de transferência de I/O de dezenas de GB/s e milhões de IOPS para garantir latência inferior a um milissegundo.
Os sistemas de arquivos CPFS podem ser usados em cargas de trabalho com uso intensivo de I/O que exigem alta taxa de transferência, altos IOPS e envolvem grandes volumes de dados, como treinamento de IA, direção autônoma, computação genômica, renderização de filmes, exploração de petróleo, previsão do tempo e emulação para software de automação de projeto eletrônico (EDA).
Especificações
400 MB/s/TiB de linha de base (Prévia para convidados do CPFS for Lingjun)
-
![]()
IOPS: até 30 milhões
-
![]()
Taxa de transferência de I/O: até 2 TB/s
-
![]()
Latência média para leitura de arquivos de 4 KiB em um
servidor com soquete único: 0,25 ms -
![]()
Latência média para gravação de arquivos de 4 KiB em um
servidor com soquete único: 0,6 ms
IOPS: até 30 milhões
200 MB/s/TiB de linha de base
-
![]()
IOPS: até 2,8 milhões
-
![]()
Taxa de transferência de I/O: até 100.000 Mbit/s
-
![]()
Latência média para leitura de arquivos de 4 KiB em um
servidor com soquete único: 0,4 ms -
![]()
Latência média para gravação de arquivos de 4 KiB em um
servidor com soquete único: 0,6 ms
Oferece suporte à migração de dados entre OSS e CPFS
100 MB/s/TiB de linha de base
-
![]()
IOPS: até 2,8 milhões
-
![]()
Taxa de transferência de I/O: até 100.000 Mbit/s
-
![]()
Latência média para leitura de arquivos de 4 KiB em um
servidor com soquete único: 0,6 ms -
![]()
Latência média para gravação de arquivos de 4 KiB em um
servidor com soquete único: 0,8 ms
Oferece suporte à migração de dados entre OSS e CPFS
Benefícios
Alto desempenho
Fornece uma taxa de transferência de I/O de 2 TB/s e 30 milhões de IOPS com base em uma arquitetura distribuída de acesso simultâneo.
Escalável
Oferece suporte à escalabilidade automática e ao aumento linear do desempenho
Integração com o OSS Data Lake
Oferece suporte à comunicação de dados com o OSS e reduz os custos de armazenamento de dados.
Fácil de usar
Permite que você crie um sistema de arquivos de alto desempenho em poucos minutos.
Características
Armazenamento de arquivos para computação de alto desempenho
O CPFS oferece suporte aos protocolos padrão POSIX (Portable Operating System Interface), MPI-IO e NFS (Network File System). Você pode executar com eficiência seus programas de computação de alto desempenho sem chamar operações de API nem otimizar o desempenho.
Compatível com os protocolos POSIX, MPI-IO e NFS
O CPFS é compatível com os protocolos POSIX, MPI-IO e NFS. Você pode usar diretamente uma instância ECS ou o plug-in de interface Container Storage Interface (CSI) para ler ou gravar dados no CPFS sem modificar seus programas de computação de alto desempenho.
Alta taxa de transferência e baixa latência
O CPFS utiliza uma arquitetura paralela de nova geração para permitir a taxa de transferência simultânea de I/O entre clientes e nós de armazenamento. O CPFS também fornece desempenho de I/O aprimorado linearmente por meio da agregação de clusters e latência inferior a um milissegundo com base em armazenamento SSD totalmente flash.
Melhor desempenho em acesso simultâneo
O CPFS utiliza uma arquitetura paralela distribuída para armazenar metadados e dados, oferecendo suporte a milhões de IOPS para um grande número de arquivos pequenos. O CPFS pode ser acessado simultaneamente por milhares de servidores e é adequado para o treinamento de vários servidores com múltiplas GPUs.
Integração profunda com os serviços de computação da Alibaba Cloud
O CPFS pode ser montado em plataformas de computação, como Elastic High Performance Computing (E-HPC), Container Service for Kubernetes (ACK) e WUYING Workspace. Você pode criar uma plataforma de computação de alto desempenho e análise na nuvem em poucos minutos.
Integração profunda com E-HPC
Você pode criar rapidamente um sistema de arquivos CPFS e construir uma plataforma completa de computação de alto desempenho usando o Console do E-HPC.
Compatível com ACK
O CPFS pode ser montado no ACK. Dessa forma, o ACK pode usar o plug-in CSI para aproveitar o alto desempenho de I/O do CPFS e habilitar a escalabilidade automática em grande escala dos recursos computacionais.
Compatível com WUYING Workspace
O CPFS pode ser montado diretamente no WUYING Workspace por meio de NFS. Isso permite compartilhar dados entre terminais de desenvolvimento e depuração e clusters de computação de alto desempenho.
Cenários comuns
-
Descrição
A Alibaba Cloud combina vários serviços de armazenamento, como CPFS, NAS, OSS e ESSD, e serviços de cluster de computação, como Elastic GPU Service, SCC e ECS Bare Metal Instance, por meio de implantação em contêineres. Isso garante a escalabilidade dos recursos e o alto desempenho da taxa de transferência de I/O e dos IOPS.
-
Requisitos e desafios
Os fluxos de dados de modelos de IA são complexos. Existem gargalos no desempenho de I/O do sistema de armazenamento. Computação e armazenamento de alto desempenho são necessários para treinamento e inferência de IA. É necessário um gerenciamento eficiente e econômico do ciclo de vida dos dados para administrar o volume de dados em rápido crescimento. -
Soluções e benefícios
O CPFS oferece suporte ao acesso simultâneo a grandes volumes de dados durante o treinamento de IA. Isso ajuda a melhorar o desempenho do treinamento de IA. O CPFS integra vários serviços de cluster de computação para fornecer alta taxa de transferência de I/O e altos IOPS. O CPFS possibilita a comunicação entre data centers e serviços da Alibaba Cloud e gerencia os fluxos de dados e o ciclo de vida dos dados para fornecer capacidade computacional de alto desempenho e excelente custo-benefício. -
Efeitos
O alto desempenho de I/O do CPFS acelera a eficiência da leitura de arquivos pequenos durante o treinamento de IA. Isso aumenta a eficiência das iterações do seu modelo de negócios e atende às suas crescentes necessidades de alta capacidade e desempenho. O CPFS utiliza o OSS para implementar o armazenamento em camadas de dados frios e quentes. Isso é adequado para o armazenamento de longo prazo de grandes volumes de dados de forma econômica.
-
Descrição
No treinamento de modelos para direção autônoma, dezenas de TB de dados são gerados diariamente por cada veículo de teste. Os dados devem ser analisados rapidamente e armazenados de forma econômica.
-
Requisitos e desafios
Concentre-se na inovação dos negócios e reduza os gastos com TI. Processe grandes volumes de dados de maneira eficiente. -
Soluções e benefícios
Os dados são carregados para o OSS por meio de um circuito Express Connect. Os dados são importados do OSS para o CPFS e usados para treinar modelos na nuvem com base na capacidade de processamento das GPUs e do CPFS. Em seguida, os dados são arquivados no OSS para armazenamento de longo prazo. -
Efeitos
O alto desempenho e a escalabilidade do CPFS podem atender às suas crescentes necessidades de alta capacidade e desempenho. O CPFS utiliza o OSS para implementar o armazenamento em camadas de dados frios e quentes. Isso é adequado para o armazenamento de longo prazo de grandes volumes de dados de forma econômica.
Serviços relacionados
-
Descrição
O CPFS fornece uma taxa de transferência de I/O de dezenas de Gbit/s e milhões de IOPS. Você pode ampliar o espaço de armazenamento on-line sem interrupções nos negócios. Os dados são carregados para a nuvem por meio de um circuito Express Connect para garantir a segurança dos dados.
-
Requisitos e desafios
O acesso a dados quentes em taxas de dezenas de Gbit/s exige alto desempenho de taxa de transferência de I/O. O sistema de armazenamento compartilhado deve ser acessado sem modificar aplicativos comerciais de renderização de código fechado. Os requisitos de computação, armazenamento de dados e desempenho variam de acordo com os projetos. Os custos de negócios com uso intensivo de computação são elevados e devem ser controlados em cada etapa. -
Soluções e benefícios
CPFS fornece milhões de IOPS e uma taxa de transferência de I/O de dezenas de Gbit/s, que podem ser usados para acelerar o cache de front-end. A alta escalabilidade do CPFS permite ampliar o espaço em disco e atualizar o cache com base nos requisitos do seu negócio sem afetar seus aplicativos. O CPFS é rentável. Você pode configurar o espaço de armazenamento e o desempenho do cache com base nos requisitos do seu negócio, sem a necessidade de réplicas ou cópias. O CPFS utiliza seus dados para oferecer o melhor desempenho e ajuda a reduzir o TCO. -
Efeitos
A alta taxa de transferência e os altos IOPS do CPFS melhoram significativamente a eficiência da execução de tarefas de renderização, simplificam as operações diárias de O&M e reduzem os custos gerais.
-
Descrição
Os fluxos de dados entre o CPFS e o OSS e entre o CPFS e o NAS são organizados em camadas. O CPFS combina essa vantagem de armazenamento com o poder computacional do ECS Bare Metal Instance, Elastic GPU Service e ACK para fornecer soluções para cenários que exigem computação e armazenamento de alto desempenho, como IA, supercomputação, simulação e bioinformática.
-
Requisitos e desafios
Existem gargalos no desempenho da taxa de transferência de I/O devido aos grandes volumes de dados. Os sistemas tradicionais de armazenamento de arquivos não oferecem suporte ao dimensionamento elástico do desempenho e do espaço de armazenamento. Grandes cargas de trabalho de O&M são necessárias para o gerenciamento de dados e a manutenção do desempenho. -
Soluções e benefícios
O armazenamento de alto desempenho do CPFS melhora a utilizaçãodos recursos computacionais. O CPFS pode ajudar você a atualizar especificações e ampliar o espaço de armazenamento de forma mais econômica. O CPFS conecta-se a outros serviços de armazenamento em nuvem para armazenar separadamente dados frios e quentes. Isso ajuda você a reduzir custos. -
Efeitos
O CPFS fornece alta taxa de transferência de I/O e altos IOPS para ajudar você a lidar com eficiência com cargas intensivas de leitura e gravação de milhares de nós, melhorar a eficiência computacional e reduzir significativamente os custos gerais do negócio.
