Services de stockage de fichiers haute performance
Cloud Parallel File Storage (CPFS) est un système de fichiers parallèle entièrement géré fourni par Alibaba Cloud. Utilisez CPFS dans les scénarios nécessitant du calcul haute performance.
CPFS offre un espace de noms unifié et prend en charge l'accès concurrent de centaines de machines. CPFS fournit également un débit E/S de plusieurs dizaines de Go/s et des millions d'IOPS, garantissant une latence inférieure à la milliseconde.
Les systèmes de fichiers CPFS sont adaptés aux charges de travail à forte intensité d'E/S nécessitant un débit élevé et un nombre important d'IOPS, impliquant de grands volumes de données : entraînement IA, conduite autonome, calcul génomique, rendu de films, exploration pétrolière, prévisions météorologiques et émulation pour les logiciels d'automatisation de la conception électronique (EDA).
Spécifications
400 MB/s/TiB Baseline (Invitational Preview de CPFS pour Lingjun)
-
![]()
IOPS : jusqu'à 30 millions
-
![]()
Débit E/S : jusqu'à 2 To/s
-
![]()
Latence moyenne en lecture de fichiers de 4 KiB sur un
serveur monosocket : 0,25 ms -
![]()
Latence moyenne en écriture de fichiers de 4 KiB sur un
serveur monosocket : 0,6 ms
IOPS : jusqu'à 30 millions
200 MB/s/TiB Baseline
-
![]()
IOPS : jusqu'à 2,8 millions
-
![]()
Débit E/S : jusqu'à 100 000 Mbit/s
-
![]()
Latence moyenne en lecture de fichiers de 4 KiB sur un
serveur monosocket : 0,4 ms -
![]()
Latence moyenne en écriture de fichiers de 4 KiB sur un
serveur monosocket : 0,6 ms
Prend en charge la migration de données entre OSS et CPFS
100 MB/s/TiB Baseline
-
![]()
IOPS : jusqu'à 2,8 millions
-
![]()
Débit E/S : jusqu'à 100 000 Mbit/s
-
![]()
Latence moyenne en lecture de fichiers de 4 KiB sur un
serveur monosocket : 0,6 ms -
![]()
Latence moyenne en écriture de fichiers de 4 KiB sur un
serveur monosocket : 0,8 ms
Prend en charge la migration de données entre OSS et CPFS
Avantages
Haute performance
Fournit un débit d'E/S de 2 To/s et 30 millions d'IOPS grâce à une architecture distribuée et concurrente.
Évolutif
Prend en charge la mise à l'échelle automatique et l'amélioration linéaire des performances
Intégration avec le lac de données OSS
Prend en charge la communication de données avec OSS et réduit les coûts de stockage.
Simplicité d'utilisation
Vous permet de créer un système de fichiers haute performance en quelques minutes.
Fonctionnalités
Stockage de fichiers pour le calcul haute performance
CPFS prend en charge les protocoles standard POSIX (Portable Operating System Interface), MPI-IO et NFS (Network File System). Vous pouvez exécuter efficacement vos programmes de calcul haute performance sans appeler d'opérations d'API ni optimiser les performances.
Compatible avec les protocoles POSIX, MPI-IO et NFS
CPFS est compatible avec les protocoles POSIX, MPI-IO et NFS. Vous pouvez utiliser directement une instance ECS ou le plug-in d'interface CSI (Container Storage Interface) pour lire ou écrire des données dans CPFS sans modifier vos programmes de calcul haute performance.
Haut débit et faible latence
CPFS utilise une architecture parallèle de nouvelle génération pour permettre le débit d'E/S concurrent des clients et des nœuds de stockage. CPFS offre également des performances d'E/S améliorées de manière linéaire grâce à l'agrégation de clusters, ainsi qu'une latence inférieure à la milliseconde grâce au stockage SSD 100 % flash.
Performances améliorées en accès concurrent
CPFS utilise une architecture parallèle distribuée pour stocker les métadonnées et les données, prenant en charge des millions d'IOPS pour un grand nombre de petits fichiers. CPFS permet un accès concurrent par des milliers de serveurs et convient à l'entraînement sur plusieurs serveurs multi-GPU.
Intégration étroite avec les services de calcul Alibaba Cloud
CPFS peut être monté sur des plateformes de calcul telles qu'Elastic High Performance Computing (E-HPC), Container Service for Kubernetes (ACK) et WUYING Workspace. Vous pouvez créer une plateforme de calcul haute performance et d'analyse dans le cloud en quelques minutes.
Intégration étroite avec E-HPC
Vous pouvez créer rapidement un système de fichiers CPFS et mettre en place une plateforme complète de calcul haute performance via la console E-HPC.
Compatible avec ACK
CPFS peut être monté sur ACK. ACK utilise ainsi le plug-in CSI pour exploiter les hautes performances d'E/S de CPFS et permettre la mise à l'échelle automatique de la puissance de calcul à grande échelle.
Compatible avec WUYING Workspace
CPFS peut être monté directement sur WUYING Workspace via NFS. Vous pouvez ainsi partager des données entre vos terminaux de développement et de débogage et vos clusters de calcul haute performance.
Scénarios courants
-
Description
Alibaba Cloud combine plusieurs services de stockage tels que CPFS, NAS, OSS et ESSD, ainsi que des services de clusters de calcul tels qu'Elastic GPU Service, SCC et ECS Bare Metal Instance via un déploiement conteneurisé. Cela garantit l'évolutivité des ressources et des performances élevées en débit d'E/S et en IOPS.
-
Exigences et difficultés
Les flux de données des modèles d'IA sont complexes. Des goulots d'étranglement existent au niveau des performances d'E/S du système de stockage. Le calcul haute performance et le stockage sont nécessaires pour l'entraînement et l'inférence IA. Une gestion efficace et économique du cycle de vie des données est nécessaire pour gérer le volume de données en croissance rapide. -
Solutions et avantages
CPFS prend en charge l'accès concurrent à de grands volumes de données lors de l'entraînement IA, ce qui améliore les performances d'entraînement. CPFS intègre plusieurs services de clusters de calcul pour fournir un débit d'E/S et des IOPS élevés. CPFS assure la communication entre les centres de données et les services Alibaba Cloud, et gère les flux de données et leur cycle de vie pour offrir une puissance de calcul haute performance et économique. -
Résultats
Les performances E/S élevées de CPFS accélèrent la lecture des petits fichiers lors de l'entraînement IA. Cela améliore l'efficacité d'itération de votre modèle métier et répond à vos besoins croissants en capacité et en performance. CPFS utilise OSS pour mettre en œuvre un stockage hiérarchisé des données chaudes et froides. Cette approche est adaptée au stockage à long terme de grandes quantités de données de manière économique.
-
Description
Lors de l'entraînement de modèles de conduite autonome, chaque véhicule d'essai génère des dizaines de To de données par jour. Ces données doivent être analysées rapidement et stockées de manière économique.
-
Exigences et difficultés
Concentrez-vous sur l'innovation métier et réduisez les dépenses informatiques. Traitez de grands volumes de données de manière efficace. -
Solutions et avantages
Les données sont transférées vers OSS via un circuit Express Connect. Les données sont importées depuis OSS vers CPFS et utilisées pour entraîner des modèles dans le cloud grâce aux capacités de traitement des GPU et de CPFS. Les données sont ensuite archivées dans OSS pour un stockage à long terme. -
Résultats
Les performances élevées et l'évolutivité de CPFS répondent à vos besoins croissants en capacité et en performance. CPFS utilise OSS pour mettre en œuvre le stockage hiérarchisé des données chaudes et froides, ce qui convient au stockage à long terme de grands volumes de données de manière économique.
Services associés
-
Description
CPFS fournit un débit E/S de plusieurs dizaines de Gbit/s et des millions d'IOPS. Vous pouvez augmenter l'espace de stockage en ligne sans interruption de service. Les données sont transférées vers le cloud via un circuit Express Connect pour garantir la sécurité des données.
-
Exigences et difficultés
L'accès aux données chaudes à des débits de plusieurs dizaines de Gbit/s nécessite des performances élevées en débit d'E/S. Le système de stockage partagé doit être accessible sans modifier les applications de rendu commerciales à code source fermé. Les exigences en matière de calcul, de stockage de données et de performances varient selon les projets. Les coûts des activités à forte intensité de calcul sont élevés et doivent être maîtrisés à chaque étape. -
Solutions et avantages
CPFS fournit des millions d'IOPS et un débit E/S de plusieurs dizaines de Gbit/s, permettant d'accélérer la mise en cache frontale. La grande évolutivité de CPFS vous permet d'augmenter l'espace disque et d'améliorer la mise en cache en fonction de vos besoins métier, sans impact sur vos applications. CPFS est économique. Vous pouvez configurer l'espace de stockage et les performances de mise en cache selon vos besoins métier, sans réplicas ni copies. CPFS exploite vos données pour offrir les meilleures performances et réduire le TCO. -
Résultats
Le débit élevé et les IOPS de CPFS améliorent considérablement l'efficacité d'exécution des tâches de rendu, simplifient l'exploitation et la maintenance quotidiennes et réduisent les coûts globaux.
-
Description
Les flux de données entre CPFS et OSS, ainsi qu'entre CPFS et NAS, sont organisés en couches. CPFS combine cet avantage en termes de stockage avec la puissance de calcul d'ECS Bare Metal Instance, d'Elastic GPU Service et d'ACK pour fournir des solutions adaptées aux scénarios nécessitant du calcul haute performance et du stockage, tels que l'IA, le supercalcul, la simulation et la bio-informatique.
-
Exigences et difficultés
Des goulots d'étranglement existent au niveau du débit d'E/S en raison de grands volumes de données. Les systèmes de stockage de fichiers traditionnels ne prennent pas en charge la mise à l'échelle élastique des performances et de l'espace de stockage. Des charges d'exploitation et maintenance importantes sont nécessaires pour la gestion des données et la maintenance des performances. -
Solutions et avantages
Le stockage haute performance de CPFS améliore l'utilisation des ressources de calcul. CPFS vous permet de mettre à niveau les spécifications et d'augmenter l'espace de stockage de manière plus économique. CPFS se connecte à d'autres services de stockage cloud pour stocker séparément les données chaudes et froides, ce qui vous aide à réduire les coûts. -
Résultats
CPFS fournit un débit d'E/S et des IOPS élevés pour vous aider à gérer efficacement les charges de lecture et d'écriture intensives de milliers de nœuds, améliorer l'efficacité de calcul et réduire considérablement les coûts globaux.
