Cloud Parallel File Storage:CPFS AI-Computing Edition supports the VSC high-speed access channel

Qu’est-ce que le VSC ?

Le Virtual Storage Channel (VSC) est une technologie d’accès au stockage haute performance développée par Alibaba Cloud. Il s’appuie sur le protocole RDMA pour offrir aux nœuds de calcul un accès aux systèmes de fichiers à faible latence et à haut débit.

Principales caractéristiques

• Accès direct RDMA : contrairement à la pile TCP/IP traditionnelle, le VSC réduit au minimum la charge CPU et diminue considérablement la latence de bout en bout.

• Haut débit : optimise les performances du système de fichiers. Le débit par nœud évolue selon les spécifications de l’instance.

• Relation calcul-stockage flexible : gérez l’association entre une instance et un système de fichiers à l’aide des opérations attach et detach, sans avoir à configurer l’environnement réseau. Un seul canal VSC peut être associé simultanément à plusieurs systèmes de fichiers.

Pour obtenir des métriques de performance détaillées, notamment le débit, les IOPS et la latence, reportez-vous à la rubrique Spécifications du produit.

Cas d’usage typiques

• Lecture et écriture des points de contrôle (checkpoints) lors de l’entraînement de grands modèles

• Chargement des modèles pour les services d’inférence

• Prétraitement des données à haute concurrence

• Autres tâches de calcul IA sensibles aux E/S

Modèle de ressources VSC

Gérez le canal d’accès haut débit VSC en tant que ressource depuis la console et via l’OpenAPI.

• Un nœud de calcul correspond à un canal d’accès haut débit VSC.

• Un canal d’accès haut débit VSC peut être associé à plusieurs systèmes de fichiers CPFS AI-Computing Edition.

La gestion des canaux VSC repose sur le principe « le calcul gère le canal, le stockage gère les associations » :

Comparaison entre l’accès VSC et l’accès VPC

CPFS AI-Computing Edition prend en charge les méthodes d’accès VSC et VPC. Le VSC est la méthode recommandée ; utilisez le VPC pour un accès complémentaire entre différents domaines d’affinité stockage-calcul.

Différences conceptuelles :

• VSC : établit une association directe entre une instance et une ressource de stockage, sans abstraction de couche réseau, ce qui réduit la surcharge liée aux performances.

• VPC : crée d’abord un cloud privé virtuel, puis connecte les ressources de calcul et de stockage au réseau. Le contrôle d’accès s’appuie sur les listes de contrôle d’accès (ACL) et les groupes de sécurité.

Recommandation : lorsque vos nœuds de calcul et votre système de fichiers CPFS AI-Computing Edition se trouvent dans le même domaine d’affinité stockage-calcul, privilégiez l’accès haut débit VSC pour des performances optimales.

Vérifier la compatibilité VSC

Un nœud de calcul ne peut utiliser le VSC pour accéder à un système de fichiers CPFS AI-Computing Edition que si les deux se trouvent dans le même domaine d’affinité stockage-calcul. Pour vérifier la compatibilité :

1. Interrogez la liste des HPNZones associées au système de fichiers : appelez l’opération API CPFS DescribeFileSystemAssociatedHpnZones. Transmettez l’ID du système de fichiers pour récupérer la liste des ID de cluster Lingjun (HPNZones) qui prennent en charge l’accès VSC pour ce système de fichiers.

2. Identifiez la HPNZone du nœud de calcul : vérifiez l’ID de cluster Lingjun de votre nœud de calcul dans la console Lingjun ou PAI.

3. Comparez les résultats :

   • Si la HPNZone du nœud de calcul figure dans la liste, vous pouvez utiliser l’accès haut débit VSC.

   • Si la HPNZone du nœud de calcul ne figure pas dans la liste, cela indique un accès entre différents domaines d’affinité stockage-calcul. Vous devez utiliser l’accès VPC, ce qui implique de créer un point de montage VPC.

*Remarque : un même système de fichiers peut être associé à plusieurs HPNZones. La prise en charge du VSC n’exige pas une correspondance exacte de HPNZone. Fiez-vous toujours à la liste renvoyée par l’opération API DescribeFileSystemAssociatedHpnZones.*

API

Les opérations OpenAPI CPFS suivantes gèrent les associations entre le canal d’accès haut débit VSC et les systèmes de fichiers :

Remarque : la création et la suppression d’un canal d’accès haut débit VSC sont gérées via l’OpenAPI du produit de calcul correspondant. Pour plus d’informations, consultez la documentation de ce produit de calcul.