Monter des systèmes de fichiers CPFS AI Edition sur PAI - Cloud Parallel File Storage

Prérequis

Vous avez créé un système de fichiers CPFS AI Edition.
CPFS AI Edition propose deux canaux d'accès : VSC et VPC. Le canal VSC utilise le protocole RDMA et peut exploiter pleinement les performances maximales du système de fichiers. Le canal VPC utilise le protocole TCP, avec une bande passante en lecture par défaut de 10 Go/s et une bande passante en écriture de 5 Go/s par système de fichiers. Pour connaître les spécifications de performance complètes des deux canaux, consultez la rubrique Spécifications du produit. Effectuez la configuration réseau correspondante en fonction du type de ressource que vous utilisez. Pour plus d'informations sur les types de ressources, consultez la rubrique Présentation des ressources PAI.
- Ressources de calcul IA Lingjun : déterminez d'abord si les ressources Lingjun et CPFS se trouvent dans le même domaine d'affinité calcul-stockage (voir les instructions ci-dessous). S'ils sont dans le même domaine d'affinité, le canal VSC est utilisé sans configuration supplémentaire requise. S'ils ne sont pas dans le même domaine d'affinité, le canal VPC est utilisé et vous devez créer un point de montage VPC pour le système de fichiers CPFS.
- Ressources de calcul généralistes : le canal VPC est utilisé. Vous devez créer un point de montage VPC pour le système de fichiers CPFS, et le VPC utilisé par la tâche DLC/DSW/EAS doit être identique au VPC du point de montage, ou les VPC doivent être connectés via Cloud Enterprise Network (CEN).

Remarque

Comment déterminer si Lingjun et CPFS se trouvent dans le même domaine d'affinité calcul-stockage

Appelez l'API DescribeFilesystemsAssociatedHpnZones en indiquant l'ID du système de fichiers CPFS cible afin d'obtenir la liste des HPNZones Lingjun qui partagent le même domaine d'affinité calcul-stockage avec le système de fichiers.
Interrogez la HPNZone des ressources Lingjun que vous prévoyez d'utiliser via l'OpenAPI Lingjun ou la console PAI.
Si la HPNZone Lingjun correspond à une entrée de la liste, les ressources se trouvent dans le même domaine d'affinité calcul-stockage. Sinon, elles se trouvent dans des domaines d'affinité différents.

Fiez-vous toujours à la réponse de l'API comme résultat faisant autorité. Ne vous basez pas uniquement sur l'identité des valeurs de zone de disponibilité ou de HPNZone. Les ressources de calcul et de stockage portant le même numéro de cluster appartiennent au même domaine d'affinité calcul-stockage. Des ressources portant des numéros de cluster différents peuvent néanmoins appartenir au même domaine d'affinité. Toutefois, les ressources Lingjun et CPFS situées dans des zones de disponibilité différentes ne se trouvent jamais dans le même domaine d'affinité calcul-stockage.

Monter CPFS dans DLC

Lors de la création d'une tâche d'entraînement DLC, vous pouvez configurer le stockage CPFS via un montage direct ou un montage de jeu de données. Pour obtenir la configuration complète d'une tâche d'entraînement DLC, consultez la rubrique Créer une tâche d'entraînement.

Remarque

Si le quota de ressources correspond à des ressources de calcul généralistes, vous devez configurer un VPC et le VPC sélectionné doit être identique à celui du point de montage CPFS. Si aucun VPC n'a été configuré pour le système de fichiers CPFS AI Edition, configurez-le via la rubrique Gérer les points de montage VPC .
Si des ressources Lingjun sont utilisées et qu'un accès inter-domaines d'affinité a lieu, le système bascule automatiquement vers le canal d'accès VPC. Vous devez également créer un point de montage VPC pour le système de fichiers CPFS.

Utilisez le Montage direct pour des réglages de paramètres ponctuels. Optez pour le Montage de jeu de données pour la collaboration en équipe ou la création fréquente de tâches.

Montage direct

Connectez-vous à la console PAI et accédez à l'espace de travail cible.
Dans le volet de navigation de gauche, sélectionnez Distributed Training (DLC) puis cliquez sur Create Task.
Dans la section Environment Information, sous Storage Mount, cliquez sur CPFS for AI.

Configurez les paramètres de montage suivants :

Paramètre	Description
File System	Sélectionnez l'instance de système de fichiers CPFS AI Edition que vous avez créée.
File System Mount Point	(Facultatif) Sélectionnez le nom de domaine du point de montage VPC du système de fichiers CPFS. Cette étape n'est requise que lorsque les ressources de calcul et le système de fichiers CPFS ne se trouvent pas dans le même domaine d'affinité calcul-stockage. S'ils sont dans le même domaine d'affinité, l'accès est fourni directement via le canal VSC et vous n'avez pas besoin de renseigner ce champ. Pour savoir comment déterminer le domaine d'affinité calcul-stockage, consultez la section Prérequis.
File System Path	Spécifiez le répertoire CPFS à monter. `/` monte l'intégralité du système de fichiers. Vous pouvez également spécifier un sous-répertoire.
Mount Path	Le chemin d'accès au sein de l'instance de service pour accéder à CPFS, par exemple `/mnt/data/`.
Read-only	Définissez les autorisations de lecture/écriture pour le répertoire monté.

Une fois les autres configurations terminées, soumettez la tâche.

Montage de jeu de données

Pour réutiliser les configurations de stockage, vous pouvez utiliser la méthode de montage de jeu de données. Commencez par Créer un jeu de données CPFS AI Edition.

Connectez-vous à la console PAI et accédez à l'espace de travail cible.
Dans le volet de navigation de gauche, sélectionnez Distributed Training (DLC) puis cliquez sur Create Task.
Dans la section Dataset Mount, cliquez sur Custom Dataset.
Basculez vers l'onglet File Storage - CPFS for AI, sélectionnez le jeu de données que vous avez créé, puis cliquez sur OK.
Confirmez le chemin de montage et définissez Read-only selon vos besoins.
Une fois les autres configurations terminées, soumettez la tâche.

Monter CPFS dans DSW

Lors de la création d'une instance DSW, vous pouvez configurer le stockage CPFS via un montage direct ou un montage de jeu de données. Pour obtenir des informations complètes sur la configuration des instances DSW, consultez la rubrique Créer une instance DSW.

Remarque

Si le quota de ressources correspond à des ressources de calcul polyvalentes, vous devez configurer un VPC. Le VPC sélectionné doit être identique à celui du point de montage CPFS. Si aucun VPC n'a été configuré pour le système de fichiers CPFS AI Edition, effectuez la configuration via la page Gérer les points de montage VPC .
En cas d'utilisation de ressources Lingjun avec un accès inter-domaines d'affinité, le système bascule automatiquement vers le canal d'accès VPC. Vous devez également créer un point de montage VPC pour le système de fichiers CPFS.

Privilégiez le montage direct pour des réglages de paramètres ponctuels. Optez pour le montage de jeu de données afin de faciliter la collaboration en équipe ou la création fréquente d'instances.

Montage direct

Connectez-vous à la console PAI et accédez à l'espace de travail cible.
Dans le volet de navigation de gauche, choisissez Interactive Modeling (DSW), puis cliquez sur Create Instance.
Dans la section Environment Information, sous Storage Mount, cliquez sur CPFS for AI.

Configurez les paramètres de montage :

Paramètre	Description
File System	Sélectionnez l'instance de système de fichiers CPFS AI Edition que vous avez créée.
File System Mount Point	(Facultatif) Sélectionnez le nom de domaine du point de montage VPC du système de fichiers CPFS. Cette étape est requise uniquement lorsque les ressources de calcul et le système de fichiers CPFS ne se trouvent pas dans le même domaine d'affinité calcul-stockage. S'ils partagent le même domaine d'affinité, l'accès est fourni directement via le canal VSC et il n'est pas nécessaire de renseigner ce champ. Pour déterminer le domaine d'affinité calcul-stockage, consultez la section Prérequis.
File System Path	Spécifiez le répertoire CPFS à monter. La valeur `/` monte l'intégralité du système de fichiers. Vous pouvez également spécifier un sous-répertoire.
Mount Path	Chemin d'accès au sein de l'instance de service pour accéder à CPFS, par exemple `/mnt/data/`
Read-only	Définissez les autorisations de lecture/écriture pour le répertoire monté.

Une fois les autres configurations terminées, créez l'instance.

Montage de jeu de données

Les jeux de données permettent d'enregistrer les configurations de stockage pour les réutiliser dans plusieurs tâches. Commencez par Créer un jeu de données CPFS AI Edition.

Connectez-vous à la console PAI et accédez à l'espace de travail cible.
Dans le volet de navigation de gauche, choisissez Interactive Modeling (DSW), puis cliquez sur Create Instance.
Dans la section Dataset Mount, cliquez sur Custom Dataset.
Basculez vers l'onglet File Storage - CPFS for AI, sélectionnez le jeu de données créé, puis cliquez sur OK.
Une fois les autres configurations terminées, créez l'instance.

Monter CPFS dans EAS

Lors du déploiement d'un service EAS, vous pouvez configurer le stockage CPFS via un montage direct. Pour obtenir des informations complètes sur la configuration des services EAS, consultez la rubrique Déploiement personnalisé.

Remarque

EAS prend uniquement en charge le montage direct et ne permet pas le montage de jeu de données. Si le quota de ressources est défini sur des ressources de calcul polyvalentes, vous devez configurer un VPC. Le VPC sélectionné doit être identique à celui du point de montage CPFS. Si aucun VPC n'a été configuré pour le système de fichiers CPFS AI Edition, commencez par Gérer les points de montage VPC.
En cas d'utilisation de ressources Lingjun avec un accès inter-domaines d'affinité, le système bascule automatiquement vers le canal d'accès VPC. Vous devez également créer un point de montage VPC pour le système de fichiers CPFS.

Connectez-vous à la console PAI et accédez à l'espace de travail cible.
Dans le volet de navigation de gauche, choisissez Elastic Algorithm Service (EAS) et sélectionnez l'onglet Inference Service.
Cliquez sur Deploy Service > Custom Deployment.
Dans la section Environment Information, sous Storage Mount, cliquez sur CPFS for AI.

Configurez les paramètres de montage suivants :

Paramètre

Description

Storage Permission Resource Group

Sélectionnez le groupe de ressources d'autorisation de stockage.

File System

Sélectionnez l'instance de système de fichiers CPFS AI Edition que vous avez créée.

File System Path

Spécifiez le répertoire CPFS à monter. La valeur / monte l'intégralité du système de fichiers. Vous pouvez également spécifier un sous-répertoire.

Mount Path

Chemin d'accès au sein de l'instance de service pour accéder à CPFS, par exemple /mnt/data/.

Read-only

Définissez les autorisations de lecture/écriture pour le répertoire monté.

Une fois les autres configurations terminées, déployez le service.

Créer un jeu de données CPFS AI Edition

Un jeu de données constitue un modèle de configurations de stockage qui enregistre le système de fichiers, le chemin d'accès au répertoire, le chemin de montage et d'autres informations. Une fois créé, il peut être réutilisé par plusieurs tâches DLC/DSW, ce qui évite les configurations répétitives.

EAS ne prend pas en charge le montage de jeu de données.

Connectez-vous à la console PAI, accédez à l'espace de travail cible, puis choisissez AI Asset Management > Datasets.

Dans l'onglet Custom Datasets, cliquez sur Create Dataset et configurez les paramètres suivants :

Section	Paramètre	Description
Configuration du jeu de données	Name	Nom du jeu de données.
	Dataset Type	Sélectionnez Basic.
	Storage Type	Sélectionnez File Storage (CPFS for AI).
	Content Type	Sélectionnez le type de données : Image, Text, Audio, Video, Table ou General.
Configuration de la version	Storage Permission Resource Group	Sélectionnez le groupe de ressources disposant des autorisations d'accès au système de fichiers CPFS cible.
	File System	Sélectionnez l'instance de système de fichiers CPFS AI Edition que vous avez créée.
	File System Path	Spécifiez le répertoire dans CPFS. La valeur `/` monte l'intégralité du système de fichiers. Vous pouvez également spécifier un sous-répertoire, tel que `/datasets/train`
	Default Mount Path	Chemin d'accès au sein de l'instance de service pour accéder à CPFS, par exemple `/mnt/data/`.

Cliquez sur Confirm.