Access and store OSS data in PyTorch training jobs - Object Storage Service

Avantages

Élément

Sans le connecteur OSS pour l'IA/le ML

Avec le connecteur OSS pour l'IA/le ML

Performances

L'optimisation manuelle des performances est requise, ce qui peut s'avérer inefficace.

Le connecteur OSS pour l'IA/le ML optimise automatiquement les performances du téléchargement des données OSS et du stockage des points de contrôle.

Méthode de chargement des données

Le téléchargement préalable des données est requis, ce qui augmente les coûts et la charge de gestion.

Le connecteur OSS pour l'IA/le ML prend en charge le chargement en flux continu pour réduire les coûts et la complexité de gestion.

Accès aux données

La lecture et l'écriture des données nécessitent l'utilisation d'adaptateurs, ce qui accroît la complexité d'accès.

Le connecteur OSS pour l'IA/le ML lit et écrit directement les données dans OSS afin de simplifier l'accès.

Difficulté de configuration

La compilation du code est requise, ce qui rend la configuration difficile.

Le connecteur OSS pour l'IA/le ML propose des options de configuration simples pour améliorer l'efficacité du développement.

Fonctionnement

Le schéma suivant illustre le fonctionnement du connecteur OSS pour l'IA/le ML avec les tâches d'entraînement PyTorch et les données OSS.

Description des fonctionnalités

Le tableau suivant décrit les fonctionnalités du connecteur OSS pour l'IA/le ML.

Élément	Fonctionnalité	Classe	Méthode
Jeu de données de type Map	Prend en charge l'accès aléatoire pour une récupération rapide de données spécifiques pendant l'entraînement.	OssMapDataset	Les classes OssMapDataset et OssIterableDataset fournissent les mêmes méthodes pour construire un jeu de données. from_prefix() Construit un jeu de données à partir d'un préfixe OSS_URI. Idéal lorsque les chemins de stockage des données OSS suivent des règles uniformes. from_objects() Construit un jeu de données à partir d'une liste d'OSS_URIs. Idéal lorsque les chemins de stockage des données OSS sont connus mais dispersés. from_manifest_file() Créez un fichier manifeste et utilisez-le pour construire un jeu de données. Idéal pour les jeux de données contenant un grand nombre de fichiers (des dizaines de millions), avec des chargements fréquents et l'indexation des données activée sur le bucket.
Jeu de données de type Iterable	Prend en charge les lectures en flux séquentiel pour traiter efficacement de grands volumes de données continues.	OssIterableDataset
Opérations API de point de contrôle	Charge les points de contrôle depuis OSS pendant l'entraînement du modèle et enregistre les points de contrôle dans OSS à intervalles réguliers, simplifiant ainsi le flux de travail d'entraînement.	OssCheckpoint	OssCheckpoint() Initialise un objet OssCheckpoint pour la lecture et l'écriture des points de contrôle pendant l'entraînement du modèle. reader() Lit les points de contrôle depuis OSS. writer() Écrit les points de contrôle dans OSS.

Procédure

Avant d'accéder aux données et de les stocker dans OSS lors d'une tâche d'entraînement PyTorch, installez et configurez le connecteur OSS pour l'IA/le ML. Pour plus d'informations, consultez les rubriques Installer le connecteur OSS pour l'IA/le ML et Configurer le connecteur OSS pour l'IA/le ML.
Une fois le connecteur OSS pour l'IA/le ML installé et configuré, effectuez les opérations suivantes dans les tâches d'entraînement PyTorch :
- Utilisez OssMapDataset pour construire un jeu de données de type Map adapté à la lecture aléatoire. Pour plus d'informations, consultez la rubrique Utiliser les données dans OSS pour construire un jeu de données de type Map adapté à la lecture aléatoire.
- Utilisez OssIterableDataset pour construire un jeu de données de type Iterable adapté à la lecture en flux séquentiel. Pour plus d'informations, consultez la rubrique Construire un jeu de données itérable pour la lecture en flux séquentiel à partir des données OSS.
- Utilisez OssCheckpoint pour stocker et accéder aux points de contrôle. Pour plus d'informations, consultez la rubrique Stocker et accéder aux points de contrôle dans OSS.
- Remarque
  Les données contenues dans les jeux de données de type Map et Iterable ainsi que dans les points de contrôle sont du même type. Pour plus d'informations sur les méthodes prises en charge par ce type de données, consultez la rubrique Type de données dans le connecteur OSS pour l'IA/le ML.

Cas d'utilisation

Pour démarrer rapidement, le connecteur OSS pour l'IA/le ML fournit une démo qui entraîne un modèle de reconnaissance de chiffres manuscrits à l'aide de données OSS et enregistre les résultats d'entraînement dans OSS. Pour plus d'informations, consultez la rubrique Prise en main du connecteur OSS pour l'IA/le ML.
Pour améliorer davantage les performances, utilisez le endpoint accéléré d'un accélérateur OSS plutôt que le endpoint interne OSS. Pour une comparaison des performances, consultez la rubrique Tests de performance.
Pour utiliser le connecteur OSS pour l'IA/le ML dans un environnement conteneurisé, utilisez une image Docker contenant un environnement de connecteur OSS pour l'IA/le ML. Pour savoir comment créer une image Docker, consultez la rubrique Créer une image Docker contenant un environnement de connecteur OSS pour l'IA/le ML.