Installez le connecteur OSS pour l'IA/ML afin d'accéder efficacement aux jeux de données stockés dans OSS et de les y enregistrer pour vos tâches d'entraînement PyTorch.
Prérequis
Système d'exploitation : Linux x86-64
glibc : >=2,17
Python : 3,8–3,13
PyTorch : >=2,0
-
Pour utiliser la fonctionnalité OSS Checkpoint, votre noyau Linux doit prendre en charge userfaultfd.
RemarquePar exemple, sur un système Ubuntu, exécutez la commande
sudo grep CONFIG_USERFAULTFD /boot/config-$(uname -r)pour vérifier la prise en charge de userfaultfd par votre noyau Linux. Si la commande renvoieCONFIG_USERFAULTFD=y, votre noyau prend en charge userfaultfd. Si elle renvoieCONFIG_USERFAULTFD=n, ce n'est pas le cas et vous ne pouvez pas utiliser la fonctionnalité OSS Checkpoint.
Procédure
L'exemple suivant montre comment installer le connecteur OSS pour l'IA/ML avec Python 3.12.
-
Sur votre système Linux ou dans un conteneur basé sur une image Linux, exécutez la commande
pip3.12 install osstorchconnectorpour installer le connecteur OSS pour l'IA/ML.pip3.12 install osstorchconnector -
Exécutez
pip3.12 show osstorchconnectorpour vérifier l'installation.pip3.12 show osstorchconnectorEn cas de réussite, les informations de version d'osstorchconnector s'affichent. Le résultat ressemble à ce qui suit :
Name: osstorchconnector Version: 1.0.0rc1 Summary: OSS connector for AI/ML Home-page: Author: Author-email: License: Location: /usr/local/lib/python3.12/dist-packages Requires: torch Required-by:
Étapes suivantes
Après l'installation, configurez les identifiants d'accès et les paramètres du connecteur. Cela permet au connecteur de communiquer avec OSS et de s'initialiser correctement. Pour plus d'instructions, consultez la rubrique Configuration du connecteur OSS pour l'IA/ML.