Instale o OSS Connector for AI/ML para acessar e armazenar conjuntos de dados no OSS com eficiência em seus jobs de treinamento do PyTorch.
Pré-requisitos
Sistema operacional: Linux x86-64
glibc: >=2,17
Python: 3,8–3,13
PyTorch: >=2,0
-
Para usar o recurso OSS Checkpoint, o kernel do Linux deve oferecer suporte a userfaultfd.
NotaPor exemplo, em um sistema Ubuntu, execute o comando
sudo grep CONFIG_USERFAULTFD /boot/config-$(uname -r)para verificar se o kernel do Linux oferece suporte a userfaultfd. Se o comando retornarCONFIG_USERFAULTFD=y, o kernel tem suporte a userfaultfd. Caso retorneCONFIG_USERFAULTFD=n, não há suporte e não é possível usar o recurso OSS Checkpoint.
Procedimento
O exemplo a seguir mostra como instalar o OSS Connector for AI/ML para Python 3.12.
-
No sistema operacional Linux ou em um contêiner criado a partir de uma imagem Linux, execute o comando
pip3.12 install osstorchconnectorpara instalar o OSS Connector for AI/ML.pip3.12 install osstorchconnector -
Execute
pip3.12 show osstorchconnectorpara verificar a instalação.pip3.12 show osstorchconnectorUma instalação bem-sucedida exibe as informações de versão do osstorchconnector. A saída é semelhante à seguinte:
Name: osstorchconnector Version: 1.0.0rc1 Summary: OSS connector for AI/ML Home-page: Author: Author-email: License: Location: /usr/local/lib/python3.12/dist-packages Requires: torch Required-by:
Próximas etapas
Após a instalação, configure as credenciais de acesso e as definições do conector. Isso permite que o conector se comunique com o OSS e seja inicializado corretamente. Para obter instruções, consulte Configurar o OSS Connector for AI/ML.