OSS Connector for AI/ML をインストールすると、お使いの PyTorch トレーニングジョブで OSS のデータセットに効率的にアクセスし、保存できます。
前提条件
-
オペレーティングシステム: Linux x86-64
-
glibc: >=2.17
-
Python: 3.8–3.13
-
PyTorch: >=2.0
-
OSS チェックポイント機能を使用するには、お使いの Linux カーネルが userfaultfd をサポートしている必要があります。
説明たとえば、Ubuntu システムでは、
sudo grep CONFIG_USERFAULTFD /boot/config-$(uname -r)コマンドを実行して、お使いの Linux カーネルが userfaultfd をサポートしているかどうかを確認します。コマンドがCONFIG_USERFAULTFD=yを返した場合、お使いのカーネルは userfaultfd をサポートしています。CONFIG_USERFAULTFD=nが返された場合、カーネルは userfaultfd をサポートしていないため、OSS チェックポイント機能を使用できません。
操作手順
次の例では、Python 3.12 用に OSS Connector for AI/ML をインストールする方法を示します。
-
お使いの Linux オペレーティングシステム、または Linux イメージからビルドされたコンテナで、
pip3.12 install osstorchconnectorコマンドを実行して OSS Connector for AI/ML をインストールします。pip3.12 install osstorchconnector -
pip3.12 show osstorchconnectorを実行してインストールを検証します。pip3.12 show osstorchconnectorインストールが成功すると、osstorchconnector のバージョン情報が表示されます。出力は次のようになります:
Name: osstorchconnector Version: 1.0.0rc1 Summary: OSS connector for AI/ML Home-page: Author: Author-email: License: Location: /usr/local/lib/python3.12/dist-packages Requires: torch Required-by:
次のステップ
インストール後、コネクタのアクセス認証情報と設定を構成する必要があります。これにより、コネクタが OSS と通信し、正しく初期化できるようになります。手順については、「Configure OSS Connector for AI/ML」をご参照ください。