PyTorch トレーニングタスク向けに、OSS 内のデータセットに効率的にアクセスして保存するために、AI/ML 用 OSS Connector をインストールします。
前提条件
-
オペレーティングシステム： Linux x86-64
-
glibc： >=2.17
-
Python： 3.8–3.13
-
PyTorch： >=2.0
-
OSS Checkpoint を使用するには、ご利用の Linux カーネルが userfaultfd をサポートしている必要があります。
説明たとえば、Ubuntu システムで、
sudo grep CONFIG_USERFAULTFD /boot/config-$(uname -r)を実行して、カーネルが userfaultfd をサポートしているか確認します。CONFIG_USERFAULTFD=yという出力は、サポートされていることを示します。CONFIG_USERFAULTFD=nという出力は、カーネルが userfaultfd をサポートしていないことを意味し、OSS Checkpoint 機能を使用できません。
インストール
以下の例は、Python 3.12 を使用して AI/ML 用 OSS Connector をインストールする方法を示しています。
-
Linux オペレーティングシステム上、または Linux ベースのイメージから作成されたコンテナ内で、
pip3.12 install osstorchconnectorを実行して AI/ML 用 OSS Connector をインストールします。pip3.12 install osstorchconnector -
pip3.12 show osstorchconnectorを実行して、インストールを検証します。pip3.12 show osstorchconnector出力に osstorchconnector のバージョン情報が表示されれば、インストールは成功です。
次のステップ
AI/ML 用 OSS Connector が OSS と通信し、その構成を正しく初期化できるようにするには、アクセス認証情報とその他のコネクタ設定を構成する必要があります。詳細については、「OSS Connector for AI/ML の構成」をご参照ください。