Instal OSS Connector untuk AI/ML agar dapat mengakses dan menyimpan set data di OSS secara efisien untuk pekerjaan pelatihan PyTorch Anda.
Prasyarat
-
Sistem operasi: Linux x86-64
-
glibc: >=2.17
-
Python: 3.8–3.13
-
PyTorch: >=2.0
-
Untuk menggunakan fitur OSS Checkpoint, kernel Linux Anda harus mendukung userfaultfd.
CatatanMisalnya, pada sistem Ubuntu, jalankan perintah
sudo grep CONFIG_USERFAULTFD /boot/config-$(uname -r)untuk memeriksa apakah kernel Linux Anda mendukung userfaultfd. Jika perintah tersebut mengembalikanCONFIG_USERFAULTFD=y, berarti kernel Anda mendukung userfaultfd. Jika mengembalikanCONFIG_USERFAULTFD=n, berarti tidak didukung, dan Anda tidak dapat menggunakan fitur OSS Checkpoint.
Prosedur
Contoh berikut menunjukkan cara menginstal OSS Connector untuk AI/ML pada Python 3.12.
-
Pada sistem operasi Linux Anda atau dalam kontainer yang dibuat dari image Linux, jalankan perintah
pip3.12 install osstorchconnectoruntuk menginstal OSS Connector untuk AI/ML.pip3.12 install osstorchconnector -
Jalankan
pip3.12 show osstorchconnectoruntuk memverifikasi instalasi.pip3.12 show osstorchconnectorInstalasi yang berhasil akan menampilkan informasi versi osstorchconnector. Output-nya mirip dengan berikut:
Name: osstorchconnector Version: 1.0.0rc1 Summary: OSS connector for AI/ML Home-page: Author: Author-email: License: Location: /usr/local/lib/python3.12/dist-packages Requires: torch Required-by:
Langkah selanjutnya
Setelah instalasi, konfigurasikan kredensial akses dan pengaturan konektor agar dapat berkomunikasi dengan OSS serta melakukan inisialisasi dengan benar. Untuk petunjuknya, lihat Konfigurasi OSS Connector untuk AI/ML.