Instal OSS Connector untuk AI/ML untuk PyTorch menggunakan pip - Object Storage Service

OSS Connector untuk AI/ML mengoptimalkan throughput data untuk pekerjaan pelatihan PyTorch yang membaca set data dari atau menulis checkpoint ke Object Storage Service (OSS), sehingga Anda dapat fokus pada pengembangan kode pelatihan alih-alih manajemen I/O penyimpanan.

Prasyarat

Sebelum memulai, pastikan Anda telah memiliki:

Lingkungan Linux x86 64-bit
glibc 2.17 atau versi lebih baru
Python 3.8–3.12
PyTorch 2.0 atau versi lebih baru
(Opsional) Kernel Linux yang mendukung userfaultfd, hanya diperlukan untuk fitur checkpoint OSS

Catatan

Contoh berikut menggunakan Ubuntu. Untuk memeriksa apakah kernel Anda mendukung userfaultfd, jalankan:

sudo grep CONFIG_USERFAULTFD /boot/config-$(uname -r)

CONFIG_USERFAULTFD=y — fitur checkpoint OSS tersedia.
CONFIG_USERFAULTFD=n — fitur checkpoint OSS tidak tersedia pada kernel ini.

Instal OSS Connector untuk AI/ML

Contoh berikut menggunakan Python 3.12. Ganti pip3.12 dengan versi pip yang sesuai dengan instalasi Python Anda.

Instal paket dalam kontainer berbasis Linux atau citra Linux:
```
pip3.12 install osstorchconnector
```
Verifikasi instalasi:
```
pip3.12 show osstorchconnector
```
Instalasi yang berhasil akan menampilkan metadata paket yang mencakup bidang seperti Name: osstorchconnector dan Version: x.x.x:

Langkah Berikutnya

Konfigurasikan kredensial akses dan pengaturan konektor agar OSS Connector untuk AI/ML dapat berkomunikasi dengan OSS. Lihat Konfigurasikan OSS Connector untuk AI/ML.