Object Storage Service:Gunakan OSS Connector for AI/ML untuk mengakses dan menyimpan data OSS dalam pekerjaan pelatihan PyTorch

Item

Tidak menggunakan OSS Connector for AI/ML

Menggunakan Konektor OSS untuk AI/ML

Kinerja

Anda harus mengoptimalkan kinerja secara manual, yang mungkin tidak efisien.

OSS Connector for AI/ML secara otomatis mengoptimalkan kinerja pengunduhan data OSS dan penyimpanan checkpoint.

Metode pemuatan data

Anda harus mengunduh data terlebih dahulu, yang meningkatkan biaya dan beban kerja manajemen.

OSS Connector for AI/ML mendukung stream load untuk mengurangi biaya dan kompleksitas manajemen.

Akses data

Anda harus membaca dan menulis data menggunakan adapter, yang meningkatkan kompleksitas akses.

OSS Connector for AI/ML langsung membaca dan menulis data di OSS untuk menyederhanakan akses.

Tingkat kesulitan konfigurasi

Anda harus mengompilasi kode, yang menyulitkan konfigurasi.

OSS Connector for AI/ML menyediakan opsi konfigurasi sederhana untuk meningkatkan efisiensi pengembangan.

Item

Fitur

Kelas

Metode

Map-style dataset

Mendukung akses acak untuk pengambilan data spesifik secara cepat selama pelatihan.

OssMapDataset

Kelas OssMapDataset dan OssIterableDataset menyediakan metode yang sama untuk membangun dataset.

• from_prefix()

  Membangun dataset dari awalan OSS_URI. Ideal ketika path penyimpanan data OSS mengikuti aturan seragam.

• from_objects()

  Membangun dataset dari daftar OSS_URI. Ideal ketika path penyimpanan data OSS diketahui tetapi tersebar.

• from_manifest_file()

  Buat file manifest dan gunakan file manifest tersebut untuk membangun dataset. Ideal untuk dataset dengan jumlah file sangat besar (puluhan juta), sering dimuat, dan data indexing diaktifkan pada bucket.

Iterable-style dataset

Mendukung pembacaan streaming sekuensial untuk memproses volume besar data kontinu secara efisien.

OssIterableDataset

Operasi API checkpoint

Memuat checkpoint dari OSS selama pelatihan model dan menyimpan checkpoint ke OSS secara berkala, sehingga menyederhanakan alur kerja pelatihan.

OssCheckpoint

• OssCheckpoint()

  Menginisialisasi objek OssCheckpoint untuk membaca dan menulis checkpoint selama pelatihan model.

• reader()

  Membaca checkpoint dari OSS.

• writer()

  Menulis checkpoint ke OSS.