Object Storage Service：Metrik kinerja Akselerator OSS

Operasi pada sejumlah besar data

Dalam contoh berikut, Anda menggunakan ossutil untuk mengunduh atau membaca 10.000 objek berukuran 100 KB (total ukuran objek: 976 MB) melalui titik akhir internal OSS dan titik akhir dipercepat dari Akselerator OSS.

• Rencana Pengujian

  Alat uji	Operasi	Deskripsi
  ossutil	Jalankan perintah cp untuk mengunduh 10.000 objek yang ukurannya 100 KB dari Bucket OSS ke komputer lokal Anda.	Gunakan titik akhir internal OSS dan titik akhir dipercepat dari akselerator untuk menguji kecepatan di mana objek dalam direktori OSS diunduh secara bersamaan ke komputer lokal.

• Hasil Pengujian

  Alat uji	Menggunakan titik akhir internal OSS	Menggunakan Akselerator OSS untuk pra-pemuatan data dan titik akhir dipercepat dari Akselerator OSS untuk akses dipercepat
  ossutil	2,2 MB/s	24 MB/s

• Kesimpulan Pengujian

  • Mengunduh data menggunakan ossutil dengan fitur Akselerator OSS diaktifkan sekitar 10 kali lebih cepat dibandingkan ketika fitur tersebut dinonaktifkan.

  Contoh di atas menunjukkan bagaimana fitur Akselerator OSS dapat secara signifikan meningkatkan kecepatan transmisi dan akses data saat menggunakan alat seperti ossutil untuk melakukan operasi batch pada sejumlah besar data.

Pembelajaran mesin atau pembelajaran mendalam untuk sejumlah besar data

Dalam contoh berikut, Anda membaca data dari dataset OssIterableDataset dan OssMapDataset yang dibuat oleh OSS Connector for AI/ML melalui titik akhir internal OSS dan titik akhir dipercepat dari Akselerator OSS. Dataset terdiri dari 10.000.000 objek dengan rata-rata ukuran 100 KB (total ukuran objek: 1 TB).

• Parameter Pengujian

  Parameter	Nilai/Operasi	Deskripsi
  ukuran batch dataloader	256	Setiap tugas batch memproses 256 sampel.
  pekerja dataloader	32	Data dimuat secara paralel menggunakan 32 proses.
  transform	def transform(object): data = object.read() return object.key, object.label	Data tidak diproses terlebih dahulu.

• Hasil Pengujian

  Dataset yang dibuat menggunakan	Tipe dataset	Menggunakan titik akhir internal	Menggunakan Akselerator OSS untuk pra-pemuatan data dan titik akhir dipercepat untuk akses dipercepat
  OSS Connector for AI/ML	OssIterableDataset	99920 img/s	123043 img/s
  	OssMapDataset	56564 img/s	78264 img/s

• Kesimpulan Pengujian

  Membaca data dari dataset OssIterableDataset dan OssMapDataset dengan fitur Akselerator OSS diaktifkan sekitar 1,6 kali lebih cepat dibandingkan tanpa fitur tersebut. OSS Connector for AI/ML mampu menangani akses sangat konkuren pada tingkat bandwidth tinggi meskipun tanpa Akselerator OSS. Namun, penggunaan OSS Connector for AI/ML bersama dengan fitur Akselerator OSS memberikan performa yang lebih optimal.

Statistik latensi respons unduhan

Unduh objek berukuran 10 MB beberapa kali untuk pengujian dan hitung latensi respons dalam milidetik saat fitur Akselerator OSS dinonaktifkan dan diaktifkan. Saat fitur dinonaktifkan, objek diunduh langsung dari OSS.

Pada gambar berikut, P50 menunjukkan bahwa 50% permintaan memenuhi statistik latensi saat ini, sedangkan P999 menunjukkan bahwa 99,9% permintaan memenuhi statistik latensi tersebut.

Hasilnya menunjukkan bahwa latensi berkurang hingga 10 kali lipat saat menggunakan Akselerator OSS.

Danau data dan gudang data di cloud

Seorang pengguna menguji kinerja saat menggunakan disk lokal, OSS, dan Akselerator OSS sebagai media penyimpanan. Dataset yang digunakan mencakup sekitar 2 miliar data dalam tabel lineitem dengan ukuran total 760 GB.

• Latensi

  Skenario	CacheFS Lokal (disk lokal)	OSS	Akselerator OSS
  Kueri poin	382ms	2451ms	1160ms
  Kueri acak pada 1.000 item data	438ms	3786ms	1536ms
  Kueri acak pada 10% data	130564ms	345707ms	134659ms
  Pemindaian penuh	171548ms	398681ms	197134ms

• Kinerja

  • Selama kueri online, waktu respons Akselerator OSS adalah 2 hingga 2,5 kali lebih tinggi dibandingkan dengan OSS. Selama pemindaian penuh dan kueri acak pada 10% data, performa Akselerator OSS mencapai 2 hingga 2,5 kali lebih tinggi dibandingkan OSS dan setara dengan 85% performa CacheFS ESSD lokal.

  • Selama kueri online, latensi tetap untuk permintaan tunggal yang dikirim ke Akselerator OSS berkisar antara 8 hingga 10 ms. Selama kueri acak pada 1.000 item data dan kueri poin, performa Akselerator OSS adalah 1,5 hingga 3 kali lebih tinggi dibandingkan OSS dan mencapai 30% performa CacheFS ESSD lokal.

Pelatihan simulasi untuk kontainer dan mengemudi otonom

Saat fitur Akselerator OSS diaktifkan, sejumlah besar kontainer dijalankan secara simultan untuk mendapatkan gambar, peta, dan data log. Durasi keseluruhan Pelatihan simulasi berkurang hingga 60%.