cGPU adalah teknologi berbagi GPU berbasis kernel dari Alibaba Cloud yang memungkinkan beberapa kontainer terisolasi berbagi satu GPU fisik. Dengan melakukan virtualisasi sumber daya GPU menjadi vGPU pada tingkat driver kernel, cGPU memberlakukan isolasi memori GPU dan daya komputasi per kontainer—tanpa mengorbankan kinerja—sehingga meningkatkan pemanfaatan perangkat keras dan mengurangi biaya infrastruktur GPU.
Cara kerja
Driver kernel Alibaba Cloud membuat perangkat vGPU untuk setiap kontainer yang berjalan pada GPU bersama. Driver tersebut memberlakukan isolasi pada lapisan memori dan komputasi GPU, sehingga kontainer tidak saling mengganggu beban kerja masing-masing. Hal ini memungkinkan beberapa pekerjaan pelatihan atau inferensi dijalankan secara simultan pada satu GPU.
Kemampuan
Isolasi dan kontrol sumber daya
Isolasi memori GPU: Alokasikan memori GPU dengan granularitas hingga tingkat MB, diberlakukan per kontainer.
Isolasi daya komputasi: Atur pemanfaatan GPU per kontainer dan konfigurasikan rasio daya komputasi minimum hingga sekecil 2%.
Preemption: Tugas prioritas tinggi dapat mengambil alih tugas prioritas rendah untuk menjamin pencapaian tujuan tingkat layanan (service-level objectives).
Kompatibilitas
Berfungsi dengan Docker, containerd, dan Kubernetes tanpa mengubah aplikasi AI Anda.
Tidak perlu mengompilasi ulang kode atau mengganti pustaka Compute Unified Device Architecture (CUDA).
Tipe instans yang didukung
cGPU mendukung Elastic Compute Service (ECS) Bare Metal Instances yang dipercepat GPU, instans virtualized, dan instans yang dipercepat vGPU.virtualized
Operasi
Hot upgrade: Lakukan peningkatan driver kernel tanpa mengganggu workload yang sedang berjalan.
Alokasi multi-GPU: Tetapkan beberapa vGPU ke satu kontainer.
Pemantauan dan manajemen: Kemampuan O&M tinggi untuk melacak dan mengelola penggunaan sumber daya GPU.
Kasus penggunaan
Kolokasi workload online/offline: Jalankan layanan online yang sensitif terhadap latensi dan job offline batch pada GPU yang sama untuk memaksimalkan pemanfaatan.
Pelatihan dan inferensi AI: Isolasi beberapa job pelatihan atau inferensi berbasis CUDA pada satu GPU dengan batasan sumber daya yang dijamin.
Rendering: Bagikan sumber daya GPU di antara tugas rendering dalam lingkungan multi-tenant.