Ringkasan
Alibaba Cloud Container GPU (cGPU) membagi memori dan daya komputasi GPU, lalu mengelolanya secara transparan sebagai beberapa container terisolasi. Anda dapat mengaktifkan cGPU untuk kluster container yang di-deploy di Alibaba Cloud, Amazon Web Services (AWS), Google Compute Engine (GCE), atau pusat data. Sesuaikan kebijakan berbagi dan penjadwalan GPU di Alibaba Cloud Container Service for Kubernetes (ACK) sesuai kebutuhan tugas inferensi atau pelatihan AI untuk mengoptimalkan utilisasi resource dan menghemat biaya.
Keunggulan Solusi
-
![]()
Isolasi Memori GPU yang Efisien
Maksimalkan utilisasi GPU dan cegah konflik memori dengan membagi memori dan resource komputasi GPU, lalu mengelolanya sebagai beberapa container berdasarkan teknologi isolasi GPU virtual dari kernel host Alibaba Cloud.
-
![]()
Berbagi dan Penjadwalan Resource GPU yang Fleksibel
Alokasikan memori dan resource komputasi GPU ke job AI dengan strategi penjadwalan untuk berbagai skenario bisnis, guna memaksimalkan utilisasi GPU sambil mempertahankan performa tinggi untuk container.
-
![]()
Auto-Scaling GPU yang Dapat Disesuaikan
Tingkatkan ketersediaan resource GPU dan jamin stabilitas tugas AI dengan penskalaan GPU otomatis. Atur metrik GPU utama seperti rasio utilisasi dan penggunaan memori untuk memicu skala naik dan turun instans GPU.
-
![]()
Monitoring GPU Tervisualisasi Real-Time
Jaga kesehatan instans GPU dan seimbangkan distribusi sumber daya berdasarkan informasi visual real-time dari metrik GPU utama, seperti alokasi dan penggunaan memori serta suhu GPU, melalui dashboard kluster dan node di Prometheus.
Tingkatkan Utilisasi GPU dengan Alibaba Cloud cGPU
Mulai Konsultasi 1 on 1Cara Kerja
Tantangan Anda
Agar beberapa tugas seperti workload inferensi AI dapat berjalan di satu GPU, GPU sering kali hanya ditempati oleh satu tugas dengan penggunaan memori penuh, sementara sebagian besar resource komputasi menganggur, sehingga menyebabkan utilisasi GPU rendah.
Solusi Kami
-
Alibaba Cloud cGPU memungkinkan beberapa container GPU berjalan di satu GPU tunggal dengan aplikasi terisolasi di masing-masing container. Didukung oleh kernel host yang menyediakan GPU virtual untuk container guna mengisolasi memori dan daya komputasi. Resource GPU yang ditetapkan ke setiap container diisolasi untuk mencegah konflik operasi dan risiko keamanan. cGPU kompatibel dengan Kubernetes open source dan NVIDIA Docker. Anda dapat men-deploy-nya di berbagai jenis instans diakselerasi GPU Alibaba Cloud, atau di Alibaba Cloud Container Service for Kubernetes (ACK) untuk mendukung berbagi GPU.
ECS 7th Gen
Dilengkapi sepenuhnya dengan chip TPM dan meningkatkan daya komputasi instans hingga 40%
SelengkapnyaECS Bare Metal Instance
Menggabungkan elastisitas server virtual dengan performa tinggi dan fitur lengkap server fisik
SelengkapnyaTantangan Anda
Solusi berbagi GPU saat ini di pasar bergantung pada modifikasi API yang memerlukan kompilasi ulang aplikasi, atau tidak dapat mengisolasi resource GPU yang dialokasikan sehingga memicu error GPU dan crash aplikasi. Fitur penjadwalan default Kubernetes tidak dapat menetapkan node untuk menjalankan job AI.
Solusi Kami
-
ACK memungkinkan beberapa container berbagi resource satu GPU. Anda dapat memantau penggunaan GPU di konsol Application Real-Time Monitoring Service (ARMS) dan mengonfigurasi memori GPU untuk setiap pod sesuai kebutuhan workload container, guna memaksimalkan utilisasi resource dan menghemat biaya. Untuk tugas inferensi dan pelatihan AI di berbagai skenario bisnis, konfigurasikan kebijakan penjadwalan job AI agar efisiensi tugas dan utilisasi GPU meningkat. Misalnya, pilih kebijakan penjadwalan binpack untuk mengalokasikan job ke satu node hingga resource tidak mencukupi, guna menghindari transfer data antar server dan mencegah fragmentasi resource. Atau, pilih kebijakan penjadwalan gang untuk mengalokasikan resource hanya ketika semua subtugas job dapat memperoleh resource yang diperlukan, sehingga menghindari kegagalan tugas dan pemborosan resource akibat deadlock resource.
Alibaba Cloud Container Service for Kubernetes
Memastikan efisiensi tinggi bagi perusahaan dengan menjalankan aplikasi terkontainerisasi di cloud
SelengkapnyaApplication Real-Time Monitoring Service
Membangun kemampuan monitoring bisnis dengan respons real-time berdasarkan kemampuan monitoring yang lengkap
SelengkapnyaKeamanan dan Kepatuhan
-
CSA STAR -
ISO 27001 -
Laporan SOC2 Type II -
C5 -
MLPS 2.0 -
MTCS
Tingkatkan Utilisasi GPU dengan Alibaba Cloud cGPU
Mulai Konsultasi 1 on 1Resource Terkait
Whitepaper
Whitepaper Akselerasi AI
Whitepaper ini merupakan panduan lengkap mengenai mekanisme lapisan infrastruktur AI dan cara mendukung akselerasi AI.
Blog
Teknologi cGPU Meningkatkan Penggunaan GPU, Meningkatkan Efisiensi AI, dan Mengurangi Biaya
Alibaba Cloud meluncurkan teknologi berbagi container cGPU, memungkinkan pengguna menggunakan container untuk menjadwalkan resource GPU di lapisan bawah secara fine-grained.
Blog
Manajemen GPU dan Implementasi Device Plugin dengan Kubernetes
Artikel ini memperkenalkan plugin GPU umum untuk Kubernetes dan cara menggunakan GPU di Docker dan Kubernetes.