Container Compute Service (ACS) Alibaba Cloud mendukung penjadwalan terpadu untuk sumber daya komputasi heterogen. Dengan model sumber daya serverless-nya, ACS menyederhanakan manajemen kluster komputasi heterogen. Dokumen ini memberikan ikhtisar mengenai sumber daya GPU dan pola penggunaan yang tersedia di ACS.
Alur kerja GPU ACS khas
ACS menyediakan solusi yang sangat elastis dan hemat biaya untuk beban kerja AI, mencakup seluruh siklus hidup mulai dari pra-pemrosesan data dan pelatihan model hingga penerapan inferensi. ACS menggabungkan fitur penggunaan on-demand dan auto-scaling dari arsitektur serverless dengan kemampuan komputasi GPU yang andal, sehingga memungkinkan pengembang dan ilmuwan data fokus pada logika bisnis dan inovasi algoritma, bukan pada manajemen sumber daya infrastruktur.
Tahap pra-pemrosesan data: Untuk tugas yang melibatkan pembersihan, transformasi, dan augmentasi set data besar, Anda dapat memanfaatkan kekuatan pemrosesan paralel CPU serverless. Anda dapat meluncurkan sejumlah besar instans CPU sesuai kebutuhan untuk mempercepat komputasi. Setelah tugas selesai, sumber daya tersebut langsung dilepas, sehingga Anda tidak dikenai biaya untuk waktu idle. Pendekatan ini sangat efisien untuk pemrosesan batch data periodik atau bursty dan secara signifikan mempersingkat siklus persiapan data.
Tahap pelatihan model: Pada fase pelatihan model yang komputasi-intensif, GPU serverless memungkinkan Anda memilih instans GPU secara fleksibel dengan spesifikasi yang dibutuhkan berdasarkan ukuran model dan kebutuhan kecepatan konvergensi. Anda ditagih berdasarkan durasi aktual pekerjaan pelatihan dengan presisi per detik. Hal ini menghilangkan biaya server GPU idle yang umum terjadi pada pengaturan tradisional dan sangat ideal untuk tuning eksperimen serta pelatihan iteratif.
Untuk kepastian dan fleksibilitas sumber daya dalam beban kerja pelatihan model, gunakan reservasi kapasitas GPU-HPN.
Tahap penerapan inferensi: Setelah model dilatih, Anda dapat menerapkannya secara mulus sebagai layanan inferensi online. Arsitektur serverless ACS secara otomatis menskalakan instans GPU dalam hitungan detik berdasarkan lalu lintas permintaan real-time, bahkan dapat menskalakan jumlah instans hingga nol. Oleh karena itu, Anda tidak dikenai biaya sumber daya saat tidak ada lalu lintas. Elastisitas ekstrem ini sangat ideal untuk aplikasi AI dengan pola lalu lintas yang sangat bervariasi atau bursty, seperti pengenalan gambar dan pemrosesan bahasa alami. Hal ini menjamin ketersediaan layanan tinggi sekaligus memaksimalkan penghematan biaya.
Dengan GPU serverless ACS, Anda dapat mengelola seluruh alur kerja AI secara efisien dalam satu platform, mengoptimalkan alokasi sumber daya dan biaya untuk mempercepat pengembangan serta penerapan aplikasi AI Anda.
Jenis GPU yang didukung
Jenis GPU | Memori | Jumlah GPU | Dukungan RDMA |
96 GB | 1/2/4/8 | Ya | |
141 GB | 1/2/4/8 | Ya | |
48 GB | 1/2/4/8 | Tidak | |
141 GB | 8 | Ya | |
96 GB | 1/2/4/8/16 | Ya | |
16 GB | 1/2 | Tidak | |
24 GB | 1/2/4/8 | Tidak | |
11 GB | 1 | Tidak | |
48 GB | 1/2/4/8 | Tidak | |
32 GB | 1/2/4/8 | Tidak | |
48 GB | 1/2/4/8 | Tidak | |
72 GB | 1/2/4/8 | Tidak |
Untuk informasi lebih lanjut mengenai spesifikasi GPU, lihat keluarga instans GPU yang didukung oleh ACS.
Zona ketersediaan GPU
Zona ketersediaan | Jenis GPU yang didukung |
cn-wulanchabu-a | GU8TF, L20, G49E |
cn-wulanchabu-b | G59 |
cn-wulanchabu-c | P16EN |
cn-wulanchabu-d | P16EN, L20NE |
cn-beijing-d | GU8TF, GU8TEF, P16EN |
cn-beijing-h | G28Ti |
cn-beijing-i | A10, G28Ti, L20N |
cn-beijing-l | L20, G49E, G59, L20NE |
cn-shanghai-e | G59, G28Ti |
cn-shanghai-f | GU8TF, GU8TEF, P16EN |
cn-shanghai-l | L20, G49E, T4, G28Ti |
cn-shanghai-n | L20, L20N |
cn-shanghai-o | P16EN |
cn-hangzhou-b | GU8TF, L20, G49E, P16EN, G59 |
cn-hangzhou-i | T4 |
cn-shenzhen-c | L20 |
cn-shenzhen-d | GU8TEF, G49E, G59 |
cn-shenzhen-e | T4 |
cn-hongkong-d | GU8TEF |
ap-southeast-1 | GU8TF, L20, L20X |
eu-central-1-a | L20 |
eu-central-1-c | GU8TEF |
me-east-1-a | GU8TEF |
us-east-1-a | A10, L20 |
us-east-1-b | A10, L20 |