Genel Bakış
Alibaba Cloud Container GPU (cGPU), bir GPU'nun belleğini ve işlem gücünü böler. Bu kaynakları yalıtılmış konteynerler olarak saydam bir şekilde yönetir. cGPU'yu Alibaba Cloud, Amazon Web Services (AWS), Google Compute Engine (GCE) üzerinde veya veri merkezlerinde dağıtılan konteyner kümelerinde etkinleştirebilirsiniz. Container Service for Kubernetes (ACK) içinde GPU kaynak paylaşımı ve zamanlama politikalarını AI çıkarımı veya eğitim görevlerinin gereksinimlerine göre kolayca özelleştirebilirsiniz. Bu sayede kaynak kullanımını optimize edebilir ve maliyetlerden tasarruf edebilirsiniz.
Çözümün Öne Çıkan Özellikleri
-
![]()
Verimli GPU Bellek Yalıtımı
Alibaba Cloud'un sanal GPU yalıtım teknolojisi sayesinde bir GPU'nun bellek ve işlem kaynakları bölümlendirilerek yalıtılmış birden fazla konteyner olarak yönetilir. Bu sayede GPU kullanım oranı en üst düzeye çıkarılır ve bellek çakışmaları önlenir.
-
![]()
Esnek GPU Kaynak Paylaşımı ve Zamanlaması
GPU belleğini ve işlem kaynaklarını farklı iş senaryoları için zamanlama stratejileriyle AI işlerine tahsis edin. GPU kullanımını en üst düzeye çıkarırken konteynerler için yüksek performansı koruyun.
-
![]()
Özelleştirilebilir GPU Otomatik Ölçeklendirmesi
GPU kullanım oranı ve bellek kullanımı gibi temel GPU metriklerini izleyerek kaynakları otomatik olarak ölçeklendirin. GPU örneklerinin kullanılabilirliğini artırın ve AI görevlerinin kararlılığını garanti edin.
-
![]()
Gerçek Zamanlı GPU İzleme
Prometheus kümeleri ve düğüm panelleriyle GPU bellek tahsisi, kullanımı ve sıcaklık gibi temel GPU metriklerini gerçek zamanlı olarak izleyin. GPU örneklerinin sağlığını yönetin ve kaynak dağılımını dengeleyin.
Alibaba Cloud cGPU ile GPU Kullanım Oranını Artırın
Birebir Danışmanlık BaşlatınNasıl Çalışır
Karşılaştığınız Zorluk
Birden fazla AI çıkarım iş yükü gibi görev tek bir GPU üzerinde çalıştırıldığında, GPU genellikle yalnızca bir görev tarafından tam bellek kullanımıyla kaplanır ve işlem kaynaklarının çoğu boşta kalır; bu da düşük GPU kullanım oranına neden olur.
Çözümümüz
-
Alibaba Cloud cGPU, birden fazla GPU konteynerinin tek bir GPU üzerinde çalışmasını sağlar ve her konteynerdaki uygulamaları yalıtır. Ana bilgisayar çekirdeği tarafından desteklenen bu çözüm, konteynerlara bellek ve işlem gücünü yalıtılmış sanal GPU'lar sunar. Her konteynera atanan GPU kaynakları, çalışma çakışmalarını ve güvenlik risklerini önlemek üzere yalıtılır. cGPU, açık kaynak Kubernetes ve NVIDIA Docker ile uyumludur. Farklı Alibaba Cloud GPU hızlandırmalı örnek türlerine veya Container Service for Kubernetes (ACK) üzerine dağıtılarak GPU paylaşımını destekleyebilir.
ECS Bare Metal Instance
Hem sanal sunucu esnekliğine hem de fiziksel sunucunun yüksek performanslı ve kapsamlı özelliklerine sahiptir.
Daha Fazla BilgiKarşılaştığınız Zorluk
Piyasadaki mevcut GPU paylaşım çözümleri ya API değişikliğine bağlı olarak uygulamanın yeniden derlenmesini gerektirir ya da tahsis edilen GPU kaynaklarını yalıtamaz; bu da GPU hatalarına ve uygulama çökmelerine yol açar. Kubernetes'in varsayılan zamanlama özelliği, AI işlerini çalıştırmak üzere düğümler atayamaz.
Çözümümüz
-
ACK ile birden fazla konteyner tek bir GPU'nun kaynaklarını paylaşabilir. Application Real-Time Monitoring Service (ARMS) konsolundan GPU kullanımını izleyebilir ve konteyner iş yüklerinin gereksinimlerine göre her pod için GPU belleği yapılandırarak kaynak kullanımını en üst düzeye çıkarabilir ve maliyetlerden tasarruf edebilirsiniz. Farklı iş senaryolarındaki AI çıkarım ve eğitim görevleri için iş zamanlama politikalarını yapılandırabilirsiniz. Örneğin binpack zamanlamasıyla işleri yetersiz kaynak kalana kadar aynı düğüme atayarak sunucular arası veri aktarımını önleyebilir ve kaynak parçalanmasını engelleyebilirsiniz. Gang zamanlamasıyla bir işin tüm alt görevleri gerekli kaynakları aldığında kaynak tahsis ederek kilitlenme nedeniyle görev başarısızlığını ve kaynak israfını önleyebilirsiniz.
Alibaba Cloud Container Service for Kubernetes
Konteynerleştirilmiş uygulamaları bulutta çalıştırarak işletmelerin yüksek verimliliğini sağlar.
Daha Fazla BilgiApplication Real-Time Monitoring Service
Kapsamlı izleme yeteneklerine dayalı gerçek zamanlı iş izleme yetenekleri oluşturma
Daha Fazla BilgiGüvenlik ve Uyum
-
CSA STAR -
ISO 27001 -
SOC2 Type II Report -
C5 -
MLPS 2.0 -
MTCS
Alibaba Cloud cGPU ile GPU Kullanım Oranını Artırın
Birebir Danışmanlık Başlatınİlgili Kaynaklar
Teknik Rapor
AI Hızlandırma Teknik Raporu
Bu teknik rapor, yapay zeka altyapı katmanının mekanizmasını ve yapay zeka hızlandırmayı nasıl desteklediğini anlatan kapsamlı bir rehberdir.
Blog
cGPU Teknolojisi GPU Kullanımını Artırıyor, AI Verimliliğini Yükseltiyor ve Maliyetleri Azaltıyor
Alibaba Cloud, kullanıcıların konteynerlerle altta yatan GPU kaynaklarını ince taneli şekilde zamanlamasını sağlayan cGPU konteyner paylaşım teknolojisini kullanıma sundu.
Blog
Kubernetes ile GPU Yönetimi ve Aygıt Eklentisi Uygulaması
Bu makale, Kubernetes için yaygın GPU eklentilerini ve Docker ile Kubernetes'te GPU kullanımını tanıtmaktadır.
Alibaba Cloud Çözümleriyle Başlayın
Alibaba Cloud'un gücünü öğrenin ve deneyimleyin.
Satış Ekibiyle İletişime Geçin