Container Service for Kubernetes:Heterogeneous computing overview

Heterojen kaynak

Açıklama

GPU

T4, P100 ve V100 gibi yaygın GPU kartlarıyla kümeler oluşturun.

• Tekil GPU'lar için kaynak taleplerini destekler.

• GPU ölçümlerine dayalı otomatik ölçeklendirmeyi destekler.

• GPU paylaşımını ve işlem gücü sınırlandırmayı (computing power fencing) destekler. Alibaba Cloud GPU paylaşımı, tek bir GPU üzerinde birden fazla çıkarım iş yükü çalıştırarak maliyetleri azaltır. cGPU, konteyner değişikliği gerektirmeden GPU belleğini ve işlem gücünü sınırlayarak uygulama kararlılığını artırır. Desteklenen ayırma ilkeleri:

  • Tek pod-tek GPU paylaşımı: genellikle model çıkarımı için kullanılır.

  • Tek pod-çoklu GPU paylaşımı: genellikle dağıtık eğitim geliştirmesi için kullanılır.

  • Binpack: Kullanımı artırmak için birden çok podu öncelikli olarak aynı GPU kartına zamanlar.

  • Spread: Yüksek kullanılabilirlik (HA) sağlamak için podları mümkün olduğunca farklı GPU kartlarına dağıtır.

• Topoloji bilinçli GPU zamanlamasını destekler. Zamanlayıcı, NVLink, PCIe Switch, QPI ve RDMA NIC'ler için yerleşimi optimize etmek üzere düğümlerden kaynak topolojisini alır.

• Dedike ve paylaşımlı GPU'lar için otomatik istisna algılama ve uyarı özellikleriyle birlikte, düğüm ve uygulama düzeylerinde GPU kaynak izlemeyi destekler.

ASIC

ACK, NETINT ASIC cihazlarına sahip kümeleri ve tekil ASIC kartları için kaynak taleplerini destekler.

eRDMA

eRDMA cihazlarıyla kümeler oluşturun.

• Arena aracılığıyla eRDMA cihazlarıyla dağıtık derin öğrenme eğitim işlerini gönderin.

• Dağıtık derin öğrenme eğitimi gibi yüksek bant genişliği gerektiren işleri destekler.