Container Service for Kubernetes:Ikhtisar komputasi heterogen

Heterogeneous resource

Description

GPU

Buat kluster dengan kartu GPU utama seperti T4, P100, dan V100.

• Mendukung permintaan resource untuk GPU individual.

• Mendukung auto scaling berdasarkan metrik GPU.

• Mendukung GPU sharing dan computing power fencing. GPU sharing Alibaba Cloud menjalankan beberapa beban kerja inferensi pada satu GPU, sehingga mengurangi biaya. cGPU melakukan pemagaran memori GPU dan daya komputasi tanpa modifikasi kontainer, meningkatkan stabilitas aplikasi. Kebijakan alokasi yang didukung:

  • Single-pod-single-GPU sharing: umumnya digunakan untuk inferensi model.

  • Single-pod-multi-GPU sharing: umumnya digunakan untuk pengembangan pelatihan terdistribusi.

  • Binpack: menjadwalkan beberapa pod ke kartu GPU yang sama secara preferensial untuk meningkatkan pemanfaatan.

  • Spread: mendistribusikan pod ke berbagai kartu GPU bila memungkinkan untuk mencapai ketersediaan tinggi (HA).

• Mendukung topology-aware GPU scheduling. Penjadwal mengambil topologi resource dari node untuk mengoptimalkan penempatan terkait NVLink, PCIe Switch, QPI, dan NIC RDMA.

• Mendukung pemantauan resource GPU di tingkat node dan aplikasi, dengan deteksi otomatis terhadap anomali serta peringatan untuk GPU dedicated maupun shared.

ASIC

ACK mendukung kluster dengan perangkat ASIC NETINT dan permintaan resource untuk kartu ASIC individual.

eRDMA

Buat kluster dengan perangkat eRDMA.

• Kirim pekerjaan pelatihan pembelajaran mendalam terdistribusi dengan perangkat eRDMA melalui Arena.

• Mendukung pekerjaan berbandwidth tinggi seperti pelatihan pembelajaran mendalam terdistribusi.