Container Service for Kubernetes:Visão geral da computação heterogênea

Recurso heterogêneo

Descrição

GPU

Crie clusters com placas GPU convencionais, como T4, P100 e V100.

• Aceita solicitações de recursos para GPUs individuais.

• Oferece suporte ao dimensionamento automático baseado em métricas de GPU.

• Permite o compartilhamento de GPU e o isolamento de poder de computação. O compartilhamento de GPU da Alibaba Cloud executa múltiplas cargas de trabalho de inferência em uma única GPU, reduzindo custos. O cGPU isola a memória e o poder de computação da GPU sem modificar contêineres, aumentando a estabilidade das aplicações. Políticas de alocação compatíveis:

  • Compartilhamento single-pod-single-GPU: ideal para inferência de modelos.

  • Compartilhamento single-pod-multi-GPU: recomendado para desenvolvimento de treinamento distribuído.

  • Binpack: agenda prioritariamente vários pods na mesma placa GPU para aumentar a utilização.

  • Spread: distribui os pods entre as placas GPU sempre que possível, garantindo alta disponibilidade (HA).

• Inclui agendamento de GPU com reconhecimento de topologia. O agendador obtém a topologia de recursos dos nós para otimizar o posicionamento em NVLink, PCIe Switch, QPI e NICs RDMA.

• Disponibiliza monitoramento de recursos de GPU nos níveis de nó e aplicação, com detecção automática de exceções e alertas para GPUs dedicadas e compartilhadas.

ASIC

O ACK é compatível com clusters que usam dispositivos ASIC NETINT e aceita solicitações de recursos para placas ASIC individuais.

eRDMA

Crie clusters com dispositivos eRDMA.

• Envie jobs de treinamento de deep learning distribuído com dispositivos eRDMA por meio do Arena.

• Compatível com jobs de alta largura de banda, como treinamento de deep learning distribuído.