Este tópico descreve a topologia de GPU e os benefícios do agendamento de GPU com reconhecimento de topologia.
Topologia de GPU
A figura a seguir ilustra a topologia hybrid cube mesh de oito GPUs Tesla V100 que se comunicam por meio de NVLinks. Cada GPU Tesla V100 tem seis NVLinks atribuídos, mas as oito GPUs não estabelecem interconexão completa. O sistema permite no máximo duas conexões NVLink entre duas GPUs Tesla V100.
Neste exemplo, a GPU0 conecta-se à GPU3 e à GPU4 por dois NVLinks, e à GPU1 e à GPU2 por um único NVLink. Já entre a GPU0 e a GPU6 não há conexão NVLink; portanto, a comunicação depende do Peripheral Component Interconnect Express (PCIe).
Benefícios do agendamento de GPU com reconhecimento de topologia
Cada NVLink oferece largura de banda unidirecional de 25 GB/s e bidirecional de 50 GB/s, enquanto o link PCIe atinge 16 GB/s. Como diferentes combinações de GPUs resultam em velocidades distintas durante o treinamento, selecione a combinação ideal para obter o melhor desempenho.