Este tema describe la topología de GPU y los beneficios de la programación de GPU con reconocimiento de topología.
Topología de GPU
A continuación se muestra la topología de malla de cubo híbrido de ocho GPU Tesla V100 que se comunican entre sí mediante NVLinks. Cada GPU Tesla V100 tiene asignados seis NVLinks, por lo que las ocho GPU Tesla V100 no pueden interconectarse completamente. Se puede establecer un máximo de dos conexiones NVLink entre dos GPU Tesla V100.
En este ejemplo, la GPU0 está conectada a la GPU3 y a la GPU4 mediante dos NVLinks. La GPU0 está conectada a la GPU1 y a la GPU2 mediante un solo NVLink. Por el contrario, no existe ninguna conexión NVLink entre la GPU0 y la GPU6, por lo que su comunicación depende de Peripheral Component Interconnect Express (PCIe).
Beneficios de la programación de GPU con reconocimiento de topología
El ancho de banda unidireccional y bidireccional de cada NVLink es de 25 GB/s y 50 GB/s, respectivamente. El ancho de banda del enlace PCIe es de 16 GB/s. Durante el entrenamiento, las distintas combinaciones de GPU pueden provocar diferencias en la velocidad de entrenamiento. Por lo tanto, seleccione la combinación óptima de GPU para obtener el mejor rendimiento de entrenamiento.