Platform For AI：RDMA：使用高效能網路進行分布式訓練

靈駿規格

NCCL變數

• ml.gu7xf.c96m1600.8-gu108

• ml.gu7xf.8xlarge-gu108

• ml.gu7ef.c96m1600.8-gu100

• ml.gu8xf.8xlarge-gu108

export NCCL_IB_TC=136
export NCCL_IB_SL=5
export NCCL_IB_GID_INDEX=3
export NCCL_SOCKET_IFNAME=eth
export NCCL_DEBUG=INFO
export NCCL_IB_HCA=mlx5
export NCCL_IB_TIMEOUT=22
export NCCL_IB_QPS_PER_CONNECTION=8
export NCCL_NET_PLUGIN=none

關鍵環境變數

環境變數說明

NCCL_IB_TC

匹配阿里雲網路映射規則，未配置或配置錯誤可能導致效能受損。

NCCL_IB_GID_INDEX

提供推薦值，未配置或配置錯誤會導致NCCL報錯。

NCCL_SOCKET_IFNAME

選擇正確的連接埠以建立串連，不同規格對連接埠的要求不同。未配置或配置錯誤可能會導致NCCL建連失敗。

NCCL_DEBUG

通常將記錄層級設定為INFO，以獲得更多NCCL相關的日誌輸出，協助定位和解決潛在問題。

NCCL_IB_HCA

指定RDMA通訊的網卡。不同算力節點下IBdev的數量和命名規則有所區別，未配置或配置錯誤可能導致效能受損。

NCCL_IB_TIMEOUT

增加RDMA連線逾時時間，提升訓練任務的容錯效能，未配置或配置錯誤可能導致訓練任務中斷。

NCCL_IB_QPS_PER_CONNECTION

適當增加每個串連的QP（Queue Pair）數量，有效提高網路吞吐率。