Container Service for Kubernetes：使用Arena提交eRDMA加速的PyTorch分布式訓練作業

步驟一：安裝ACK eRDMA Controller組件

您可以參見如下流程安裝ACK eRDMA Controller組件。

1. 在叢集列表頁面，單擊目的地組群名稱，然後在左側導覽列，單擊組件管理。

2. 在組件管理頁面，單擊網路頁簽，定位ACK eRDMA Controller組件，按照頁面提示配置組件並完成安裝。

   配置項	說明
   preferDriver 驅動類型	選擇叢集節點上使用的eRDMA驅動類型。可選值： default：預設驅動模式。 compat：相容RoCE驅動模式。 ofed：基於ofed的驅動模式，適用於GPU機型。 關於驅動類型的詳細說明，請參見啟用eRDMA。
   是否為Pod分配節點全部eRDMA裝置	可選值： True（勾選）：為Pod分配節點上所有的eRDMA裝置。 False（不勾選）：Pod根據NUMA拓撲分配一個eRDMA裝置。節點需要開啟CPU Static Policy才能保證Pod和裝置的固定NUMA分配。關於如何配置CPU Policy，請參見建立和管理節點池。

   安裝完成後，您可以在左側導覽列，選擇工作負載>容器組，然後選擇命名空間為ack-erdma-controller，查看Pod運行狀態，確認組件運行正常。

為什麼日誌中沒有顯示 NET/IB : Using erdma_0 ？

可能的原因包括：

• 未在提交命令中添加 --device=aliyun/erdma=1 參數。

• 節點不支援 eRDMA 或 eRDMA Controller 組件未正確安裝。

• 容器鏡像中缺少 RDMA 使用者態庫（libibverbs、librdmacm 等）。

解決方案：

1. 執行 kubectl get node <節點名> -o jsonpath='{.status.allocatable}' 確認節點是否有 aliyun/erdma 資源。

2. 登入節點執行 ibv_devinfo 檢查 eRDMA 裝置是否正常。

3. 檢查容器鏡像是否包含必要的 RDMA 庫。

訓練過程中出現 NCCL timeout 錯誤怎麼辦？

NCCL timeout 通常由網路不穩定或配置不當引起。建議：

1. 增加逾時時間：設定 --env NCCL_IB_TIMEOUT=23（預設為 22）。

2. 增加重試次數：設定 --env NCCL_IB_RETRY_CNT=10。

3. 檢查節點間的網路連通性和 eRDMA 裝置狀態。

如何判斷 eRDMA 是否真正提升了訓練效能？

可以通過以下方式對比：

1. 分別提交使用 eRDMA 和不使用 eRDMA 的訓練作業（通過是否添加 --device=aliyun/erdma=1 區分）。

2. 對比相同訓練步數下的完成時間。

3. 使用 AI Profiling 工具分析通訊時間佔比。

通常在多節點（2 個以上）、模型參數量較大（數十億參數以上）的情境下，eRDMA 的效能提升最為明顯。

Arena 提交作業失敗，提示資源不足怎麼辦？

可能的原因包括：

• GPU 或 eRDMA 資源不足。

• 節點不滿足調度條件（如節點選取器、汙點容忍）。

解決方案：

1. 執行 kubectl get nodes 查看節點狀態和可用資源。

2. 執行 kubectl describe pod <pod名> 查看 Pod 調度失敗的詳細原因。

3. 根據提示調整資源請求或增加節點。

Arena提交作業核心參數說明。

NCCL 環境變數配置（用於最佳化分布式通訊）：

更多 NCCL 環境變數說明，請參見 NCCL 官方文檔。

如何構建生產環境支援 eRDMA 的容器鏡像？

使用 eRDMA 需要在容器中安裝 RDMA 使用者態庫和驅動。以下 Dockerfile 樣本基於 PyTorch 官方鏡像，整合了 eRDMA 驅動程式和 MNIST 訓練樣本。

構建生產環境支援 eRDMA 的容器鏡像，更多資訊，請參見在容器（Docker）中啟用eRDMA。

ARG PYTORCH_IMAGE=docker.io/pytorch/pytorch:2.5.1-cuda12.4-cudnn9-runtime

FROM docker.io/library/alpine:3.22.1 AS downloader

WORKDIR /workspace

RUN apk add git wget gzip

RUN mkdir -p /workspace/MNIST/raw && \
    cat <<EOF > /workspace/MNIST/raw/checksums.md5
f68b3c2dcbeaaa9fbdd348bbdeb94873 train-images-idx3-ubyte.gz
d53e105ee54ea40749a09fcbcd1e9432 train-labels-idx1-ubyte.gz
9fb629c4189551a2d022fa330f9573f3 t10k-images-idx3-ubyte.gz
ec29112dd5afa0611ce80d1b7f02629c t10k-labels-idx1-ubyte.gz
EOF

RUN cd /workspace/MNIST/raw && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/train-images-idx3-ubyte.gz && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/train-labels-idx1-ubyte.gz && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/t10k-images-idx3-ubyte.gz && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/t10k-labels-idx1-ubyte.gz && \
    md5sum -c checksums.md5 && \
    rm checksums.md5 && \
    gzip -d *.gz

RUN git clone https://github.com/kubeflow/arena.git -b v0.15.2

FROM ${PYTORCH_IMAGE}

WORKDIR /workspace

COPY --from=downloader /workspace .

RUN set -eux && \
    apt update && \
    apt install -y wget gpg && \
    wget -qO - https://mirrors.aliyun.com/erdma/GPGKEY | gpg --dearmour -o /etc/apt/trusted.gpg.d/erdma.gpg && \
    echo "deb [ ] https://mirrors.aliyun.com/erdma/apt/ubuntu jammy/erdma main" > /etc/apt/sources.list.d/erdma.list && \
    apt update && \
    apt install -y libibverbs1 ibverbs-providers ibverbs-utils librdmacm1 && \
    pip install --no-cache-dir -r /workspace/arena/examples/pytorch/mnist/requirements.txt && \
    rm -rf /var/lib/apt/lists/*