Container Service for Kubernetes:Arena を使用した eRDMA アクセラレーションによる PyTorch 分散トレーニングジョブの送信

ステップ 1: ACK eRDMA Controller コンポーネントのインストール

ACK eRDMA Controller コンポーネントをインストールします。

1. クラスターリスト ページで、お使いのクラスターの名前をクリックします。左側のナビゲーションウィンドウで、アドオン管理 をクリックします。

2. [アドオン] ページで、[ネットワーク] タブをクリックし、[ACK eRDMA コントローラー] コンポーネントを見つけ、その後、プロンプトに従って設定およびインストールします。

   構成項目	説明
   preferDriver ドライバータイプ	クラスターノードで使用する eRDMA ドライバータイプを選択します。有効な値は次のとおりです。 default: デフォルトのドライバーモード。 compat: RoCE 互換ドライバーモード。 ofed: OFED ベースのドライバーモード。このモードは GPU インスタンスタイプに適しています。 ドライバータイプの詳細については、「eRDMA の有効化」をご参照ください。
   ポッドにノードのすべての eRDMA デバイスを割り当てるかどうか	有効な値は次のとおりです。 True (選択済み)：ノード上のすべての eRDMA デバイスを Pod に割り当てます。 False (クリア済み)：NUMA トポロジーに基づいて、1 つの eRDMA デバイスを Pod に割り当てます。Pod とデバイスの固定 NUMA 割り当てを確実にするには、ノードで静的 CPU 管理ポリシーを有効にする必要があります。CPU ポリシーの構成方法については、「ノードプールの作成と管理」をご参照ください。

   インストールが完了したら、左側のナビゲーションウィンドウで ワークロード > ポッド を選択します。次に、名前空間を ack-erdma-controller に設定し、Pod のステータスを表示して、コンポーネントが期待どおりに実行されていることを確認します。

ログに NET/IB : Using erdma_0 が表示されないのはなぜですか？

考えられる原因は次のとおりです。

• 送信コマンドに --device=aliyun/erdma=1 パラメーターを追加していません。

• ノードが eRDMA をサポートしていないか、eRDMA Controller アドオンが正しくインストールされていません。

• コンテナイメージに RDMA ユーザーモードライブラリ (libibverbs や librdmacm など) が不足しています。

解決策：

1. kubectl get node <node-name> -o jsonpath='{.status.allocatable}' を実行して、ノードに aliyun/erdma リソースがあることを確認します。

2. ノードにログインし、ibv_devinfo を実行して eRDMA デバイスが機能していることを確認します。

3. コンテナイメージに必要な RDMA ライブラリが含まれていることを確認します。

トレーニング中に NCCL タイムアウトエラーが発生した場合はどうすればよいですか？

NCCL タイムアウトは通常、不安定なネットワークまたは不適切な構成が原因で発生します。次のことを推奨します。

1. タイムアウト値を増やします: --env NCCL_IB_TIMEOUT=23 (デフォルトは 22) を設定します。

2. 再試行回数を増やします: --env NCCL_IB_RETRY_CNT=10 を設定します。

3. ノード間のネットワーク接続と eRDMA デバイスのステータスを確認します。

eRDMA が実際にトレーニングパフォーマンスを向上させるかどうかを判断するにはどうすればよいですか？

次のように結果を比較します。

1. 2 つのトレーニングジョブを送信します。1 つは eRDMA を使用するもの (--device=aliyun/erdma=1 を追加)、もう 1 つは使用しないものです。

2. 同じトレーニングステップ数での完了時間を比較します。

3. AI Profiling ツールを使用して、通信時間の割合を分析します。

eRDMA は、大規模モデル (数十億以上のパラメーター) を使用するマルチノード (2 つ以上のノード) シナリオで最も顕著なパフォーマンス向上をもたらします。

Arena がジョブの送信に失敗し、リソース不足を報告した場合はどうすればよいですか？

考えられる原因は次のとおりです。

• GPU または eRDMA リソースの不足。

• ノードがスケジューリング要件 (ノードセレクターや Taint Toleration など) を満たしていません。

解決策：

1. kubectl get nodes を実行して、ノードステータスと利用可能なリソースを表示します。

2. kubectl describe pod <pod-name> を実行して、Pod スケジューリング失敗の詳細な理由を表示します。

3. リソースリクエストを調整するか、必要に応じてノードを追加します。

主要な Arena ジョブパラメーター

NCCL 環境変数 (分散通信を最適化するため)：

その他の NCCL 環境変数については、NCCL ドキュメントをご参照ください。

本番環境で eRDMA をサポートするコンテナイメージを構築するにはどうすればよいですか？

eRDMA を使用するには、コンテナに RDMA ユーザーモードライブラリとドライバーをインストールします。次の Dockerfile の例は、公式 PyTorch イメージに基づいており、eRDMA ドライバーと MNIST トレーニング例を統合しています。

本番環境で eRDMA をサポートするコンテナイメージの構築の詳細については、「コンテナでの eRDMA の有効化 (Docker)」をご参照ください。

ARG PYTORCH_IMAGE=docker.io/pytorch/pytorch:2.5.1-cuda12.4-cudnn9-runtime

FROM docker.io/library/alpine:3.22.1 AS downloader

WORKDIR /workspace

RUN apk add git wget gzip

RUN mkdir -p /workspace/MNIST/raw && \
    cat <<EOF > /workspace/MNIST/raw/checksums.md5
f68b3c2dcbeaaa9fbdd348bbdeb94873 train-images-idx3-ubyte.gz
d53e105ee54ea40749a09fcbcd1e9432 train-labels-idx1-ubyte.gz
9fb629c4189551a2d022fa330f9573f3 t10k-images-idx3-ubyte.gz
ec29112dd5afa0611ce80d1b7f02629c t10k-labels-idx1-ubyte.gz
EOF

RUN cd /workspace/MNIST/raw && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/train-images-idx3-ubyte.gz && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/train-labels-idx1-ubyte.gz && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/t10k-images-idx3-ubyte.gz && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/t10k-labels-idx1-ubyte.gz && \
    md5sum -c checksums.md5 && \
    rm checksums.md5 && \
    gzip -d *.gz

RUN git clone https://github.com/kubeflow/arena.git -b v0.15.2

FROM ${PYTORCH_IMAGE}

WORKDIR /workspace

COPY --from=downloader /workspace .

RUN set -eux && \
    apt update && \
    apt install -y wget gpg && \
    wget -qO - https://mirrors.aliyun.com/erdma/GPGKEY | gpg --dearmour -o /etc/apt/trusted.gpg.d/erdma.gpg && \
    echo "deb [ ] https://mirrors.aliyun.com/erdma/apt/ubuntu jammy/erdma main" > /etc/apt/sources.list.d/erdma.list && \
    apt update && \
    apt install -y libibverbs1 ibverbs-providers ibverbs-utils librdmacm1 && \
    pip install --no-cache-dir -r /workspace/arena/examples/pytorch/mnist/requirements.txt && \
    rm -rf /var/lib/apt/lists/*