Container Service for Kubernetes:Arena を使用して eRDMA で高速化された PyTorch 分散トレーニングジョブを送信する

ステップ 1: ACK eRDMA Controller をインストールする

以下の手順を実行して ACK eRDMA Controller をインストールできます。

1. クラスター ページで、管理するクラスターを見つけてその名前をクリックします。左側のナビゲーションウィンドウで、[アドオン] をクリックします。

2. [アドオン] ページで、[ネットワーキング] タブをクリックし、ACK eRDMA Controller を見つけ、ページの手順に従ってコンポーネントを構成およびインストールします。

   パラメーター	説明
   preferDriver ドライバータイプ	クラスターノードで使用される eRDMA ドライバーのタイプを選択します。有効な値: default: デフォルトのドライバーモード。 compat: RDMA over Converged Ethernet (RoCE) と互換性のあるドライバーモード。 ofed: ofed ベースのドライバーモードで、GPU モデルに適用できます。 ドライバーのタイプの詳細については、「eRDMA を有効にする」をご参照ください。
   ノードのすべての ERDMA デバイスを Pod に割り当てるかどうかを指定します	有効な値: True: このチェックボックスを選択すると、ノード上のすべての eRDMA デバイスが Pod に割り当てられます。 False: このチェックボックスを選択しない場合、Pod には非均一メモリアクセス (NUMA) トポロジーに基づいて eRDMA デバイスが割り当てられます。NUMA を Pod とデバイスに割り当てられるようにするには、ノードの静的 CPU ポリシーを有効にする必要があります。CPU ポリシーの構成方法の詳細については、「ノードプールを作成および管理する」をご参照ください。

   左側のナビゲーションウィンドウで、[ワークロード] > [Pod] を選択します。[Pod] ページで、ack-erdma-controller 名前空間を選択して Pod のステータスを表示し、コンポーネントが期待どおりに実行されていることを確認します。

ログに NET/IB : Using erdma_0 が表示されないのはなぜですか？

考えられる理由は次のとおりです:

• --device=aliyun/erdma=1 パラメーターが送信コマンドに追加されていませんでした。

• ノードが eRDMA をサポートしていないか、eRDMA Controller コンポーネントが正しくインストールされていません。

• コンテナイメージに `libibverbs` や `librdmacm` などの RDMA ユーザーモードライブラリがありません。

解決策:

1. kubectl get node <node_name> -o jsonpath='{.status.allocatable}' を実行して、ノードに aliyun/erdma リソースがあることを確認します。

2. ノードにログインし、ibv_devinfo を実行して eRDMA デバイスが正常に機能しているか確認します。

3. コンテナイメージに必要な RDMA ライブラリが含まれていることを確認します。

トレーニング中に NCCL タイムアウトエラーが発生した場合はどうすればよいですか？

NCCL のタイムアウトは通常、ネットワークの不安定性または不適切な構成が原因で発生します。この問題を解決するには、次のことを試すことができます:

1. タイムアウト期間を延長する: --env NCCL_IB_TIMEOUT=23 を設定します (デフォルトは 22 です)。

2. リトライ回数を増やす: --env NCCL_IB_RETRY_CNT=10 を設定します。

3. ノード間のネットワーク接続と eRDMA デバイスのステータスを確認します。

eRDMA がトレーニングパフォーマンスを向上させたかどうかを判断するにはどうすればよいですか？

次の手順に従ってパフォーマンスを比較できます:

1. 2 つのトレーニングジョブを送信します。1 つは eRDMA を使用し、もう 1 つは使用しません。--device=aliyun/erdma=1 パラメーターを追加または省略することで、それらを区別できます。

2. 同じトレーニングステップ数での完了時間を比較します。

3. AI プロファイリングツールを使用して、通信に費やされた時間の割合を分析します。

通常、eRDMA によるパフォーマンスの向上は、複数のノード (2 つ以上) と大規模なモデル (数十億以上のパラメーター) を持つシナリオで最も顕著です。

リソース不足エラーで Arena ジョブの送信が失敗した場合はどうすればよいですか？

考えられる理由は次のとおりです:

• GPU または eRDMA リソースが不足しています。

• ノードが、ノードセレクターや Taint Toleration などのスケジューリング条件を満たしていません。

解決策:

1. kubectl get nodes を実行して、ノードのステータスと利用可能なリソースを表示します。

2. kubectl describe pod <pod_name> を実行して、Pod のスケジューリング失敗の詳細な理由を表示します。

3. リソースリクエストを調整するか、要件を満たすためにノードを追加します。

コアジョブパラメーター

NCCL 環境変数構成 (分散通信の最適化のため):

NCCL 環境変数の詳細については、「公式 NCCL ドキュメント」をご参照ください。

本番環境で eRDMA をサポートするコンテナイメージをビルドするにはどうすればよいですか？

eRDMA を使用するには、コンテナに RDMA ユーザーモードライブラリとドライバーをインストールする必要があります。次の Dockerfile の例は、公式の PyTorch イメージに基づいており、eRDMA ドライバーと MNIST トレーニングの例 を統合しています。

eRDMA をサポートする本番コンテナイメージをビルドします。詳細については、「コンテナ (Docker) で eRDMA を有効にする」をご参照ください。

ARG PYTORCH_IMAGE=docker.io/pytorch/pytorch:2.5.1-cuda12.4-cudnn9-runtime

FROM docker.io/library/alpine:3.22.1 AS downloader

WORKDIR /workspace

RUN apk add git wget gzip

RUN mkdir -p /workspace/MNIST/raw && \
    cat <<EOF > /workspace/MNIST/raw/checksums.md5
f68b3c2dcbeaaa9fbdd348bbdeb94873 train-images-idx3-ubyte.gz
d53e105ee54ea40749a09fcbcd1e9432 train-labels-idx1-ubyte.gz
9fb629c4189551a2d022fa330f9573f3 t10k-images-idx3-ubyte.gz
ec29112dd5afa0611ce80d1b7f02629c t10k-labels-idx1-ubyte.gz
EOF

RUN cd /workspace/MNIST/raw && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/train-images-idx3-ubyte.gz && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/train-labels-idx1-ubyte.gz && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/t10k-images-idx3-ubyte.gz && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/t10k-labels-idx1-ubyte.gz && \
    md5sum -c checksums.md5 && \
    rm checksums.md5 && \
    gzip -d *.gz

RUN git clone https://github.com/kubeflow/arena.git -b v0.15.2

FROM ${PYTORCH_IMAGE}

WORKDIR /workspace

COPY --from=downloader /workspace .

RUN set -eux && \
    apt update && \
    apt install -y wget gpg && \
    wget -qO - https://mirrors.aliyun.com/erdma/GPGKEY | gpg --dearmour -o /etc/apt/trusted.gpg.d/erdma.gpg && \
    echo "deb [ ] https://mirrors.aliyun.com/erdma/apt/ubuntu jammy/erdma main" > /etc/apt/sources.list.d/erdma.list && \
    apt update && \
    apt install -y libibverbs1 ibverbs-providers ibverbs-utils librdmacm1 && \
    pip install --no-cache-dir -r /workspace/arena/examples/pytorch/mnist/requirements.txt && \
    rm -rf /var/lib/apt/lists/*