Container Service for Kubernetes:ACK クラスターのコンテナネットワークを eRDMA で高速化

eRDMA デバイスアクセスの有効化

コンテナのリソース制限で aliyun/erdma リソースを宣言します。

spec:
  containers:
  - name: erdma-container
    resources:
      limits:
        aliyun/erdma: 1

Pod の起動後、eRDMA デバイスが利用可能であることを確認します。

/# ls /dev/infiniband/
rdma_cm  uverbs0

SMC-R による透過的な TCP 高速化の有効化

SMC-R は、コードを変更することなく、RDMA を介して TCP 接続を透過的に高速化します。eRDMA デバイスアクセスを有効にした後、次のアノテーションを追加します。

metadata:
  annotations:
    network.alibabacloud.com/erdma-smcr: "true"

GPU 分散トレーニングのための NCCL 通信の高速化

このシナリオは、分散トレーニングを実行する GPU コンピューティング型インスタンスで使用します。Pod は ofed ドライバーを使用し、GPU と eRDMA リソースをリクエストします。

1. preferDriver を ofed に設定して ACK eRDMA Controller をインストールします。

2. GPU ノードをノードプールに追加します。詳細については、「ノードプールの作成と管理」をご参照ください。

3. ビルド時にコンテナイメージに eRDMA パッケージをインストールします。Debian または Ubuntu の場合 (ご利用の環境に合わせて {OS|ubuntu} と {Version|focal} を置き換えてください)：

   wget -qO - https://mirrors.aliyun.com/erdma/GPGKEY | apt-key add - \
     && echo "deb [ arch=amd64 ] https://mirrors.aliyun.com/erdma/apt/{OS|ubuntu} {Version|focal}/erdma main" \
       | tee /etc/apt/sources.list.d/erdma.list \
     && apt update \
     && apt install -y libibverbs1 ibverbs-providers ibverbs-utils librdmacm1

   Alibaba Cloud Linux または RHEL の場合：

   cat > /etc/yum.repos.d/erdma.repo <<EOF
   [erdma]
   name = ERDMA Repository
   baseurl = http://mirrors.aliyun.com/erdma/yum/redhat/7/erdma/x86_64/
   gpgcheck = 0
   enabled = 1
   EOF
   yum install --disablerepo=* --enablerepo erdma -y libibverbs ibverbs-providers ibverbs-utils librdmacm

4. GPU アプリケーションをデプロイします。この StatefulSet は、それぞれ 8 つの GPU と 1 つの eRDMA デバイスを持つ 2 つのレプリカで nccl-test を実行します：

   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: nccltest
   spec:
     selector:
       matchLabels:
         app: nccltest
     serviceName: "nccltest"
     replicas: 2
     template:
       metadata:
         labels:
           app: nccltest
       spec:
         hostNetwork: true
         dnsPolicy: ClusterFirstWithHostNet
         containers:
         - env:
           - name: NCCL_SOCKET_IFNAME
             value: "eth0"
           - name: NCCL_DEBUG
             value: "INFO"
           - name: NCCL_IB_GID_INDEX
             value: "1"
           image: <nccl-test-image-with-erdma>
           imagePullPolicy: Always
           name: nccltest
           securityContext:
             privileged: true
           resources:
             limits:
               nvidia.com/gpu: "8"
               aliyun/erdma: "1"
             requests:
               nvidia.com/gpu: "8"
               aliyun/erdma: "1"

5. NCCL が eRDMA を使用していることを確認します。ログに erdma_0 と erdma_1 がアクティブとして表示され、eRDMA による高速化が確認できます。

   

SMC-R によるアプリケーションネットワークの透過的な高速化

このシナリオは、コードの変更なしで eRDMA 高速化が必要な標準的な TCP ワークロードで使用します。preferDriver を default に設定します。

1. preferDriver を default に設定して ACK eRDMA Controller をインストールします。

2. SMC-R アノテーションを付けてアプリケーションをデプロイします。この Deployment は、eRDMA デバイスアクセスと SMC-R 高速化を有効にします：

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     labels:
       app: app-with-erdma
     name: app-with-erdma
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: app-with-erdma
     template:
       metadata:
         labels:
           app: app-with-erdma
         annotations:
           network.alibabacloud.com/erdma-smcr: "true"
       spec:
         containers:
         - image: <application image>
           imagePullPolicy: Always
           name: app-with-erdma
           resources:
             limits:
               aliyun/erdma: 1

3. 高速化を確認します。コンテナに smc-tools をインストールし、smcss を実行します：

   /# smcss
   State          UID   Inode   Local Address           Peer Address            Intf Mode
   ACTIVE         00000 0059964 172.17.192.73:47772     172.17.192.10:80        0000 SMCR

   SMCR in the Mode column confirms eRDMA acceleration is active. If it shows TCP, verify both client and server pods have the SMC-R annotation set to "true".