Container Service for Kubernetes:Gunakan eRDMA untuk mempercepat jaringan kontainer di kluster ACK

Aktifkan akses perangkat eRDMA

Deklarasikan resource aliyun/erdma dalam batas resource kontainer:

spec:
  containers:
  - name: erdma-container
    resources:
      limits:
        aliyun/erdma: 1

Setelah Pod berjalan, verifikasi ketersediaan perangkat eRDMA:

/# ls /dev/infiniband/
rdma_cm  uverbs0

Aktifkan akselerasi TCP transparan dengan SMC-R

SMC-R secara transparan mempercepat koneksi TCP melalui RDMA tanpa perubahan kode. Setelah mengaktifkan akses perangkat eRDMA, tambahkan anotasi berikut:

metadata:
  annotations:
    network.alibabacloud.com/erdma-smcr: "true"

Percepat komunikasi NCCL untuk pelatihan terdistribusi GPU

Gunakan skenario ini untuk instans yang dipercepat GPU yang menjalankan pelatihan terdistribusi. Pod menggunakan driver ofed dan meminta resource GPU serta eRDMA.

1. Instal ACK eRDMA Controller dengan preferDriver diatur ke ofed.

2. Tambahkan node GPU ke kelompok node. Lihat Buat dan kelola kelompok node.

3. Instal paket eRDMA dalam gambar kontainer saat proses build. Untuk Debian atau Ubuntu (ganti {OS|ubuntu} dan {Version|focal} dengan nilai Anda):

   wget -qO - https://mirrors.aliyun.com/erdma/GPGKEY | apt-key add - \
     && echo "deb [ arch=amd64 ] https://mirrors.aliyun.com/erdma/apt/{OS|ubuntu} {Version|focal}/erdma main" \
       | tee /etc/apt/sources.list.d/erdma.list \
     && apt update \
     && apt install -y libibverbs1 ibverbs-providers ibverbs-utils librdmacm1

   Untuk Alibaba Cloud Linux atau RHEL:

   cat > /etc/yum.repos.d/erdma.repo <<EOF
   [erdma]
   name = ERDMA Repository
   baseurl = http://mirrors.aliyun.com/erdma/yum/redhat/7/erdma/x86_64/
   gpgcheck = 0
   enabled = 1
   EOF
   yum install --disablerepo=* --enablerepo erdma -y libibverbs ibverbs-providers ibverbs-utils librdmacm

4. Sebarkan aplikasi GPU. StatefulSet berikut menjalankan nccl-test di dua replika, masing-masing dengan 8 GPU dan satu perangkat eRDMA:

   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: nccltest
   spec:
     selector:
       matchLabels:
         app: nccltest
     serviceName: "nccltest"
     replicas: 2
     template:
       metadata:
         labels:
           app: nccltest
       spec:
         hostNetwork: true
         dnsPolicy: ClusterFirstWithHostNet
         containers:
         - env:
           - name: NCCL_SOCKET_IFNAME
             value: "eth0"
           - name: NCCL_DEBUG
             value: "INFO"
           - name: NCCL_IB_GID_INDEX
             value: "1"
           image: <nccl-test-image-with-erdma>
           imagePullPolicy: Always
           name: nccltest
           securityContext:
             privileged: true
           resources:
             limits:
               nvidia.com/gpu: "8"
               aliyun/erdma: "1"
             requests:
               nvidia.com/gpu: "8"
               aliyun/erdma: "1"

5. Verifikasi bahwa NCCL menggunakan eRDMA. Log harus menampilkan erdma_0 dan erdma_1 sebagai aktif, yang mengonfirmasi akselerasi eRDMA.

   

Percepat jaringan aplikasi secara transparan dengan SMC-R

Gunakan skenario ini untuk beban kerja TCP standar yang memerlukan akselerasi eRDMA tanpa perubahan kode. Atur preferDriver ke default.

1. Instal ACK eRDMA Controller dengan preferDriver diatur ke default.

2. Sebarkan aplikasi dengan anotasi SMC-R. Penyebaran berikut mengaktifkan akses perangkat eRDMA dan akselerasi SMC-R:

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     labels:
       app: app-with-erdma
     name: app-with-erdma
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: app-with-erdma
     template:
       metadata:
         labels:
           app: app-with-erdma
         annotations:
           network.alibabacloud.com/erdma-smcr: "true"
       spec:
         containers:
         - image: <application image>
           imagePullPolicy: Always
           name: app-with-erdma
           resources:
             limits:
               aliyun/erdma: 1

3. Verifikasi akselerasi. Instal smc-tools di dalam kontainer dan jalankan smcss:

   /# smcss
   State          UID   Inode   Local Address           Peer Address            Intf Mode
   ACTIVE         00000 0059964 172.17.192.73:47772     172.17.192.10:80        0000 SMCR

   SMCR pada kolom Mode mengonfirmasi bahwa akselerasi eRDMA aktif. Jika menampilkan TCP, pastikan kedua Pod (klien dan server) memiliki anotasi SMC-R yang diatur ke "true".