Container Service for Kubernetes:Use eRDMA to accelerate container networks in ACK clusters

eRDMA aygıt erişimini etkinleştirin

Konteynerin kaynak sınırlarında aliyun/erdma kaynağını bildirin:

spec:
  containers:
  - name: erdma-container
    resources:
      limits:
        aliyun/erdma: 1

Pod başladıktan sonra eRDMA aygıtlarının kullanılabilir olduğunu doğrulayın:

/# ls /dev/infiniband/
rdma_cm  uverbs0

SMC-R ile şeffaf TCP hızlandırmasını etkinleştirin

SMC-R, kod değişikliği gerektirmeden TCP bağlantılarını RDMA üzerinden şeffaf bir şekilde hızlandırır. eRDMA aygıt erişimini etkinleştirdikten sonra aşağıdaki açıklamayı ekleyin:

metadata:
  annotations:
    network.alibabacloud.com/erdma-smcr: "true"

GPU dağıtık eğitimi için NCCL iletişimini hızlandırın

Dağıtık eğitim çalıştıran GPU hızlandırmalı örnekler için bu senaryoyu kullanın. Pod'lar ofed sürücüsünü kullanır ve GPU ile eRDMA kaynaklarını ister.

1. preferDriver değeri ofed olarak ayarlanmış şekilde ACK eRDMA Denetleyicisi'ni yükleyin.

2. Düğüm havuzuna GPU düğümleri ekleyin. Bkz. Düğüm havuzları oluşturma ve yönetme.

3. Derleme sırasında konteyner görüntüsüne eRDMA paketlerini yükleyin. Debian veya Ubuntu için ({OS|ubuntu} ve {Version|focal} yerine kendi değerlerinizi yazın):

   wget -qO - https://mirrors.aliyun.com/erdma/GPGKEY | apt-key add - \
     && echo "deb [ arch=amd64 ] https://mirrors.aliyun.com/erdma/apt/{OS|ubuntu} {Version|focal}/erdma main" \
       | tee /etc/apt/sources.list.d/erdma.list \
     && apt update \
     && apt install -y libibverbs1 ibverbs-providers ibverbs-utils librdmacm1

   Alibaba Cloud Linux veya RHEL için:

   cat > /etc/yum.repos.d/erdma.repo <<EOF
   [erdma]
   name = ERDMA Repository
   baseurl = http://mirrors.aliyun.com/erdma/yum/redhat/7/erdma/x86_64/
   gpgcheck = 0
   enabled = 1
   EOF
   yum install --disablerepo=* --enablerepo erdma -y libibverbs ibverbs-providers ibverbs-utils librdmacm

4. GPU uygulamasını dağıtın. Bu StatefulSet, her biri 8 GPU ve bir eRDMA aygıtına sahip iki çoğaltma üzerinde nccl-test çalıştırır:

   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: nccltest
   spec:
     selector:
       matchLabels:
         app: nccltest
     serviceName: "nccltest"
     replicas: 2
     template:
       metadata:
         labels:
           app: nccltest
       spec:
         hostNetwork: true
         dnsPolicy: ClusterFirstWithHostNet
         containers:
         - env:
           - name: NCCL_SOCKET_IFNAME
             value: "eth0"
           - name: NCCL_DEBUG
             value: "INFO"
           - name: NCCL_IB_GID_INDEX
             value: "1"
           image: <nccl-test-image-with-erdma>
           imagePullPolicy: Always
           name: nccltest
           securityContext:
             privileged: true
           resources:
             limits:
               nvidia.com/gpu: "8"
               aliyun/erdma: "1"
             requests:
               nvidia.com/gpu: "8"
               aliyun/erdma: "1"

5. NCCL'nin eRDMA kullandığını doğrulayın. Günlüklerde erdma_0 ve erdma_1 öğelerinin etkin olarak gösterilmesi, eRDMA hızlandırmasının aktif olduğunu doğrular.

   

Uygulama ağlarını SMC-R ile şeffaf bir şekilde hızlandırın

Kod değişikliği gerektirmeden eRDMA hızlandırmasına ihtiyaç duyan standart TCP iş yükleri için bu senaryoyu kullanın. preferDriver değerini default olarak ayarlayın.

1. preferDriver değeri default olarak ayarlanmış şekilde ACK eRDMA Denetleyicisi'ni yükleyin.

2. Uygulamayı SMC-R açıklamasıyla dağıtın. Bu Dağıtım, eRDMA aygıt erişimini ve SMC-R hızlandırmasını etkinleştirir:

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     labels:
       app: app-with-erdma
     name: app-with-erdma
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: app-with-erdma
     template:
       metadata:
         labels:
           app: app-with-erdma
         annotations:
           network.alibabacloud.com/erdma-smcr: "true"
       spec:
         containers:
         - image: <application image>
           imagePullPolicy: Always
           name: app-with-erdma
           resources:
             limits:
               aliyun/erdma: 1

3. Hızlandırmayı doğrulayın. Konteynere smc-tools yükleyin ve smcss komutunu çalıştırın:

   /# smcss
   State          UID   Inode   Local Address           Peer Address            Intf Mode
   ACTIVE         00000 0059964 172.17.192.73:47772     172.17.192.10:80        0000 SMCR

   SMCR ifadesi Mode sütununda, eRDMA hızlandırmasının aktif olduğunu gösterir. TCP gösteriyorsa, hem istemci hem de sunucu pod'larında SMC-R açıklamasının "true" olarak ayarlandığını doğrulayın.