Container Service for Kubernetes:Use eRDMA to accelerate container networks in ACK clusters

Habilitar acesso a dispositivos eRDMA

Declare o recurso aliyun/erdma nos limites de recursos do contêiner:

spec:
  containers:
  - name: erdma-container
    resources:
      limits:
        aliyun/erdma: 1

Após o início do pod, verifique se os dispositivos eRDMA estão disponíveis:

/# ls /dev/infiniband/
rdma_cm  uverbs0

Quando preferDriver está definido como ofed (para instâncias GPU), o diretório /dev/infiniband/ do pod pode não conter o dispositivo rdma_cm e exibir apenas dispositivos como uverbs0. Esse comportamento é esperado, pois frameworks de comunicação como NCCL em cenários de GPU não dependem de rdma_cm, e a aceleração eRDMA não é afetada.

Habilitar aceleração TCP transparente com SMC-R

O SMC-R acelera transparentemente conexões TCP sobre RDMA sem exigir alterações no código. Após habilitar o acesso ao dispositivo eRDMA, adicione a seguinte anotação:

metadata:
  annotations:
    network.alibabacloud.com/erdma-smcr: "true"

Acelerar comunicação NCCL para treinamento distribuído com GPU

Este cenário destina-se a instâncias aceleradas por GPU que executam treinamento distribuído. Os pods utilizam o driver ofed e solicitam recursos de GPU e eRDMA.

1. Instale o ACK eRDMA Controller com preferDriver definido como ofed.

2. Adicione nós GPU ao pool de nós. Os nós GPU precisam ter o driver eRDMA instalado antes de ingressar no cluster: utilize uma imagem com a pilha de software eRDMA pré-instalada (recomendado) ou instale o driver manualmente conforme descrito em Enable eRDMA on GPU instances e, em seguida, confirme a configuração do driver eRDMA e da NIC após o ingresso do nó. Consulte Create and manage node pools.

3. Instale os pacotes eRDMA na imagem do contêiner durante a compilação. Para Debian ou Ubuntu (substitua {OS|ubuntu} e {Version|focal} pelos seus valores):

   wget -qO - https://mirrors.aliyun.com/erdma/GPGKEY | apt-key add - \
     && echo "deb [ arch=amd64 ] https://mirrors.aliyun.com/erdma/apt/{OS|ubuntu} {Version|focal}/erdma main" \
       | tee /etc/apt/sources.list.d/erdma.list \
     && apt update \
     && apt install -y libibverbs1 ibverbs-providers ibverbs-utils librdmacm1

   Para Alibaba Cloud Linux ou RHEL, utilize o diretório de repositório correspondente ao seu sistema operacional:

   cat > /etc/yum.repos.d/erdma.repo <<EOF
   [erdma]
   name = ERDMA Repository
   baseurl = http://mirrors.aliyun.com/erdma/yum/redhat/7/erdma/x86_64/
   gpgcheck = 0
   enabled = 1
   EOF
   yum install --disablerepo=* --enablerepo erdma -y libibverbs ibverbs-providers ibverbs-utils librdmacm

4. Implante a aplicação GPU. Este StatefulSet executa nccl-test em duas réplicas, cada uma com 8 GPUs e um dispositivo eRDMA:

   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: nccltest
   spec:
     selector:
       matchLabels:
         app: nccltest
     serviceName: "nccltest"
     replicas: 2
     template:
       metadata:
         labels:
           app: nccltest
       spec:
         hostNetwork: true
         dnsPolicy: ClusterFirstWithHostNet
         containers:
         - env:
           - name: NCCL_SOCKET_IFNAME
             value: "eth0"
           - name: NCCL_DEBUG
             value: "INFO"
           - name: NCCL_IB_GID_INDEX
             value: "1"
           image: <nccl-test-image-with-erdma>
           imagePullPolicy: Always
           name: nccltest
           securityContext:
             capabilities:
               add:
               - SYS_RESOURCE
               - IPC_LOCK
           resources:
             limits:
               nvidia.com/gpu: "8"
               aliyun/erdma: "1"
             requests:
               nvidia.com/gpu: "8"
               aliyun/erdma: "1"

5. Verifique se o NCCL está utilizando eRDMA. Os logs devem mostrar erdma_0 e erdma_1 como ativos, confirmando a aceleração eRDMA.

   

Acelerar redes de aplicações transparentemente com SMC-R

Indicado para cargas de trabalho TCP padrão que necessitam de aceleração eRDMA sem modificações no código. Defina preferDriver como default.

1. Instale o ACK eRDMA Controller com preferDriver definido como default.

2. Implante a aplicação com a anotação SMC-R. Este Deployment habilita o acesso ao dispositivo eRDMA e a aceleração SMC-R:

   apiVersion: apps/v1
   kind: Deployment
   metadata:
     labels:
       app: app-with-erdma
     name: app-with-erdma
   spec:
     replicas: 2
     selector:
       matchLabels:
         app: app-with-erdma
     template:
       metadata:
         labels:
           app: app-with-erdma
         annotations:
           network.alibabacloud.com/erdma-smcr: "true"
       spec:
         containers:
         - image: <application image>
           imagePullPolicy: Always
           name: app-with-erdma
           resources:
             limits:
               aliyun/erdma: 1

3. Valide a aceleração. Instale smc-tools no contêiner e execute smcss:

   /# smcss
   State          UID   Inode   Local Address           Peer Address            Intf Mode
   ACTIVE         00000 0059964 172.17.192.73:47772     172.17.192.10:80        0000 SMCR

   O valor SMCR na coluna Mode confirma que a aceleração eRDMA está ativa. Se for exibido TCP, verifique se tanto os pods cliente quanto servidor possuem a anotação SMC-R definida como "true".