Container Service for Kubernetes：Gunakan eRDMA untuk mempercepat jaringan kontainer di kluster ACK

Langkah 1: Instal ACK eRDMA Controller

Ikuti langkah-langkah berikut untuk menginstal ACK eRDMA Controller.

1. Pada halaman Clusters, klik nama kluster target. Di panel navigasi sebelah kiri, klik Add-ons.

2. Pada halaman Add-ons, klik tab Networking, temukan ACK eRDMA Controller, lalu ikuti petunjuk pada halaman tersebut untuk mengonfigurasi dan menginstal komponen ini.

   Parameter	Deskripsi
   preferDriver Driver type	Pilih tipe driver eRDMA yang digunakan pada node kluster. Nilai yang valid: default: Mode driver default. compat: Mode driver yang kompatibel dengan RDMA over Converged Ethernet (RoCE). ofed: Mode driver berbasis ofed, yang berlaku untuk model GPU. Untuk informasi selengkapnya mengenai jenis-jenis driver, lihat Enable eRDMA.
   Specifies whether to assign all eRDMA devices of nodes to pods	Nilai yang valid: True: Jika Anda memilih kotak centang ini, semua perangkat eRDMA pada node dialokasikan ke pod. False: Jika Anda tidak memilih kotak centang ini, pod dialokasikan satu perangkat eRDMA berdasarkan topologi non-uniform memory access (NUMA). Anda harus mengaktifkan kebijakan CPU statis untuk node guna memastikan NUMA dapat dialokasikan ke pod dan perangkat. Untuk informasi selengkapnya mengenai cara mengonfigurasi kebijakan CPU, lihat Create and manage node pools.

   Di panel navigasi sebelah kiri, pilih Workloads > Pods. Pada halaman Pods, pilih namespace ack-erdma-controller untuk melihat status pod dan memastikan komponen berjalan sesuai harapan.

Langkah 2: Gunakan eRDMA untuk mempercepat jaringan kontainer

Setelah menginstal ACK eRDMA Controller, Anda dapat menggunakan konfigurasi berikut untuk mengaktifkan eRDMA pada pod.

spec:
  containers:
  - name: erdma-container
    resources:
      limits:
        aliyun/erdma: 1

/# ls /dev/infiniband/
rdma_cm  uverbs0

metadata:
  annotations:
    network.alibabacloud.com/erdma-smcr: "true"

Skenario 1: Model GPU menggunakan eRDMA untuk mempercepat NCCL

1. Saat menginstal ACK eRDMA Controller berdasarkan Langkah 1: Instal ACK eRDMA Controller, atur parameter preferDriver ke ofed untuk mempercepat Nvidia Collective Communication Library (NCCL).

2. Tambahkan node yang dipercepat GPU ke kelompok node. Untuk informasi selengkapnya, lihat Create and manage node pools.

3. Instal paket terkait eRDMA saat membangun gambar kontainer aplikasi.

   Lihat paket terkait eRDMA yang telah diinstal

   # Debian atau Ubuntu: Pastikan nama dan versi OS di sources.list sama dengan yang Anda gunakan.
   wget -qO - https://mirrors.aliyun.com/erdma/GPGKEY | apt-key add - && echo "deb [ arch=amd64 ] https://mirrors.aliyun.com/erdma/apt/{OS|ubuntu} {Version|focal}/erdma main" | tee /etc/apt/sources.list.d/erdma.list && apt update && apt install -y libibverbs1 ibverbs-providers ibverbs-utils librdmacm
   
   # Untuk Alibaba Cloud Linux atau Red Hat Enterprise Linux (RHEL), tentukan alamat repositori OS di direktori yum.repos.d.
   cat > /etc/yum.repos.d/erdma.repo <<EOF
   [erdma]
   name = ERDMA Repository
   baseurl = http://mirrors.aliyun.com/erdma/yum/redhat/7/erdma/x86_64/
   gpgcheck = 0
   enabled = 1
   EOF
   yum install --disablerepo=*  --enablerepo erdma -y libibverbs ibverbs-providers ibverbs-utils librdmacm

4. Jalankan aplikasi GPU yang menggunakan eRDMA di kluster. Contoh yang digunakan adalah nccl-test.

   Lihat contoh templat aplikasi GPU yang menggunakan eRDMA

   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: nccltest
   spec:
     selector:
       matchLabels:
         app: nccltest
     serviceName: "nccltest"
     replicas: 2
     template:
       metadata:
         labels:
           app: nccltest
       spec:
         hostNetwork: true 
         dnsPolicy: ClusterFirstWithHostNet
         containers:
         - env:
           - name: NCCL_SOCKET_IFNAME
             value: "eth0"
           - name: NCCL_DEBUG
             value: "INFO"
           - name: NCCL_IB_GID_INDEX
             value: "1"
           image: <nccl-test-image-with-erdma>
           imagePullPolicy: Always
           name: nccltest
           securityContext:
             privileged: true
           resources:
             limits:
               nvidia.com/gpu: "8"
               aliyun/erdma: "1"
             requests:
               nvidia.com/gpu: "8"
               aliyun/erdma: "1"

5. Verifikasi bahwa eRDMA digunakan oleh NCCL.

   Anda dapat memeriksa jenis komunikasi dan jumlah antarmuka jaringan yang digunakan oleh NCCL di log aplikasi. Contoh:

   

   Output perintah menunjukkan bahwa perangkat eRDMA erdma_0 dan erdma_1 dipercepat.