Container Service for Kubernetes：Kirim pekerjaan pelatihan terdistribusi PyTorch yang dipercepat eRDMA menggunakan Arena

Langkah 1: Instal ACK eRDMA Controller

Ikuti langkah-langkah berikut untuk menginstal ACK eRDMA Controller.

1. Pada halaman Clusters, temukan kluster yang ingin Anda kelola lalu klik namanya. Di panel navigasi kiri, klik Add-ons.

2. Pada halaman Add-ons, klik tab Networking, temukan ACK eRDMA Controller, lalu ikuti petunjuk di halaman tersebut untuk mengonfigurasi dan menginstal komponen.

   Parameter	Deskripsi
   preferDriver Driver type	Pilih tipe driver eRDMA yang digunakan pada node kluster. Nilai yang valid: default: Mode driver default. compat: Mode driver yang kompatibel dengan RDMA over Converged Ethernet (RoCE). ofed: Mode driver berbasis ofed, yang berlaku untuk model GPU. Untuk informasi selengkapnya tentang jenis-jenis driver, lihat Aktifkan eRDMA.
   Specifies whether to assign all eRDMA devices of nodes to pods	Nilai yang valid: True: Jika Anda memilih kotak centang ini, semua perangkat eRDMA pada node dialokasikan ke pod. False: Jika Anda tidak memilih kotak centang ini, pod dialokasikan satu perangkat eRDMA berdasarkan topologi akses memori non-seragam (NUMA). Anda harus mengaktifkan kebijakan CPU statis untuk node guna memastikan NUMA dapat dialokasikan ke pod dan perangkat. Untuk informasi selengkapnya tentang cara mengonfigurasi kebijakan CPU, lihat Buat dan kelola kelompok node.

   Di panel navigasi sebelah kiri, pilih Workloads > Pods. Pada halaman Pods, pilih namespace ack-erdma-controller untuk melihat status pod dan memastikan komponen berjalan sesuai harapan.

Mengapa log tidak menampilkan NET/IB : Using erdma_0?

Kemungkinan penyebabnya meliputi:

• Parameter --device=aliyun/erdma=1 tidak ditambahkan ke perintah pengiriman.

• Node tidak mendukung eRDMA, atau komponen eRDMA Controller tidak diinstal dengan benar.

• Gambar kontainer tidak memiliki pustaka mode pengguna RDMA, seperti `libibverbs` dan `librdmacm`.

Solusi:

1. Jalankan kubectl get node <node_name> -o jsonpath='{.status.allocatable}' untuk memastikan node memiliki sumber daya aliyun/erdma.

2. Masuk ke node dan jalankan ibv_devinfo untuk memeriksa apakah perangkat eRDMA berfungsi dengan benar.

3. Verifikasi bahwa gambar kontainer berisi pustaka RDMA yang diperlukan.

Apa yang harus saya lakukan jika terjadi kesalahan timeout NCCL selama pelatihan?

Timeout NCCL biasanya disebabkan oleh ketidakstabilan jaringan atau konfigurasi yang salah. Untuk mengatasi masalah ini, Anda dapat mencoba hal berikut:

1. Tingkatkan periode timeout: Tetapkan --env NCCL_IB_TIMEOUT=23 (default adalah 22).

2. Tingkatkan jumlah percobaan ulang: Tetapkan --env NCCL_IB_RETRY_CNT=10.

3. Periksa konektivitas jaringan antar-node dan status perangkat eRDMA.

Bagaimana cara menentukan apakah eRDMA telah meningkatkan performa pelatihan?

Anda dapat membandingkan performa dengan langkah-langkah berikut:

1. Kirim dua pekerjaan pelatihan: satu yang menggunakan eRDMA dan satu yang tidak. Anda dapat membedakannya dengan menambahkan atau menghilangkan parameter --device=aliyun/erdma=1.

2. Bandingkan waktu penyelesaian untuk jumlah langkah pelatihan yang sama.

3. Gunakan alat AI Profiling untuk menganalisis proporsi waktu yang dihabiskan untuk komunikasi.

Umumnya, peningkatan performa dari eRDMA paling signifikan dalam skenario dengan banyak node (lebih dari dua) dan model besar (miliaran parameter atau lebih).

Apa yang harus saya lakukan jika pengiriman pekerjaan Arena gagal dengan kesalahan sumber daya tidak mencukupi?

Kemungkinan penyebabnya meliputi:

• Sumber daya GPU atau eRDMA tidak mencukupi.

• Node tidak memenuhi kondisi penjadwalan, seperti selector node atau toleransi taint.

Solusi:

1. Jalankan kubectl get nodes untuk melihat status node dan sumber daya yang tersedia.

2. Jalankan kubectl describe pod <pod_name> untuk melihat alasan detail kegagalan penjadwalan pod.

3. Sesuaikan permintaan sumber daya atau tambahkan lebih banyak node untuk memenuhi persyaratan.

Parameter inti pekerjaan

Konfigurasi variabel lingkungan NCCL (untuk mengoptimalkan komunikasi terdistribusi):

Untuk informasi selengkapnya tentang variabel lingkungan NCCL, lihat dokumentasi resmi NCCL.

Bagaimana cara membuat gambar kontainer yang mendukung eRDMA untuk lingkungan produksi?

Untuk menggunakan eRDMA, Anda harus menginstal pustaka dan driver mode pengguna RDMA dalam kontainer. Contoh Dockerfile berikut didasarkan pada citra PyTorch resmi dan mengintegrasikan driver eRDMA serta contoh pelatihan MNIST.

Buat gambar kontainer produksi yang mendukung eRDMA. Untuk informasi selengkapnya, lihat Aktifkan eRDMA dalam kontainer (Docker).

ARG PYTORCH_IMAGE=docker.io/pytorch/pytorch:2.5.1-cuda12.4-cudnn9-runtime

FROM docker.io/library/alpine:3.22.1 AS downloader

WORKDIR /workspace

RUN apk add git wget gzip

RUN mkdir -p /workspace/MNIST/raw && \
    cat <<EOF > /workspace/MNIST/raw/checksums.md5
f68b3c2dcbeaaa9fbdd348bbdeb94873 train-images-idx3-ubyte.gz
d53e105ee54ea40749a09fcbcd1e9432 train-labels-idx1-ubyte.gz
9fb629c4189551a2d022fa330f9573f3 t10k-images-idx3-ubyte.gz
ec29112dd5afa0611ce80d1b7f02629c t10k-labels-idx1-ubyte.gz
EOF

RUN cd /workspace/MNIST/raw && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/train-images-idx3-ubyte.gz && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/train-labels-idx1-ubyte.gz && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/t10k-images-idx3-ubyte.gz && \
    wget https://ossci-datasets.s3.amazonaws.com/mnist/t10k-labels-idx1-ubyte.gz && \
    md5sum -c checksums.md5 && \
    rm checksums.md5 && \
    gzip -d *.gz

RUN git clone https://github.com/kubeflow/arena.git -b v0.15.2

FROM ${PYTORCH_IMAGE}

WORKDIR /workspace

COPY --from=downloader /workspace .

RUN set -eux && \
    apt update && \
    apt install -y wget gpg && \
    wget -qO - https://mirrors.aliyun.com/erdma/GPGKEY | gpg --dearmour -o /etc/apt/trusted.gpg.d/erdma.gpg && \
    echo "deb [ ] https://mirrors.aliyun.com/erdma/apt/ubuntu jammy/erdma main" > /etc/apt/sources.list.d/erdma.list && \
    apt update && \
    apt install -y libibverbs1 ibverbs-providers ibverbs-utils librdmacm1 && \
    pip install --no-cache-dir -r /workspace/arena/examples/pytorch/mnist/requirements.txt && \
    rm -rf /var/lib/apt/lists/*