Container Compute Service:Tentukan model GPU dan versi driver untuk Pod berakselerasi GPU ACS

Model GPU

ACS mendukung berbagai model GPU. Anda dapat menggunakannya melalui capacity reservations atau memintanya secara on demand saat membuat pod. Metode yang digunakan bergantung pada compute class.

• GPU berkinerja tinggi untuk jaringan

  Anda hanya dapat meminta node reservations. Setelah membeli reservations tersebut, Anda harus mengaitkannya dengan kluster Anda. Setiap reservation berjalan sebagai node virtual independen dalam kluster. Untuk informasi selengkapnya, lihat GPU-HPN Capacity Reservation.

• Instans GPU

  Anda dapat menggunakan sumber daya GPU sesuai permintaan atau mengonfigurasi reservasi kapasitas. Setelah membuat Pod, ACS secara otomatis mengurangi sumber daya GPU dari reservasi kapasitas Anda.

Tentukan model GPU untuk pod

Untuk GPU-HPN, Anda hanya dapat meminta node reservations. Setiap reservation berjalan sebagai node virtual dalam kluster. Label node virtual mencakup model GPU. Anda dapat menggunakan node affinity scheduling untuk menjadwalkan pod ke node virtual tersebut. Untuk informasi selengkapnya, lihat Schedule pods to GPU-HPN virtual nodes with attribute labels.

Untuk pod berakselerasi GPU, Anda harus secara eksplisit menentukan model GPU di bidang labels dan nodeSelector pod.

apiVersion: v1
kind: Pod
metadata:
  labels:
    # Tetapkan compute class ke GPU-HPN.
    alibabacloud.com/compute-class: "gpu-hpn"
  name: gpu-example-pod
spec:
  nodeSelector:
 # Tetapkan model GPU ke example-model.
    alibabacloud.com/gpu-model-series: "example-model"
  ...

apiVersion: v1
kind: Pod
metadata:
  labels:
    # Tetapkan compute class ke gpu.
    alibabacloud.com/compute-class: "gpu"
    # Tetapkan model GPU ke example-model, seperti T4.
    alibabacloud.com/gpu-model-series: "example-model"
  name: gpu-pod
spec:
...

Versi driver

Aplikasi GPU umumnya bergantung pada Compute Unified Device Architecture (CUDA), yaitu platform komputasi paralel dan model pemrograman yang dirilis oleh NVIDIA pada tahun 2007. Gambar berikut menunjukkan arsitektur CUDA. API driver dan API runtime dalam tumpukan perangkat lunak CUDA berbeda dalam hal berikut.

• Driver API: menawarkan fungsionalitas lengkap tetapi kompleks digunakan.

• Runtime API: membungkus sebagian Driver API dan menyembunyikan beberapa langkah inisialisasi driver. Lebih mudah digunakan.

CUDA Driver API termasuk dalam paket NVIDIA driver. CUDA Library dan CUDA Runtime termasuk dalam paket CUDA Toolkit.

Saat menjalankan aplikasi GPU dalam kluster ACS, perhatikan hal berikut:

1. Gunakan CUDA base images yang disediakan NVIDIA untuk menginstal CUDA Toolkit dalam gambar kontainer Anda. Base image ini sudah mencakup CUDA Toolkit. Anda kemudian dapat langsung membangun gambar aplikasi di atas base image yang sesuai dengan versi CUDA Toolkit spesifik yang dibutuhkan aplikasi Anda.

2. Untuk menentukan versi driver saat membuat pod, lihat Tentukan versi driver untuk pod.

3. Untuk informasi tentang kompatibilitas antara CUDA Toolkit dan driver NVIDIA, lihat dokumen resmi NVIDIA CUDA Toolkit Release Notes.

Tentukan versi driver untuk pod

ACS memungkinkan Anda menentukan versi driver menggunakan label pod saat aplikasi Anda menggunakan sumber daya GPU. Gunakan format yang ditunjukkan dalam tabel berikut.

apiVersion: v1
kind: Pod
metadata:
  labels:
    # Set the compute class to gpu.
    alibabacloud.com/compute-class: "gpu"
    # Set the GPU model to example-model, such as T4.
    alibabacloud.com/gpu-model-series: "example-model"
    # Set the driver version to 535.161.08.
    alibabacloud.com/gpu-driver-version: "535.161.08"
  name: gpu-pod
spec:
...

apiVersion: v1
kind: Pod
metadata:
  labels:
    # Set the compute class to GPU-HPN.
    alibabacloud.com/compute-class: "gpu-hpn"
    # Set the driver version to 535.161.08.
    alibabacloud.com/gpu-driver-version: "535.161.08"
  name: gpu-pod
spec:
...

apiVersion: v1
kind: ConfigMap
metadata:
  name: acs-profile
  namespace: kube-system
data:
  # Keep other system configurations unchanged.
  selectors: |
    [
      {
        "name": "gpu-hpn-driver",
        "objectSelector": {
          "matchLabels": {
            "alibabacloud.com/compute-class": "gpu-hpn"
          }
        },
        "effect": {
          "labels": {
            "alibabacloud.com/gpu-driver-version": "1.5.0"
          }
        }
      }
    ]

Contoh

1. Buat file bernama gpu-pod-with-model-and-driver.yaml dan tambahkan konten YAML berikut ke file tersebut. File ini mendefinisikan pod dengan compute class gpu. Pod ini meminta GPU dengan model example-model dan versi driver 535.161.08.

   apiVersion: v1
   kind: Pod
   metadata:
     name: gpu-pod-with-model-and-driver
     labels:
       # Set the compute class to gpu.
       alibabacloud.com/compute-class: "gpu"
       # Set the GPU model to example-model, such as T4.
       alibabacloud.com/gpu-model-series: "example-model"
       # Set the driver version to 535.161.08.
       alibabacloud.com/gpu-driver-version: "535.161.08"
   spec:
     containers:
     - image: registry.cn-beijing.aliyuncs.com/acs/tensorflow-mnist-sample:v1.5
       name: tensorflow-mnist
       command:
       - sleep
       - infinity
       resources:
         requests:
           cpu: 1
           memory: 1Gi
           nvidia.com/gpu: 1
         limits:
           cpu: 1
           memory: 1Gi
           nvidia.com/gpu: 1

2. Jalankan perintah berikut untuk menerapkan gpu-pod-with-model-and-driver.yaml ke kluster Anda.

   kubectl apply -f gpu-pod-with-model-and-driver.yaml

3. Jalankan perintah berikut untuk memeriksa status pod.

   kubectl get pod

   Output yang diharapkan:

   NAME                            READY   STATUS    RESTARTS   AGE
   gpu-pod-with-model-and-driver   1/1     Running   0          87s

4. Jalankan perintah berikut untuk memeriksa informasi GPU dalam pod.

   Catatan

   Perintah /usr/bin/nvidia-smi dalam contoh telah dikonfigurasi sebelumnya dalam gambar kontainer sampel.

   kubectl exec -it gpu-pod-with-model-and-driver -- /usr/bin/nvidia-smi

   Output yang diharapkan:

   +---------------------------------------------------------------------------------------+
   | NVIDIA-SMI xxx.xxx.xx             Driver Version: 535.161.08   CUDA Version: xx.x     |
   |-----------------------------------------+----------------------+----------------------+
   ...
   |=========================================+======================+======================|
   |   x  NVIDIA example-model           xx  | xxxxxxxx:xx:xx.x xxx |                    x |
   | xxx   xxx    xx              xxx / xxxx |      xxxx /       xxx|      x%      xxxxxxxx|
   |                                         |                      |                  xxx |
   +-----------------------------------------+----------------------+----------------------+

   Output menunjukkan model GPU example-model dan versi driver 535.161.08, yang sesuai dengan label dalam definisi pod.

   Penting

   Output yang ditampilkan hanya sebagai referensi. Hasil aktual dapat berbeda tergantung pada lingkungan Anda.