Container Compute Service：Gunakan berbagi GPU pada node GPU-HPN

Konfigurasi sumber daya dan QoS

Sumber daya GPU bersama dijelaskan menggunakan batasan Kubernetes requests/limits. Anda dapat mengonfigurasi daya komputasi dan memori GPU dalam persentase. Fitur ini juga mendukung deskripsi sumber daya di mana limits lebih besar daripada requests, yang dapat menyebabkan beberapa Pod bersaing untuk sumber daya GPU secara bersamaan. ACS menetapkan Quality of Service (QoS) untuk sumber daya GPU bersama. Saat beberapa Pod pada satu node menggunakan sumber daya GPU secara bersamaan, Pod tersebut akan masuk antrian dan mekanisme preemption dapat dipicu. Berikut adalah contohnya:

...
resources:
  requests:  # Mengontrol jumlah Pod yang dapat dijadwalkan pada node.
    alibabacloud.com/gpu-core.percentage: 10         # Persentase daya komputasi yang dibutuhkan Pod.
    alibabacloud.com/gpu-memory.percentage: 10       # Persentase memori GPU yang dibutuhkan Pod.
  limits:    # Mengontrol batas atas sumber daya yang dapat digunakan saat runtime. Untuk informasi lebih lanjut tentang efeknya, lihat petunjuk konfigurasi.
    alibabacloud.com/gpu-core.percentage: 100        # Batas atas penggunaan daya komputasi.
    alibabacloud.com/gpu-memory.percentage: 100      # Batas atas penggunaan memori GPU. Melebihi batas ini menyebabkan error CUDA OOM.
...

Seperti mekanisme manajemen proses pada sistem operasi, modul berbagi GPU mengklasifikasikan Pod ke dalam tiga status: hibernasi, siap, dan berjalan. Proses transisi status ditunjukkan pada gambar berikut.

• Saat Pod dimulai, statusnya masuk ke hibernasi.

• Saat Pod mencoba menggunakan sumber daya GPU, statusnya berubah menjadi siap. Modul berbagi GPU kemudian mengalokasikan sumber daya GPU ke Pod berdasarkan kebijakan prioritas.

• Setelah sumber daya GPU dialokasikan ke Pod, statusnya berubah menjadi berjalan.

• Jika masih ada Pod dalam status siap setelah semua sumber daya dialokasikan, mekanisme preemption dipicu untuk memastikan keadilan sumber daya di antara Pod.

• Saat sebuah Pod dipreempt, proses yang menggunakan sumber daya GPU akan dihentikan, dan Pod kembali ke status hibernasi.

Model berbagi sumber daya

Berbagi GPU didasarkan pada model bersama dan memungkinkan beberapa Pod berjalan pada satu kartu GPU secara bersamaan. ACS saat ini mendukung model berbagi berikut:

Contoh: Gunakan model share-pool untuk penggunaan sumber daya jam sepi dalam skenario Notebook

Dalam pengembangan Notebook, aplikasi biasanya tidak menggunakan sumber daya dalam waktu lama. Anda dapat menggunakan model share-pool agar Pod berjalan pada kartu GPU berbeda selama jam sepi. Pod hanya masuk antrian siap untuk menunggu sumber daya saat benar-benar membutuhkannya.

Berikut adalah kasus penggunaan untuk skenario Notebook:

Pod A dan B dikonfigurasi dengan `requests=0,5` dan `limits=0,5`. Pod C dan D dikonfigurasi dengan `requests=0,5` dan `limits=1`. Berdasarkan nilai `requests`, Pod-Pod ini dapat dijadwalkan ke satu node GPU-HPN yang memiliki dua GPU.

Waktu T1:

1. Pod A dan Pod C sedang menggunakan sumber daya. Pod B dan Pod D berada dalam antrian siap, menunggu penjadwalan.

2. Modul berbagi GPU mencoba mengalokasikan sumber daya ke Pod D, yang berada di urutan terdepan antrian. Namun, GPU 0 hanya memiliki sumber daya idle sebesar 0,5 GPU. Meskipun `request` Pod D adalah 0,5—yang dapat dipenuhi oleh kapasitas yang tersedia—`limit`-nya adalah 1. Menjalankan Pod A dan Pod D pada GPU yang sama akan menyebabkan persaingan sumber daya. Oleh karena itu, modul berbagi GPU tetap mempertahankan Pod D dalam antrian.

Waktu T2 - Tahap 1:

1. Tugas Pod C selesai, dan Pod tersebut masuk antrian hibernasi.

2. Setelah GPU 1 menjadi idle, sumber dayanya dialokasikan ke Pod D.

Waktu T2 - Tahap 2:

Sumber daya dialokasikan ke Pod B. Karena `limit` Pod B adalah 0,5, Pod tersebut dapat berjalan bersamaan dengan Pod A pada GPU 0 tanpa persaingan sumber daya.

Langkah 1: Tambahkan label ke node GPU-HPN

1. Lihat node GPU-HPN.

   Penting

   Sebelum mengaktifkan fitur ini, Anda harus menghapus semua Pod pada node yang meminta sumber daya GPU eksklusif. Anda tidak perlu menghapus Pod yang hanya meminta sumber daya CPU dan memori.

   kubectl get node -l alibabacloud.com/node-type=reserved

   Output yang diharapkan:

   NAME                     STATUS   ROLES   AGE   VERSION
   cn-wulanchabu-c.cr-xxx   Ready    agent   59d   v1.28.3-aliyun

2. Tambahkan label alibabacloud.com/gpu-share-policy=share-pool ke node cn-wulanchabu-c.cr-xxx untuk mengaktifkan fitur berbagi GPU.

   $ kubectl label node cn-wulanchabu-c.cr-xxx alibabacloud.com/gpu-share-policy=share-pool

Langkah 2: Periksa status pengaktifan node

Tunggu hingga fitur diaktifkan pada node, lalu periksa status pengaktifannya. Anda dapat melihat sumber daya GPU bersama di bidang capacity. Di bidang conditions, GPUSharePolicyValid bernilai True, yang menunjukkan bahwa fitur telah diaktifkan.

$ kubectl get node cn-wulanchabu-c.cr-xxx -o yaml

Setelah kebijakan berbagi GPU berlaku, status node diperbarui. Output yang diharapkan:

# Output aktual dapat berbeda.
apiVersion: v1
kind: Node
spec: 
  # ...
status:
  allocatable:
    # Deskripsi sumber daya GPU bersama
    alibabacloud.com/gpu-core.percentage: "1600"
    alibabacloud.com/gpu-memory.percentage: "1600"
    # Setelah fitur diaktifkan, sumber daya CPU, memori, dan penyimpanan dicadangkan untuk modul berbagi GPU.
    cpu: "144"
    memory: 1640Gi
    nvidia.com/gpu: "16"
    ephemeral-storage: 4608Gi
  capacity:
    # Deskripsi sumber daya GPU bersama
    alibabacloud.com/gpu-core.percentage: "1600"
    alibabacloud.com/gpu-memory.percentage: "1600"
    cpu: "176"
    memory: 1800Gi
    nvidia.com/gpu: "16"
    ephemeral-storage: 6Ti
  conditions:
  # Menunjukkan apakah konfigurasi kebijakan berbagi GPU valid.
  - lastHeartbeatTime: "2025-01-07T04:13:04Z"
    lastTransitionTime: "2025-01-07T04:13:04Z"
    message: gpu share policy is valid.
    reason: Valied
    status: "True"
    type: GPUSharePolicyValid
  # Menunjukkan kebijakan berbagi GPU yang berlaku pada node saat ini.
  - lastHeartbeatTime: "2025-01-07T04:13:04Z"
    lastTransitionTime: "2025-01-07T04:13:04Z"
    message: gpu share policy is share-pool.
    reason: share-pool
    status: "True"
    type: GPUSharePolicy

Untuk informasi selengkapnya tentang item konfigurasi sumber daya GPU bersama, lihat Konfigurasi node.

Langkah 3: Deploy Pod dengan spesifikasi sumber daya GPU bersama

1. Buat file bernama gpu-share-demo.yaml. Konfigurasikan agar menggunakan model share-pool yang sama dengan konfigurasi node.

   apiVersion: v1
   kind: Pod
   metadata:
     labels:
       alibabacloud.com/compute-class: "gpu-hpn"
       # Tetapkan model berbagi GPU untuk Pod ke share-pool, yang sama dengan konfigurasi node.
       alibabacloud.com/gpu-share-policy: "share-pool" # static
     name: gpu-share-demo
     namespace: default
   spec:
     containers:
     - name: demo
       image: registry-cn-wulanchabu-vpc.ack.aliyuncs.com/acs/stress:v1.0.4
       args:
         - '1000h'
       command:
         - sleep
       # Tentukan sumber daya GPU bersama gpu-core.percentage dan gpu-memory.percentage dalam deskripsi sumber daya.
       # Untuk informasi selengkapnya tentang efek request dan limit, lihat petunjuk konfigurasi.
       resources:
         limits:
           cpu: '5'
           memory: 50Gi
           alibabacloud.com/gpu-core.percentage: 100
           alibabacloud.com/gpu-memory.percentage: 100
         requests:
           cpu: '5'
           memory: 50Gi
           alibabacloud.com/gpu-core.percentage: 10
           alibabacloud.com/gpu-memory.percentage: 10

2. Deploy Pod contoh.

   kubectl apply -f gpu-share-demo.yaml

Langkah 4: Periksa penggunaan sumber daya GPU bersama Pod

Login ke kontainer untuk memeriksa penggunaan sumber daya GPU bersama Pod.

kubectl exec -it pod gpu-share-demo -- /bin/bash

Gunakan perintah seperti `nvidia-smi` untuk melihat alokasi dan penggunaan sumber daya GPU kontainer. Output aktual dapat berbeda.

(Opsional) Langkah 5: Nonaktifkan kebijakan berbagi GPU pada node

1. Hapus Pod yang menggunakan fitur berbagi GPU.

   $ kubectl delete pod gpu-share-demo

2. Nonaktifkan fitur berbagi GPU pada node.

   $ kubectl label node cn-wulanchabu-c.cr-xxx alibabacloud.com/gpu-share-policy=none

3. Periksa kembali status konfigurasi kebijakan node.

   $ kubectl get node cn-wulanchabu-c.cr-xxx -o yaml

   Output yang diharapkan:

   apiVersion: v1
   kind: Node
   spec: 
     # ...
   status:
     allocatable:
       # Setelah fitur dinonaktifkan, sumber daya CPU dan memori yang dicadangkan dikembalikan ke nilai awalnya.
       cpu: "176"
       memory: 1800Gi
       nvidia.com/gpu: "16"
       ephemeral-storage: 4608Gi
     capacity:
       cpu: "176"
       memory: 1800Gi
       nvidia.com/gpu: "16"
       ephemeral-storage: 6Ti
     conditions:
     # Menunjukkan apakah konfigurasi kebijakan berbagi GPU valid.
     - lastHeartbeatTime: "2025-01-07T04:13:04Z"
       lastTransitionTime: "2025-01-07T04:13:04Z"
       message: gpu share policy config is valid.
       reason: Valid
       status: "True"
       type: GPUSharePolicyValid
     # Menunjukkan kebijakan berbagi GPU yang berlaku pada node saat ini.
     - lastHeartbeatTime: "2025-01-07T04:13:04Z"
       lastTransitionTime: "2025-01-07T04:13:04Z"
       message: gpu share policy is none.
       reason: none
       status: "False"
       type: GPUSharePolicy

Konfigurasi node

apiVersion: v1
kind: Node
metadata:
  labels:
    # Aktifkan fitur dan gunakan kebijakan share-pool. Anda dapat menentukan kebijakan lain pada nilai.
    alibabacloud.com/gpu-share-policy: share-pool

apiVersion: v1
kind: Node
...
metadata:
  annotations:
    alibabacloud.com/gpu-share-qos-config: '{"preemptEnabled": true, "podMaxDurationMinutes": 120, "reservedEphemeralStorage": "1.5Ti"}'
...

Konfigurasi Pod

Setelah fitur diaktifkan, Anda dapat menggunakannya dengan mengonfigurasi label sumber daya GPU bersama pada Pod.

apiVersion: v1
kind: Pod
metadata:
  labels:
    # Hanya kelas komputasi gpu-hpn yang didukung.
    alibabacloud.com/compute-class: "gpu-hpn"
    # Tetapkan model berbagi GPU untuk Pod ke share-pool, yang sama dengan konfigurasi node.
    alibabacloud.com/gpu-share-policy: "share-pool"
  name: gpu-share-demo
  namespace: default
spec:
  containers:
  - name: demo
    image: registry-cn-wulanchabu-vpc.ack.aliyuncs.com/acs/stress:v1.0.4
    args:
      - '1000h'
    command:
      - sleep
    resources:
      limits:
        cpu: '5'
        memory: 50Gi
        alibabacloud.com/gpu-core.percentage: 100
        alibabacloud.com/gpu-memory.percentage: 100
      requests:
        cpu: '5'
        memory: 50Gi
        alibabacloud.com/gpu-core.percentage: 10
        alibabacloud.com/gpu-memory.percentage: 10

Item konfigurasi dijelaskan sebagai berikut:

Apa yang terjadi pada Pod dalam antrian siap jika tidak ada sumber daya GPU yang tersedia?

Saat Pod berbagi GPU menunggu sumber daya, Pod tersebut secara berkala mencetak pesan. Berikut adalah contoh pesannya.

You have been waiting for ${1} seconds. Approximate position: ${2}

Parameter ${1} menunjukkan waktu tunggu, dan parameter ${2} menunjukkan posisi saat ini dalam antrian siap.

Apa saja metrik pemantauan Pod yang spesifik untuk mode berbagi GPU?

Untuk Pod yang menggunakan sumber daya GPU bersama, Anda dapat menggunakan metrik berikut untuk melihat penggunaan sumber dayanya.

DCGM_FI_POOLING_STATUS{NodeName="cn-wulanchabu-c.cr-xxx",pod="gpu-share-demo",namespace="default"} 1

DCGM_FI_POOLING_POSITION{NodeName="cn-wulanchabu-c.cr-xxx",pod="gpu-share-demo",namespace="default"} 1

Bagaimana perbedaan metrik pemanfaatan GPU saat Pod menggunakan berbagi GPU?

Metrik pemanfaatan GPU untuk Pod tetap sama seperti sebelumnya. Namun, untuk Pod yang menggunakan berbagi GPU, label dan makna metriknya berbeda.

• Dalam data pemantauan Pod yang disediakan oleh ACS, metrik seperti pemanfaatan daya komputasi GPU dan penggunaan memori GPU adalah nilai absolut berdasarkan seluruh kartu GPU, yang sama seperti dalam skenario GPU eksklusif.

• Penggunaan memori GPU yang terlihat dalam Pod menggunakan perintah seperti `nvidia-smi` adalah nilai absolut, yang sama seperti dalam skenario GPU eksklusif. Namun, pemanfaatan daya komputasi adalah nilai relatif, di mana penyebutnya adalah limit Pod.

• Informasi perangkat, seperti nomor ID dalam metrik pemanfaatan GPU Pod, sesuai dengan ID aktual pada node. Penomoran tidak selalu dimulai dari 0.

• Untuk model berbagi share-pool, nomor perangkat dalam metrik dapat berubah karena Pod menggunakan perangkat GPU berbeda dari pool secara elastis.

Jika berbagi GPU diaktifkan hanya pada beberapa node dalam kluster, bagaimana cara menghindari konflik penjadwalan dengan Pod GPU eksklusif?

Penjadwal default dalam kluster ACS secara otomatis mencocokkan tipe Pod dan node untuk menghindari konflik penjadwalan.

Jika Anda menggunakan penjadwal kustom, Pod GPU eksklusif mungkin dijadwalkan ke node berbagi GPU karena kapasitas node mencakup sumber daya perangkat GPU dan sumber daya GPU bersama. Anda dapat memilih salah satu solusi berikut:

• Solusi 1: Tulis plugin penjadwal yang secara otomatis mendeteksi label konfigurasi dan protokol condition node ACS untuk menyaring node dengan tipe yang tidak sesuai. Untuk informasi selengkapnya, lihat Scheduling Framework.

• Solusi 2: Gunakan label atau taint Kubernetes. Tambahkan label atau taint ke node tempat berbagi GPU diaktifkan. Lalu, konfigurasikan kebijakan afinitas berbeda untuk Pod GPU eksklusif dan Pod GPU bersama.

Informasi apa yang tersedia saat Pod berbagi GPU dipreempt?

Untuk model berbagi share-pool, saat preemption dipicu, Pod memiliki Event dan Condition. Event berada dalam format data tidak terstruktur. Untuk membaca data terstruktur, Anda dapat mengambilnya dari bidang reason dan status Condition yang sesuai. Rinciannya sebagai berikut.

# Menunjukkan bahwa sumber daya GPU Pod saat ini dipreempt. Nama Pod yang melakukan preemption adalah <new-pod-name>.
Warning  GPUSharePreempted  5m15s  gpushare   GPU is preempted by <new-pod-name>.
# Menunjukkan bahwa Pod saat ini melakukan preemption terhadap sumber daya GPU Pod lain. Nama Pod yang dipreempt adalah <old-pod-name>.
Warning  GPUSharePreempt    3m47s  gpushare   GPU is preempted from <old-pod-name>.

- type: Interruption.GPUShareReclaim # Jenis event untuk preemption Pod berbagi GPU.
  status: "True" # True menunjukkan bahwa aksi preemption atau preemption-by terjadi.
  reason: GPUSharePreempt # GPUSharePreempt menunjukkan bahwa Pod ini melakukan preemption terhadap Pod lain. GPUSharePreempted menunjukkan bahwa Pod ini dipreempt oleh Pod lain.
  message: GPU is preempted from <old-pod-name>. # Pesan yang mudah dipahami pengguna, mirip dengan event.
  lastTransitionTime: "2025-04-22T08:12:09Z" # Waktu saat preemption terjadi.
  lastProbeTime: "2025-04-22T08:12:09Z"

Bagaimana cara menjalankan lebih banyak Pod pada node dalam skenario Notebook?

Untuk Pod yang diaktifkan berbagi GPU, ACS juga memungkinkan Anda mengonfigurasi spesifikasi CPU dan memori di mana `request` lebih kecil dari `limit`. Hal ini membantu memanfaatkan sumber daya node secara optimal. Perhatikan bahwa saat total `limit` sumber daya untuk Pod yang dikirim ke node melebihi sumber daya allocatable node, Pod akan bersaing untuk sumber daya CPU dan memori. Anda dapat menganalisis persaingan sumber daya CPU dan memori dengan meninjau data pemanfaatan sumber daya node. Untuk informasi selengkapnya, lihat Metrik pemantauan tingkat node ACS GPU-HPN. Untuk Pod, persaingan sumber daya CPU tercermin dalam CPU Steal Time Pod. Persaingan sumber daya memori memicu error kehabisan memori (OOM) tingkat mesin, yang menyebabkan beberapa Pod dihentikan. Rencanakan prioritas Pod dan spesifikasi sumber daya berdasarkan karakteristik aplikasi Anda untuk menghindari dampak negatif terhadap kualitas layanan Pod akibat persaingan sumber daya.