Bu konu, tek bir GPU'yu paylaşan konteynerler oluşturmak için bir YAML dosyasının nasıl dağıtılacağını açıklar. Dosyayı dağıttıktan sonra GPU paylaşımını kullanarak her konteynere ayrılan GPU belleğini izole edebilirsiniz. Bu sayede GPU kaynaklarının kullanım oranı artar.
İçindekiler
Ön koşullar
Kullanım notları
Container Service for Kubernetes (ACK) kümelerinde yönetilen GPU düğümleri için uygulamalarınızda GPU kaynakları talep ederken ve bu kaynakları kullanırken aşağıdaki hususlara dikkat etmeniz gerekir.
GPU yoğunluklu uygulamaları doğrudan düğümler üzerinde çalıştırmayın.
Konteyner oluşturmak ve bu konteynerler için GPU kaynakları talep etmek amacıyla
Docker,Podmanveyanerdctlgibi araçları kullanmayın. Örneğin,docker run --gpus allveyadocker run -e NVIDIA_VISIBLE_DEVICES=allkomutunu çalıştırarak GPU yoğunluklu uygulamalar yürütmeyin.Pod YAML dosyasındaki
envbölümüneNVIDIA_VISIBLE_DEVICES=allveyaNVIDIA_VISIBLE_DEVICES=<GPU ID>ortam değişkenini eklemeyin. Pod'lar için GPU kaynakları talep etmek ve GPU yoğunluklu uygulamalar çalıştırmak amacıylaNVIDIA_VISIBLE_DEVICESortam değişkenini kullanmayın.Pod YAML dosyasında
NVIDIA_VISIBLE_DEVICESortam değişkeni belirtilmemişse konteyner görüntülerini oluştururkenNVIDIA_VISIBLE_DEVICES=allayarını yapmayın ve GPU yoğunluklu uygulamalar çalıştırmayın.Pod YAML dosyasındaki
securityContextbölümüneprivileged: trueeklemeyin ve GPU yoğunluklu uygulamalar çalıştırmayın.
Uygulamanız için GPU kaynaklarını talep etmek üzere yukarıdaki yöntemleri kullandığınızda aşağıdaki potansiyel risklerle karşılaşabilirsiniz:
Bir düğümde GPU kaynaklarını talep etmek için yukarıdaki yöntemlerden birini kullanır ancak zamanlayıcının cihaz kaynak defterinde ilgili ayrıntıları belirtmezseniz gerçek GPU kaynak tahsis bilgileri zamanlayıcının cihaz kaynak defterindeki bilgilerden farklı olabilir. Bu durumda zamanlayıcı GPU kaynakları talep eden belirli pod'ları hâlâ söz konusu düğüme zamanlayabilir. Sonuç olarak uygulamalarınız aynı GPU tarafından sağlanan kaynaklar için rekabet edebilir (örneğin aynı GPU'dan kaynak talep edebilir) ve bazı uygulamalar yetersiz GPU kaynağı nedeniyle başlatılamayabilir.
Yukarıdaki yöntemlerin kullanılması NVIDIA topluluğu tarafından bildirilen sorunlar gibi başka bilinmeyen sorunlara da yol açabilir.
Yordam
-
Kümenizdeki GPU paylaşımıyla ilgili bilgileri sorgulamak için aşağıdaki komutu çalıştırın:
kubectl inspect cgpuNAME IPADDRESS GPU0(Allocated/Total) GPU1(Allocated/Total) GPU Memory(GiB) cn-shanghai.192.168.0.4 192.168.0.4 0/7 0/7 0/14 --------------------------------------------------------------------- Allocated/Total GPU Memory In Cluster: 0/14 (0%)NotGPU paylaşımıyla ilgili ayrıntılı bilgileri sorgulamak için kubectl inspect cgpu -d komutunu çalıştırın.
-
GPU paylaşımının etkinleştirildiği bir örnek uygulama dağıtın ve bu uygulama için 3 GiB GPU belleği talep edin.
apiVersion: batch/v1 kind: Job metadata: name: gpu-share-sample spec: parallelism: 1 template: metadata: labels: app: gpu-share-sample spec: containers: - name: gpu-share-sample image: registry.cn-hangzhou.aliyuncs.com/ai-samples/gpushare-sample:tensorflow-1.5 command: - python - tensorflow-sample-code/tfjob/docker/mnist/main.py - --max_steps=100000 - --data_dir=tensorflow-sample-code/data resources: limits: # The pod requests 3 GiB of GPU memory in total. aliyun.com/gpu-mem: 3 # Specify the requested amount of GPU memory. workingDir: /root restartPolicy: Never -
GPU'nun bellek kullanımını sorgulamak için aşağıdaki komutu çalıştırın:
kubectl inspect cgpuBeklenen çıktı:
NAME IPADDRESS GPU0(Allocated/Total) GPU Memory(GiB) cn-beijing.192.168.1.105 192.168.1.105 3/14 3/14 --------------------------------------------------------------------- Allocated/Total GPU Memory In Cluster: 3/14 (21%)Çıktı, cn-beijing.192.168.1.105 düğümünün toplam GPU belleğinin 14 GiB olduğunu ve 3 GiB GPU belleği tahsis edildiğini gösterir.
Sonucu doğrulayın
Düğümde GPU belleği izolasyonunun etkinleştirildiğini doğrulamak için şu adımları izleyin.
Hedef ana düğüme oturum açın.
-
Uygulamanın günlüklerini görüntülemek ve cGPU belleği izolasyonunun etkinleştirildiğini onaylamak için aşağıdaki komutu çalıştırın.
kubectl logs gpu-share-sample --tail=1Beklenen çıktı:
2023-08-07 09:08:13.931003: I tensorflow/core/common_runtime/gpu/gpu_device.cc:1326] Created TensorFlow device (/job:localhost/replica:0/task:0/device:GPU:0 with 2832 MB memory) -> physical GPU (device: 0, name: Tesla T4, pci bus id: 0000:00:07.0, compute capability: 7.5)Çıktı, konteynerin 2.832 MB GPU belleği talep ettiğini gösterir.
-
Konteynere oturum açmak ve konteynere tahsis edilen toplam GPU belleği miktarını görüntülemek için aşağıdaki komutu çalıştırın.
kubectl exec -it gpu-share-sample nvidia-smiBeklenen çıktı:
Mon Aug 7 08:52:18 2023 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 418.87.01 Driver Version: 418.87.01 CUDA Version: 10.1 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | |===============================+======================+======================| | 0 Tesla T4 On | 00000000:00:07.0 Off | 0 | | N/A 41C P0 26W / 70W | 3043MiB / 3231MiB | 0% Default | +-------------------------------+----------------------+----------------------+ +-----------------------------------------------------------------------------+ | Processes: GPU Memory | | GPU PID Type Process name Usage | |=============================================================================| +-----------------------------------------------------------------------------+Çıktı, bu konteynere tahsis edilen toplam GPU belleği miktarının 3.231 MiB olduğunu gösterir.
-
Örnek uygulamayı çalıştıran GPU düğümüne oturum açın ve düğümün toplam GPU belleğini görüntüleyin.
nvidia-smiBeklenen çıktı:
Mon Aug 7 09:18:26 2023 +-----------------------------------------------------------------------------+ | NVIDIA-SMI 418.87.01 Driver Version: 418.87.01 CUDA Version: 10.1 | |-------------------------------+----------------------+----------------------+ | GPU Name Persistence-M| Bus-Id Disp.A | Volatile Uncorr. ECC | | Fan Temp Perf Pwr:Usage/Cap| Memory-Usage | GPU-Util Compute M. | |===============================+======================+======================| | 0 Tesla T4 On | 00000000:00:07.0 Off | 0 | | N/A 40C P0 26W / 70W | 3053MiB / 15079MiB | 0% Default | +-------------------------------+----------------------+----------------------+ +-----------------------------------------------------------------------------+ | Processes: GPU Memory | | GPU PID Type Process name Usage | |=============================================================================| | 0 8796 C python3 3043MiB | +-----------------------------------------------------------------------------+Çıktı, ana bilgisayar düğümünde toplam 15.079 MiB GPU belleği bulunduğunu ve bunun 3.053 MiB'inin konteynere tahsis edildiğini gösterir.