Container Service for Kubernetes (ACK), GPU zamanlama ve işlemlerini destekler. Varsayılan GPU kullanım modu, Kubernetes topluluğunun yukarı akış (upstream) düzeniyle uyumludur. Bu konuda, GPU zamanlamasını doğrulamak amacıyla örnek bir TensorFlow iş yükünün nasıl dağıtılacağı adım adım açıklanmaktadır.
Ön koşullar
Aşağıdakilere sahip olduğunuzdan emin olun:
En az bir GPU düğümü içeren bir ACK kümesi
Kümeye bağlanacak şekilde yapılandırılmış kubectl
ACK konsolu erişimi
Standart GPU kaynak isteklerini atlamaktan kaçının
ACK tarafından yönetilen GPU düğümleri için GPU kaynaklarını yalnızca standart Kubernetes genişletilmiş kaynak mekanizması aracılığıyla (resources.limits içindeki nvidia.com/gpu) isteyin. Aşağıdaki eylemler bu mekanizmayı atlar ve güvenlik riskleri oluşturur:
GPU uygulamalarını doğrudan düğümlerde çalıştırmak
Konteyner oluşturmak veya GPU kaynakları istemek için
docker,podmanveyanerdctlkullanmak (örneğin,docker run --gpus allveyadocker run -e NVIDIA_VISIBLE_DEVICES=all)Bir pod'un YAML dosyasındaki
envbölümüneNVIDIA_VISIBLE_DEVICES=allveyaNVIDIA_VISIBLE_DEVICES=<GPU ID>eklemekBir pod için GPU kaynakları istemek üzere
NVIDIA_VISIBLE_DEVICESortam değişkenini kullanmakPod YAML dosyasında ayarlanmadığında, bir konteyner görüntüsünde
NVIDIA_VISIBLE_DEVICESdeğerini varsayılan olarakallolarak bırakmakPod'un
securityContextalanındaprivileged: trueayarlayıp bir GPU programı çalıştırmak
Neden önemlidir: Standart olmayan GPU istekleri, zamanlayıcının kaynak izlemesi tarafından görünmez. Bu uyumsuzluk, zamanlayıcının bir düğümde GPU'ları aşırı tahsis etmesine neden olabilir; bu durum, birden fazla pod'un aynı GPU kartı için (örneğin GPU belleği için) rekabet etmesine ve iş yükü hatalarına yol açabilir. Bu yöntemler ayrıca NVIDIA topluluğu tarafından bildirilen bilinen hataları tetikleyebilir.
GPU kullanılabilirliğini doğrulayın
Bir iş yükü dağıtmadan önce, GPU düğümünüzün GPU kapasitesini Kubernetes zamanlayıcısına sunduğundan emin olun.
-
Kümedeki düğümleri listeleyin:
kubectl get nodes -
Kapasitesini kontrol etmek için bir GPU düğümünü açıklayın:
kubectl describe node <gpu-node-name>Capacity bölümünde,
nvidia.com/gpusıfırdan farklı bir değer göstermelidir:Capacity: nvidia.com/gpu: 1nvidia.com/gpueksikse veya0gösteriyorsa, NVIDIA cihaz eklentisi düğümde çalışmıyor olabilir. Devam etmeden önce eklenti DaemonSet dağıtımını, GPU sürücülerini ve düğüm yapılandırmasını kontrol edin.
Bir GPU uygulaması dağıtın
ACK konsoluna giriş yapın. Sol gezinme bölmesinde Clusters öğesine tıklayın.
Clusters sayfasında hedef kümeye tıklayın. Sol gezinme bölmesinde Workloads > Deployments seçeneğini belirleyin.
-
Deployments sayfasında Create from YAML seçeneğine tıklayın ve aşağıdaki manifestoyu yapıştırın:
apiVersion: v1 kind: Pod metadata: name: tensorflow-mnist namespace: default spec: containers: - image: registry.cn-beijing.aliyuncs.com/acs/tensorflow-mnist-sample:v1.5 name: tensorflow-mnist command: - python - tensorflow-sample-code/tfjob/docker/mnist/main.py - --max_steps=100000 - --data_dir=tensorflow-sample-code/data resources: limits: nvidia.com/gpu: 1 # Request one GPU card for this container. workingDir: /root restartPolicy: AlwaysGPU genişletilmiş kaynakları yalnızca
limitsgerektirir,requestsgerektirmez. Kubernetes, genişletilmiş kaynaklar için eşleşen birlimitsolmadanrequestskullanılmasına izin vermez. Zamanlayıcı, efektif istek olaraklimitsdeğerini kullanır. Sol gezinme bölmesinde Workloads > Pods seçeneğini belirleyin. Pod'u bulun ve üzerine tıklayın.
-
Logs sekmesine tıklayın. Görüntü çekme ve pod başlatma işlemleri birkaç dakika sürebilir. Çalışmaya başladığında, günlük çıktısı GPU zamanlamasının doğru çalıştığını doğrular.

Sonraki adımlar
Heterojen bir kümede belirli GPU türlerini hedeflemek için düğüm etiketlerini ve seçicilerini kullanın. GPU düğümlerini hızlandırıcı türüne göre etiketleyin (örneğin,
kubectl label nodes <node-name> accelerator=<gpu-model>) ve ardından pod spesifikasyonunuza birnodeSelectorekleyin.GPU paylaşımı ve yalıtımı gibi gelişmiş GPU zamanlama seçenekleri için ACK GPU zamanlama belgelerine bakın.