Container Compute Service:Specify GPU models and driver versions for ACS GPU-accelerated pods

GPU modelleri

ACS birden fazla GPU modelini destekler. Bu modelleri kapasite rezervasyonları ile kullanabilir veya bir örnek oluştururken isteğe bağlı olarak talep edebilirsiniz. Kullandığınız yöntem hesaplama sınıfına bağlıdır.

• Yüksek performanslı ağ için GPU

  Yalnızca düğüm rezervasyonu talep edebilirsiniz. Rezervasyonları satın aldıktan sonra her birini kümenizle ilişkilendirmeniz gerekir. Her rezervasyon kümede bağımsız bir sanal düğüm olarak çalışır. Daha fazla bilgi için bkz. GPU-HPN Kapasite Rezervasyonu.

• GPU örnekleri

  GPU kaynaklarını isteğe bağlı olarak kullanabilir veya kapasite rezervasyonlarını yapılandırabilirsiniz. Bir örnek oluşturduktan sonra ACS, GPU kaynaklarını kapasite rezervasyonunuzdan otomatik olarak düşer.

Bir örnek için GPU modeli belirtin

GPU-HPN için yalnızca düğüm rezervasyonu talep edebilirsiniz. Her rezervasyon kümede bir sanal düğüm olarak çalışır. Sanal düğüm etiketi GPU modelini içerir. Örnekleri bu sanal düğüme zamanlamak için düğüm benzeşimi zamanlamasını kullanabilirsiniz. Daha fazla bilgi için bkz. Örnekleri özellik etiketleriyle GPU-HPN sanal düğümlerine zamanlama.

GPU hızlandırmalı örnekler için GPU modelini örneğin labels ve nodeSelector alanlarında açıkça belirtmeniz gerekir.

apiVersion: v1
kind: Pod
metadata:
  labels:
    # Set the compute class to GPU-HPN.
    alibabacloud.com/compute-class: "gpu-hpn"
  name: gpu-example-pod
spec:
  nodeSelector:
 # Set the GPU model to example-model.
    alibabacloud.com/gpu-model-series: "example-model"
  ...

apiVersion: v1
kind: Pod
metadata:
  labels:
    # Set the compute class to gpu.
    alibabacloud.com/compute-class: "gpu"
    # Set the GPU model to example-model, such as T4.
    alibabacloud.com/gpu-model-series: "example-model"
  name: gpu-pod
spec:
...

Sürücü sürümleri

GPU uygulamaları genellikle NVIDIA tarafından 2007 yılında piyasaya sürülen paralel bilişim platformu ve programlama modeli Compute Unified Device Architecture (CUDA) üzerine kuruludur. Aşağıdaki şekil CUDA mimarisini göstermektedir. CUDA yazılım yığınındaki sürücü API'si ve çalışma zamanı API'si aşağıdaki şekillerde farklılık gösterir.

• Sürücü API'si: Tam işlevsellik sunar ancak kullanımı karmaşıktır.

• Çalışma Zamanı API'si: Sürücü API'sinin bir kısmını sarar ve bazı sürücü başlatma adımlarını gizler. Kullanımı daha kolaydır.

CUDA Sürücü API'si NVIDIA sürücüsü paketinde yer alır. CUDA Kitaplığı ve CUDA Çalışma Zamanı ise CUDA Toolkit paketinde bulunur.

Bir ACS kümesinde GPU uygulamalarını çalıştırırken aşağıdakilere dikkat edin:

1. Konteyner görüntünüzde CUDA Toolkit'i yüklemek için NVIDIA tarafından sağlanan CUDA temel görüntülerini kullanın. Bu temel görüntüler zaten CUDA Toolkit'i içerir. Ardından uygulamanızın gerektirdiği belirli CUDA Toolkit sürümüyle eşleşen bir temel görüntü üzerine uygulama görüntünüzü doğrudan oluşturabilirsiniz.

2. Bir örnek oluştururken sürücü sürümü belirtmek için bkz. Bir örnek için sürücü sürümü belirtme.

3. CUDA Toolkit ile NVIDIA sürücüleri arasındaki uyumluluk hakkında bilgi için resmi NVIDIA belgesi CUDA Toolkit Sürüm Notları bölümüne bakın.

Bir örnek için sürücü sürümü belirtin

Uygulamanız GPU kaynaklarını kullanırken ACS, örnek etiketlerini kullanarak sürücü sürümü belirtmenize olanak tanır. Aşağıdaki tabloda gösterilen formatı kullanın.

apiVersion: v1
kind: Pod
metadata:
  labels:
    # Set the compute class to gpu.
    alibabacloud.com/compute-class: "gpu"
    # Set the GPU model to example-model, such as T4.
    alibabacloud.com/gpu-model-series: "example-model"
    # Set the driver version to 535.161.08.
    alibabacloud.com/gpu-driver-version: "535.161.08"
  name: gpu-pod
spec:
...

apiVersion: v1
kind: Pod
metadata:
  labels:
    # Set the compute class to GPU-HPN.
    alibabacloud.com/compute-class: "gpu-hpn"
    # Set the driver version to 535.161.08.
    alibabacloud.com/gpu-driver-version: "535.161.08"
  name: gpu-pod
spec:
...

apiVersion: v1
kind: ConfigMap
metadata:
  name: acs-profile
  namespace: kube-system
data:
  # Keep other system configurations unchanged.
  selectors: |
    [
      {
        "name": "gpu-hpn-driver",
        "objectSelector": {
          "matchLabels": {
            "alibabacloud.com/compute-class": "gpu-hpn"
          }
        },
        "effect": {
          "labels": {
            "alibabacloud.com/gpu-driver-version": "1.5.0"
          }
        }
      }
    ]

Örnek

1. gpu-pod-with-model-and-driver.yaml adlı bir dosya oluşturun ve aşağıdaki YAML içeriğini dosyaya ekleyin. Bu dosya gpu hesaplama sınıfına sahip bir örnek tanımlar. Örnek example-model modeline ve 535.161.08 sürücü sürümüne sahip bir GPU talep eder.

   apiVersion: v1
   kind: Pod
   metadata:
     name: gpu-pod-with-model-and-driver
     labels:
       # Set the compute class to gpu.
       alibabacloud.com/compute-class: "gpu"
       # Set the GPU model to example-model, such as T4.
       alibabacloud.com/gpu-model-series: "example-model"
       # Set the driver version to 535.161.08.
       alibabacloud.com/gpu-driver-version: "535.161.08"
   spec:
     containers:
     - image: registry.cn-beijing.aliyuncs.com/acs/tensorflow-mnist-sample:v1.5
       name: tensorflow-mnist
       command:
       - sleep
       - infinity
       resources:
         requests:
           cpu: 1
           memory: 1Gi
           nvidia.com/gpu: 1
         limits:
           cpu: 1
           memory: 1Gi
           nvidia.com/gpu: 1

2. gpu-pod-with-model-and-driver.yaml dosyasını kümenize dağıtmak için aşağıdaki komutu çalıştırın.

   kubectl apply -f gpu-pod-with-model-and-driver.yaml

3. Örnek durumunu kontrol etmek için aşağıdaki komutu çalıştırın.

   kubectl get pod

   Beklenen çıktı:

   NAME                            READY   STATUS    RESTARTS   AGE
   gpu-pod-with-model-and-driver   1/1     Running   0          87s

4. Örnekteki GPU bilgilerini kontrol etmek için aşağıdaki komutu çalıştırın.

   Not

   Örnekteki /usr/bin/nvidia-smi komutu örnek konteyner görüntüsünde önceden yapılandırılmıştır.

   kubectl exec -it gpu-pod-with-model-and-driver -- /usr/bin/nvidia-smi

   Beklenen çıktı:

   +---------------------------------------------------------------------------------------+
   | NVIDIA-SMI xxx.xxx.xx             Driver Version: 535.161.08   CUDA Version: xx.x     |
   |-----------------------------------------+----------------------+----------------------+
   ...
   |=========================================+======================+======================|
   |   x  NVIDIA example-model           xx  | xxxxxxxx:xx:xx.x xxx |                    x |
   | xxx   xxx    xx              xxx / xxxx |      xxxx /       xxx|      x%      xxxxxxxx|
   |                                         |                      |                  xxx |
   +-----------------------------------------+----------------------+----------------------+

   Çıktı örnek tanımındaki etiketlerle eşleşen example-model GPU modelini ve 535.161.08 sürücü sürümünü gösterir.

   Önemli

   Gösterilen çıktı yalnızca referans amaçlıdır. Gerçek sonuçlar ortamınıza bağlı olarak değişiklik gösterebilir.