Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Submit an inference task that uses shared GPU resources

Son Güncelleme:Oct 06, 2026

Paylaşılan GPU zamanlaması, birden fazla çıkarım görevinin aynı anda tek bir GPU üzerinde çalışmasını sağlayarak GPU kullanımını artırır. Bu kılavuzda, Arena kullanarak paylaşılan GPU kaynaklarıyla bir TensorFlow çıkarım görevinin nasıl gönderileceği adım adım açıklanmaktadır.

Ön koşullar

Başlamadan önce aşağıdaki gereksinimleri karşıladığınızdan emin olun:

Paylaşılan GPU zamanlamasının çalışma mantığı

Bir çıkarım görevini --gpumemory ve --gpucore parametreleriyle gönderdiğinizde, Arena tam bir GPU gerekmeden isteği karşılayacak yeterli boş belleğe ve hesaplama gücüne sahip bir GPU üzerinde görevi zamanlar.

Aşağıdaki tabloda, 8 GiB belleğe ve 100 birim hesaplama gücüne sahip bir GPU'nun iki görev tarafından nasıl paylaşılabileceği gösterilmektedir:

Kaynak boyutu Görev A isteği Görev B isteği Tek GPU'ya sığar mı?
Bellek (--gpumemory) 3 GiB 4 GiB Evet (3 + 4 = 7 GiB, 8 GiB sınırında)
Hesaplama gücü (--gpucore) %10 %50 Evet (10 + 50 = %60, %100 sınırında)
Not

--gpucore parametresi, istenecek hesaplama gücü yüzdesini belirtir.

Çıkarım görevi gönderme

Adım 1: Mevcut GPU kaynaklarını kontrol etme

Kümede kaç adet GPU'nun mevcut olduğunu görmek için aşağıdaki komutu çalıştırın:

arena top node

Beklenen çıktı:

NAME                      IPADDRESS       ROLE    STATUS    GPU(Total)  GPU(Allocated)
cn-beijing.192.168.1.108  192.168.20.255  <none>  Ready     0           0
cn-beijing.192.168.8.10   192.168.8.10    <none>  Ready     0           0
cn-beijing.192.168.1.101  192.168.1.101   <none>  Ready     1           0
cn-beijing.192.168.1.112  192.168.1.112   <none>  Ready     1           0
cn-beijing.192.168.8.252  192.168.8.252   <none>  Ready     1           0
---------------------------------------------------------------------------------------------------
Allocated/Total GPUs In Cluster:
0/3 (0.0%)

Kümede toplam 3 GPU bulunur ve hiçbiri tahsis edilmemiştir.

Adım 2: Çıkarım görevini gönderme

Bir TensorFlow çıkarım görevi göndermek için aşağıdaki komutu çalıştırın:

arena serve tensorflow \
    --name=mymnist2 \
    --model-name=mnist \
    --gpumemory=3 \
    --gpucore=10 \
    --image=registry.cn-beijing.aliyuncs.com/ai-samples/tensorflow:latest-gpu-mnist \
    --model-path=/tfmodel/mnist \
    --version-policy=specific:2 \
    --data=mydata=/mnt/data
Önemli

Bu örnekte, TensorFlow modeli derleme sırasında Docker görüntüsüne dahil edilmiştir. Model dosyanız ayrı olarak depolanıyorsa, görevi göndermeden önce bunu paylaşılan bir NAS birimi üzerinden bağlamanız gerekir. Bkz. Paylaşılan NAS birimini yapılandırma.

Aşağıdaki tabloda temel parametreler açıklanmaktadır.

Parametre Tür Açıklama
--name Dize Çıkarım görevinin adı.
--model-name Dize Modelin adı.
--gpumemory Tamsayı (GiB) İstenecek GPU belleği miktarı.
--gpucore Tamsayı (0–100) İstenecek GPU hesaplama gücü yüzdesi.
--image Dize Görevi çalıştırmak için kullanılan konteyner görüntüsü.
--model-path Dize Konteyner içindeki modelin yolu.
--version-policy Dize Yüklenecek model sürümü. specific:2 değeri, 2 sürümünü yükler; bu sürümün --model-path altında bir alt klasör olarak mevcut olması gerekir.
--data Dize <volume-name>=<mount-path> biçimindeki birim bağlantısı.

Adım 3: Görevin çalıştığını doğrulama

Tüm çıkarım görevlerini listelemek için aşağıdaki komutu çalıştırın:

arena serve list

Örnek çıktı:

NAME      TYPE        VERSION       DESIRED  AVAILABLE  ADDRESS       PORTS
mymnist1  Tensorflow  202101162119  1        0          172.16.3.123  GRPC:8500,RESTFUL:8501
mymnist2  Tensorflow  202101191447  1        1          172.16.1.147  GRPC:8500,RESTFUL:8501

mymnist2 görevinin ayrıntılarını almak için aşağıdaki komutu çalıştırın:

arena serve get mymnist2

Beklenen çıktı:

Name:           mymnist2
Namespace:      default
Type:           Tensorflow
Version:        202101191447
Desired:        1
Available:      1
Age:            20m
Address:        172.16.1.147
Port:           GRPC:8500,RESTFUL:8501
GPUMemory(GiB): 3

Instances:
  NAME                                                       STATUS   AGE  READY  RESTARTS  GPU(Memory/GiB)  NODE
  ----                                                       ------   ---  -----  --------  ---------------  ----
  mymnist2-202101191447-tensorflow-serving-7f64bf9749-mtnpc  Running  20m  1/1    0         3                cn-beijing.192.168.1.112

Desired değeri ile Available değeri eşitse görev hazırdır.

Adım 4: (İsteğe bağlı) Görev günlüklerini görüntüleme

Son 10 satırlık günlükleri yazdırmak için aşağıdaki komutu çalıştırın:

arena serve logs mymnist2 -t 10

Örnek çıktı:

2021-01-18 13:21:58.482985: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:206] Restoring SavedModel bundle.
2021-01-18 13:21:58.483673: I external/org_tensorflow/tensorflow/core/platform/profile_utils/cpu_utils.cc:112] CPU Frequency: 2500005000 Hz
2021-01-18 13:21:58.508734: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:190] Running initialization op on SavedModel bundle at path: /tfmodel/mnist/2
2021-01-18 13:21:58.513041: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:277] SavedModel load for tags { serve }; Status: success: OK. Took 798017 microseconds.
2021-01-18 13:21:58.513263: I tensorflow_serving/servables/tensorflow/saved_model_warmup_util.cc:59] No warmup data file found at /tfmodel/mnist/2/assets.extra/tf_serving_warmup_requests
2021-01-18 13:21:58.513467: I tensorflow_serving/core/loader_harness.cc:87] Successfully loaded servable version {name: mnist2 version: 2}
2021-01-18 13:21:58.516620: I tensorflow_serving/model_servers/server.cc:371] Running gRPC ModelServer at 0.0.0.0:8500 ...
[warn] getaddrinfo: address family for nodename not supported
2021-01-18 13:21:58.521317: I tensorflow_serving/model_servers/server.cc:391] Exporting HTTP/REST API at:localhost:8501 ...
[evhttp_server.cc : 238] NET_LOG: Entering the event loop ...

Çıkarım hizmetini doğrulama

  1. Bir test istemci pod'u oluşturun. Aşağıdaki içeriği tfserving-test-client.yaml olarak kaydedin:

    cat <<EOF | kubectl create -f -
    kind: Pod
    apiVersion: v1
    metadata:
      name: tfserving-test-client
    spec:
      containers:
      - name: test-client
        image: registry.cn-beijing.aliyuncs.com/ai-samples/tensorflow-serving-test-client:curl
        command: ["sleep","infinity"]
        imagePullPolicy: IfNotPresent
    EOF
  2. Pod'u dağıtın:

    kubectl apply -f tfserving-test-client.yaml
  3. Çıkarım hizmetinin IP adresini ve bağlantı noktasını alın:

    arena serve list

    Çıktıdan, mymnist2 hizmetinin 172.16.1.147:8501 adresinde kullanılabilir olduğu görülebilir.

  4. Hizmeti doğrulamak için bir test isteği gönderin:

    kubectl exec -ti tfserving-test-client bash validate.sh 172.16.1.147 8501

    Beklenen çıktı:

    {
        "predictions": [
            [2.04608277e-05, 1.72721537e-09, 7.74099826e-05, 0.00364777911, 1.25222937e-06, 2.27521796e-05, 1.14668763e-08, 0.99597472, 3.68833389e-05, 0.000218785644]
        ]
    }

    validate.sh betiği, bir MNIST test görüntüsünden alınan piksel değerlerini gönderir. Model, 0'dan 9'a kadar olan tek basamaklı sayılar arasında giriş verisinin en yüksek olasılıkla (%99,597472) 7 rakamı olduğunu tahmin eder; bu da hizmetin doğru çalıştığını doğrular.

Sonraki adımlar

  • Aynı GPU'yu paylaşan daha fazla çıkarım görevi göndermek için Adım 2'yi farklı --name değerleriyle tekrarlayın ve --gpumemory ile --gpucore değerlerini, toplam isteklerin GPU'nun mevcut kaynakları içine sığacak şekilde ayarlayın.