Paylaşılan GPU zamanlaması, birden fazla çıkarım görevinin aynı anda tek bir GPU üzerinde çalışmasını sağlayarak GPU kullanımını artırır. Bu kılavuzda, Arena kullanarak paylaşılan GPU kaynaklarıyla bir TensorFlow çıkarım görevinin nasıl gönderileceği adım adım açıklanmaktadır.
Ön koşullar
Başlamadan önce aşağıdaki gereksinimleri karşıladığınızdan emin olun:
Kubernetes 1.18.8 veya sonraki bir sürümü çalışan bir ACK Pro kümesi. Bkz. ACK Pro kümesi oluşturma
Arena 0.5.0 veya sonraki bir sürümün yüklü olması. Bkz. Arena istemcisini yapılandırma
Paylaşılan GPU zamanlamasının çalışma mantığı
Bir çıkarım görevini --gpumemory ve --gpucore parametreleriyle gönderdiğinizde, Arena tam bir GPU gerekmeden isteği karşılayacak yeterli boş belleğe ve hesaplama gücüne sahip bir GPU üzerinde görevi zamanlar.
Aşağıdaki tabloda, 8 GiB belleğe ve 100 birim hesaplama gücüne sahip bir GPU'nun iki görev tarafından nasıl paylaşılabileceği gösterilmektedir:
| Kaynak boyutu | Görev A isteği | Görev B isteği | Tek GPU'ya sığar mı? |
|---|---|---|---|
Bellek (--gpumemory) |
3 GiB | 4 GiB | Evet (3 + 4 = 7 GiB, 8 GiB sınırında) |
Hesaplama gücü (--gpucore) |
%10 | %50 | Evet (10 + 50 = %60, %100 sınırında) |
--gpucore parametresi, istenecek hesaplama gücü yüzdesini belirtir.
Çıkarım görevi gönderme
Adım 1: Mevcut GPU kaynaklarını kontrol etme
Kümede kaç adet GPU'nun mevcut olduğunu görmek için aşağıdaki komutu çalıştırın:
arena top node
Beklenen çıktı:
NAME IPADDRESS ROLE STATUS GPU(Total) GPU(Allocated)
cn-beijing.192.168.1.108 192.168.20.255 <none> Ready 0 0
cn-beijing.192.168.8.10 192.168.8.10 <none> Ready 0 0
cn-beijing.192.168.1.101 192.168.1.101 <none> Ready 1 0
cn-beijing.192.168.1.112 192.168.1.112 <none> Ready 1 0
cn-beijing.192.168.8.252 192.168.8.252 <none> Ready 1 0
---------------------------------------------------------------------------------------------------
Allocated/Total GPUs In Cluster:
0/3 (0.0%)
Kümede toplam 3 GPU bulunur ve hiçbiri tahsis edilmemiştir.
Adım 2: Çıkarım görevini gönderme
Bir TensorFlow çıkarım görevi göndermek için aşağıdaki komutu çalıştırın:
arena serve tensorflow \
--name=mymnist2 \
--model-name=mnist \
--gpumemory=3 \
--gpucore=10 \
--image=registry.cn-beijing.aliyuncs.com/ai-samples/tensorflow:latest-gpu-mnist \
--model-path=/tfmodel/mnist \
--version-policy=specific:2 \
--data=mydata=/mnt/data
Bu örnekte, TensorFlow modeli derleme sırasında Docker görüntüsüne dahil edilmiştir. Model dosyanız ayrı olarak depolanıyorsa, görevi göndermeden önce bunu paylaşılan bir NAS birimi üzerinden bağlamanız gerekir. Bkz. Paylaşılan NAS birimini yapılandırma.
Aşağıdaki tabloda temel parametreler açıklanmaktadır.
| Parametre | Tür | Açıklama |
|---|---|---|
--name |
Dize | Çıkarım görevinin adı. |
--model-name |
Dize | Modelin adı. |
--gpumemory |
Tamsayı (GiB) | İstenecek GPU belleği miktarı. |
--gpucore |
Tamsayı (0–100) | İstenecek GPU hesaplama gücü yüzdesi. |
--image |
Dize | Görevi çalıştırmak için kullanılan konteyner görüntüsü. |
--model-path |
Dize | Konteyner içindeki modelin yolu. |
--version-policy |
Dize | Yüklenecek model sürümü. specific:2 değeri, 2 sürümünü yükler; bu sürümün --model-path altında bir alt klasör olarak mevcut olması gerekir. |
--data |
Dize | <volume-name>=<mount-path> biçimindeki birim bağlantısı. |
Adım 3: Görevin çalıştığını doğrulama
Tüm çıkarım görevlerini listelemek için aşağıdaki komutu çalıştırın:
arena serve list
Örnek çıktı:
NAME TYPE VERSION DESIRED AVAILABLE ADDRESS PORTS
mymnist1 Tensorflow 202101162119 1 0 172.16.3.123 GRPC:8500,RESTFUL:8501
mymnist2 Tensorflow 202101191447 1 1 172.16.1.147 GRPC:8500,RESTFUL:8501
mymnist2 görevinin ayrıntılarını almak için aşağıdaki komutu çalıştırın:
arena serve get mymnist2
Beklenen çıktı:
Name: mymnist2
Namespace: default
Type: Tensorflow
Version: 202101191447
Desired: 1
Available: 1
Age: 20m
Address: 172.16.1.147
Port: GRPC:8500,RESTFUL:8501
GPUMemory(GiB): 3
Instances:
NAME STATUS AGE READY RESTARTS GPU(Memory/GiB) NODE
---- ------ --- ----- -------- --------------- ----
mymnist2-202101191447-tensorflow-serving-7f64bf9749-mtnpc Running 20m 1/1 0 3 cn-beijing.192.168.1.112
Desired değeri ile Available değeri eşitse görev hazırdır.
Adım 4: (İsteğe bağlı) Görev günlüklerini görüntüleme
Son 10 satırlık günlükleri yazdırmak için aşağıdaki komutu çalıştırın:
arena serve logs mymnist2 -t 10
Örnek çıktı:
2021-01-18 13:21:58.482985: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:206] Restoring SavedModel bundle.
2021-01-18 13:21:58.483673: I external/org_tensorflow/tensorflow/core/platform/profile_utils/cpu_utils.cc:112] CPU Frequency: 2500005000 Hz
2021-01-18 13:21:58.508734: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:190] Running initialization op on SavedModel bundle at path: /tfmodel/mnist/2
2021-01-18 13:21:58.513041: I external/org_tensorflow/tensorflow/cc/saved_model/loader.cc:277] SavedModel load for tags { serve }; Status: success: OK. Took 798017 microseconds.
2021-01-18 13:21:58.513263: I tensorflow_serving/servables/tensorflow/saved_model_warmup_util.cc:59] No warmup data file found at /tfmodel/mnist/2/assets.extra/tf_serving_warmup_requests
2021-01-18 13:21:58.513467: I tensorflow_serving/core/loader_harness.cc:87] Successfully loaded servable version {name: mnist2 version: 2}
2021-01-18 13:21:58.516620: I tensorflow_serving/model_servers/server.cc:371] Running gRPC ModelServer at 0.0.0.0:8500 ...
[warn] getaddrinfo: address family for nodename not supported
2021-01-18 13:21:58.521317: I tensorflow_serving/model_servers/server.cc:391] Exporting HTTP/REST API at:localhost:8501 ...
[evhttp_server.cc : 238] NET_LOG: Entering the event loop ...
Çıkarım hizmetini doğrulama
-
Bir test istemci pod'u oluşturun. Aşağıdaki içeriği
tfserving-test-client.yamlolarak kaydedin:cat <<EOF | kubectl create -f - kind: Pod apiVersion: v1 metadata: name: tfserving-test-client spec: containers: - name: test-client image: registry.cn-beijing.aliyuncs.com/ai-samples/tensorflow-serving-test-client:curl command: ["sleep","infinity"] imagePullPolicy: IfNotPresent EOF -
Pod'u dağıtın:
kubectl apply -f tfserving-test-client.yaml -
Çıkarım hizmetinin IP adresini ve bağlantı noktasını alın:
arena serve listÇıktıdan,
mymnist2hizmetinin172.16.1.147:8501adresinde kullanılabilir olduğu görülebilir. -
Hizmeti doğrulamak için bir test isteği gönderin:
kubectl exec -ti tfserving-test-client bash validate.sh 172.16.1.147 8501Beklenen çıktı:
{ "predictions": [ [2.04608277e-05, 1.72721537e-09, 7.74099826e-05, 0.00364777911, 1.25222937e-06, 2.27521796e-05, 1.14668763e-08, 0.99597472, 3.68833389e-05, 0.000218785644] ] }validate.shbetiği, bir MNIST test görüntüsünden alınan piksel değerlerini gönderir. Model, 0'dan 9'a kadar olan tek basamaklı sayılar arasında giriş verisinin en yüksek olasılıkla (%99,597472) 7 rakamı olduğunu tahmin eder; bu da hizmetin doğru çalıştığını doğrular.
Sonraki adımlar
Aynı GPU'yu paylaşan daha fazla çıkarım görevi göndermek için Adım 2'yi farklı
--namedeğerleriyle tekrarlayın ve--gpumemoryile--gpucoredeğerlerini, toplam isteklerin GPU'nun mevcut kaynakları içine sığacak şekilde ayarlayın.