AI çıkarımı ve yüksek performanslı bilgi işlem (HPC) gibi GPU iş yüklerini Knative üzerinde dağıtın. Pod'lar arasında isteğe bağlı olarak GPU paylaşımını etkinleştirin.
Ön koşullar
Knative is deployed kümenizde yüklüdür.
GPU kaynaklarını yapılandırma
GPU hızlandırmalı bir Elastic Compute Service (ECS) örnek türü belirtmek için k8s.aliyun.com/eci-use-specs ek açıklamasını spec.template.metadata.annotations alanına ekleyin. GPU sayısını ayarlamak için nvidia.com/gpu alanını spec.containers.resources.limits alanına ekleyin. nvidia.com/gpu alanını atlarsanız pod başlatıldıktan sonra hata verir.
Tek GPU içeren örnek Knative Hizmeti:
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: helloworld-go
spec:
template:
metadata:
labels:
app: helloworld-go
annotations:
k8s.aliyun.com/eci-use-specs: ecs.gn5i-c4g1.xlarge # GPU-accelerated ECS instance type
spec:
containers:
- image: registry.cn-hangzhou.aliyuncs.com/knative-sample/helloworld-go:73fbdd56
ports:
- containerPort: 8080
resources:
limits:
nvidia.com/gpu: '1' # Number of GPUs required. Required field.
Desteklenen GPU örnek aileleri
| Örnek ailesi | GPU modeli | Örnek örnek türü |
|---|---|---|
| gn7i | NVIDIA A10 | ecs.gn7i-c8g1.2xlarge |
| gn7 | — | ecs.gn7-c12g1.3xlarge |
| gn6v | NVIDIA V100 | ecs.gn6v-c8g1.2xlarge |
| gn6e | NVIDIA V100 | ecs.gn6e-c12g1.3xlarge |
| gn6i | NVIDIA T4 | ecs.gn6i-c4g1.xlarge |
| gn5i | NVIDIA P4 | ecs.gn5i-c2g1.large |
| gn5 | NVIDIA P100 | ecs.gn5-c4g1.xlarge |
Desteklenen GPU sürücüsü: NVIDIA 460.73.01. CUDA Toolkit: 11,2. gn5 ailesi yerel diskler içerir. Yerel diskleri ECI'lere bağlamak için bkz. Create an elastic container instance that has local disks attached . Bölgeye göre kullanılabilir örnek türleri için bkz. ECS instance types available for each region ve Overview of instance families .
GPU paylaşımını etkinleştirme
GPU paylaşımı, birden çok pod'un fiziksel bir GPU'yu paylaşmasına olanak tanır. İş yüklerinin özel GPU erişimine ihtiyacı olmadığında maliyetleri azaltır.
GPU paylaşımını etkinleştirmek için:
Düğümler için GPU sharing özelliğini etkinleştirin.
-
GPU belleği boyutunu ayarlamak için Knative Hizmetinizdeki
spec.containers.resources.limitsalanınaaliyun.com/gpu-memalanını ekleyin:apiVersion: serving.knative.dev/v1 kind: Service metadata: name: helloworld-go namespace: default spec: template: metadata: annotations: autoscaling.knative.dev/maxScale: "100" autoscaling.knative.dev/minScale: "0" spec: containerConcurrency: 1 containers: - image: registry-vpc.cn-hangzhou.aliyuncs.com/hz-suoxing-test/test:helloworld-go name: user-container ports: - containerPort: 6666 name: http1 protocol: TCP resources: limits: aliyun.com/gpu-mem: "3" # Specify the GPU memory size.
Sonraki adımlar
Best practices for deploying AI inference services in Knative — AI modellerini dağıtın, otomatik ölçeklendirmeyi yapılandırın ve GPU kaynaklarını tahsis edin.