Java uygulamaları gibi yavaş başlatılan uygulamalar için topluluk Knative'in varsayılan sıfıra ölçeklendirme ilkesi yüksek soğuk başlatma gecikmesine neden olabilir. ACK, boşta kalan dönemlerde düşük maliyetli hazır durumlu örnekleri çalıştırarak hızlı yanıt vermenizi ve maliyeti kontrol altında tutmanızı sağlayan ayrılmış örnekler sunar.
Nasıl çalışır
Varsayılan olarak Knative, bir Hizmet'e trafik gelmediğinde pod sayısını sıfıra indirir. Yeni bir istek, kaynak zamanlaması, görüntü çekme ve uygulama başlatma işlemlerinin tamamlanmasını beklemek zorunda kalır; bu işlem birkaç saniye sürebilir.
Ayrılmış bir örnek etkinleştirildiğinde bu davranış değişir:
Trafik durur — Knative Hizmeti içeri doğru ölçeklenir ancak tek bir ayrılmış örnek çevrimiçi kalır.
-
İlk istek gelir — Eş zamanlı olarak iki işlem gerçekleşir:
Ayrılmış örnek isteği anında karşılar.
Knative, devam eden trafiği devralmak üzere standart örnekler oluşturur.
Trafik devri — Standart bir örnek hazır olduğunda sonraki istekler bu örneğe yönlendirilir.
Temizlik — İlk isteği karşıladıktan sonra ayrılmış örnek sonlandırılır.
Ön koşullar
Başlamadan önce şunlara sahip olduğunuzdan emin olun:
Knative
(ECI veya ACS ayrılmış örnekleri için gereklidir) ACK Sanal Düğüm yüklü. Bkz. Bileşenler
Ayrılmış örnekleri etkinleştirin
Knative Hizmet manifestosuna aşağıdaki ek açıklamaları ekleyin:
|
|
|
|
|
|
|
|
|
Ayrılmış örnekler, trafik olmasa bile sürekli olarak ücretlendirilir. Bkz. Faturalama .
Bir örnek türü seçin
İş yükünüz için örnek türünü seçin:
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
Hangi türü kullanacağınızdan emin değilseniz ECI ile başlayın; bu tür çoğu senaryoyu kapsar ve yalnızca ACK Sanal Düğüm gerektirir.
ECI ayrılmış örneklerini yapılandırın
Elastic Container Instance (ECI) varsayılan türdür. Kaynakları örnek türüne göre veya CPU ve bellek cinsinden belirtmek için knative.aliyun.com/reserve-instance-eci-use-specs ek açıklamasını kullanın.
Örnek türüne göre belirtin
Bu örnekte aday örnek türleri olarak ecs.t6-c1m1.large ve ecs.t5-lc1m2.small kullanılmaktadır:
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: hello-spec-1
spec:
template:
metadata:
annotations:
knative.aliyun.com/reserve-instance: enable
knative.aliyun.com/reserve-instance-eci-use-specs: "ecs.t6-c1m1.large,ecs.t5-lc1m2.small"
spec:
containers:
- image: registry.cn-hangzhou.aliyuncs.com/knative-sample/helloworld-go:160e4dc8
CPU ve belleğe göre belirtin
Belirli bir örnek türüne ihtiyacınız yoksa bunun yerine CPU ve belleği tanımlayın. Bu örnekte 1 çekirdekli, 2 GiB bellekli bir örnek kullanılır:
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: hello-spec-2
spec:
template:
metadata:
annotations:
knative.aliyun.com/reserve-instance: enable
knative.aliyun.com/reserve-instance-eci-use-specs: "1-2Gi"
spec:
containers:
- image: registry.cn-hangzhou.aliyuncs.com/knative-sample/helloworld-go:160e4dc8
ACS ayrılmış örneklerini yapılandırın
Alibaba Cloud Container Compute Service (ACS) ayrılmış örnekleri, hesaplama sınıfını ve kalite düzeylerini belirtmenize olanak tanır. ACS'yi kullanmak için ACK Sanal Düğüm öğesini yükleyin ve knative.aliyun.com/reserve-instance-type: acs ek açıklamasını ekleyin.
Hesaplama sınıfına ve kalitesine göre belirtin
Hesaplama sınıfını ayarlamak için knative.aliyun.com/reserve-instance-acs-compute-class ve hesaplama kalitesini ayarlamak için knative.aliyun.com/reserve-instance-acs-compute-qos kullanın. Her ikisi de isteğe bağlıdır.
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: helloworld-go
spec:
template:
metadata:
annotations:
knative.aliyun.com/reserve-instance: enable
knative.aliyun.com/reserve-instance-type: acs
# (Optional) Compute class for the ACS pod
knative.aliyun.com/reserve-instance-acs-compute-class: "general-purpose"
# (Optional) Compute quality for the ACS pod
knative.aliyun.com/reserve-instance-acs-compute-qos: "default"
spec:
containers:
- image: registry-vpc.cn-hangzhou.aliyuncs.com/knative-sample/helloworld-go:73fbdd56
env:
- name: TARGET
value: "Knative"
CPU ve belleğe göre belirtin
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: helloworld-go-resource
spec:
template:
metadata:
annotations:
knative.aliyun.com/reserve-instance: enable
knative.aliyun.com/reserve-instance-type: acs
knative.aliyun.com/reserve-instance-cpu-resource-request: "1"
knative.aliyun.com/reserve-instance-memory-resource-request: "2Gi"
spec:
containers:
- image: registry-vpc.cn-hangzhou.aliyuncs.com/knative-sample/helloworld-go:73fbdd56
env:
- name: TARGET
value: "Knative"
ECS ayrılmış örneklerini yapılandırın
Boşta kalma maliyetlerini düşürmek için daha düşük maliyetli bir ECS örnek türü kullanın. ECS ayrılmış örnekleri GPU iş yükleri için iyi sonuç verir.
GPU iş yükleri
Bu örnekte Qwen çıkarım hizmeti için düşük özellikli bir GPU ayrılmış örneği olarak ecs.gn6i-c4g1.xlarge yapılandırılır. Standart örnek tam bir GPU kullanırken ayrılmış örnek ilk isteği daha düşük maliyetle karşılamak için daha küçük bir teknik özellik kullanır.
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
labels:
release: qwen
name: qwen
namespace: default
spec:
template:
metadata:
annotations:
autoscaling.knative.dev/metric: "concurrency"
# Enable and configure an ECS reserved instance. You can configure one or more instance types.
knative.aliyun.com/reserve-instance: enable
knative.aliyun.com/reserve-instance-type: ecs
knative.aliyun.com/reserve-instance-ecs-use-specs: ecs.gn6i-c4g1.xlarge
labels:
release: qwen
spec:
containers:
- command:
- sh
- -c
- python3 -m vllm.entrypoints.openai.api_server --port 8080 --trust-remote-code
--served-model-name qwen --model /mnt/models/Qwen-7B-Chat-Int8 --gpu-memory-utilization
0.95 --quantization gptq --max-model-len=6144
image: kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:0.4.1
imagePullPolicy: IfNotPresent
name: vllm-container
resources:
# Resource configuration for the standard instance
limits:
cpu: "16"
memory: 60Gi
nvidia.com/gpu: "1"
requests:
cpu: "8"
memory: 36Gi
nvidia.com/gpu: "1"
volumeMounts:
- mountPath: /mnt/models/Qwen-7B-Chat-Int8
name: qwen-7b-chat-int8
volumes:
- name: qwen-7b-chat-int8
persistentVolumeClaim:
claimName: qwen-7b-chat-int8-dataset
CPU ve belleğe göre belirtin
Bu örnekte 1 çekirdekli, 2 GiB bellekli bir ECS ayrılmış örneği belirtilir:
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: helloworld-resource
spec:
template:
metadata:
annotations:
knative.aliyun.com/reserve-instance: enable
knative.aliyun.com/reserve-instance-type: ecs
knative.aliyun.com/reserve-instance-cpu-resource-request: "1"
knative.aliyun.com/reserve-instance-cpu-resource-limit: "1"
knative.aliyun.com/reserve-instance-memory-resource-request: "2Gi"
knative.aliyun.com/reserve-instance-memory-resource-limit: "2Gi"
spec:
containers:
- image: registry-vpc.cn-hangzhou.aliyuncs.com/knative-sample/helloworld-go:73fbdd56
env:
- name: TARGET
value: "Knative"
Ayrılmış örnek havuzu yapılandırın
Tek bir ayrılmış örnek, boşta kaldıktan sonraki ilk isteği karşılar. Sık trafik dalgalanmaları yaşayan hizmetler için knative.aliyun.com/reserve-instance-replicas kullanarak havuzu genişletin. Trafik geldiğinde hazır durumdaki ayrılmış örnekler anında yanıt verirken standart örnekler dışa doğru ölçeklenir; standart örnekler yükü taşıyabilir hale geldiğinde trafik bunlara yönlendirilir ve ayrılmış havuz tekrar sıfıra ölçeklenir.
Bu örnekte 3 düşük özellikli örnekten oluşan bir havuz oluşturulur:
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: hello-reserve-pool
spec:
template:
metadata:
annotations:
knative.aliyun.com/reserve-instance: enable
knative.aliyun.com/reserve-instance-replicas: "3"
knative.aliyun.com/reserve-instance-eci-use-specs: "ecs.t6-c1m1.large,ecs.t5-lc1m2.small"
spec:
containers:
- image: registry.cn-hangzhou.aliyuncs.com/knative-sample/helloworld-go:160e4dc8
Üretim ortamında uygulayın
Uygulamanızı güvenilir şekilde çalıştıran ve en az bir isteği karşılayabilen en düşük maliyetli örnek türünü seçin. Ayrılmış örneğin yalnızca standart örnekler hazır olana kadar trafiği karşılaması gerekir; bu nedenle standart örneklerin teknik özellikleriyle eşleşmesi gerekmez.
Yüksek ani artış gösteren hizmetler için ayrılmış bir havuz kullanın. Hizmetiniz ani trafik artışları alıyorsa ilk yükü karşılamak üzere knative.aliyun.com/reserve-instance-replicas ile birden fazla çoğaltma yapılandırın.
Ayrılmış örnekleri boyutlandırırken sürekli faturalamayı hesaba katın. Ayrılmış örnekler boşta kalan dönemler dahil olmak üzere her zaman ücretlendirilir. Boşta kalma maliyetlerini düşük tutmak için tek bir isteği karşılayabilecek en küçük örnek türünü kullanın.
İzleme ve uyarılar: Ayrılmış örneklerden standart örneklere geçişi doğrulamak için Knative Hizmet ölçeklendirmesini izleyin. Kritik hizmetler için yanıt gecikme süresi uyarıları ayarlayın.
Faturalama
Ayrılmış örnekler boşta kalan dönemler dahil olmak üzere sürekli olarak ücretlendirilir. Her örnek türü için faturalama ayrıntılarını inceleyin:
Sonraki adımlar
Knative'de maliyet etkin spot örnekleri kullanma
Yatay pod otomatik ölçeklendirme için Knative'de HPA kullanma
Trafik isteklerine göre Hizmetleri otomatik olarak ölçeklendirme
Zamanlanmış otomatik ölçeklendirme için AHPA kullanma