ACK üzerinde Knative Serving pod'larını eşzamanlılık veya RPS (saniye başına istek) bazında ölçeklendirmek üzere Knative Pod Autoscaler (KPA) yapılandırın.
Ön koşullar
Başlamadan önce aşağıdaki ön koşulları karşıladığınızdan emin olun:
Kubernetes 1.20 veya sonraki bir sürümü çalıştıran bir ACK yönetilen kümesi veya ACK Serverless kümesi oluşturun.
Knative bileşenini kümede dağıtın.
Çalışma mekanizması
Knative Serving, her pod'a bir queue-proxy sidecar konteyneri ekler. Sidecar, eşzamanlılık ölçümlerini KPA'ya bildirir; KPA ise bu ölçümlere ve yapılandırılan algoritmaya göre pod sayısını ayarlar.
Ölçeklendirme algoritması
KPA, hedef pod sayısını aşağıdaki formülle hesaplar:
Number of pods = Number of concurrent requests / (Pod maximum concurrency × Target utilization)
Örnek: containerConcurrency değeri 10 olarak ayarlandığında ve hedef kullanım oranı %70 olduğunda, 100 eşzamanlı istek şu sonucu verir: 100 / (10 × 0,7) = 15 pod (yukarı yuvarlanır).
Kararlı ve panik modları
KPA, trafik kalıplarına yanıt vermek için iki mod kullanır:
Kararlı mod — varsayılan ayardır. KPA, kararlı pencere (varsayılan: 60 sn) boyunca pod'lar arasındaki eşzamanlılığın ortalamasını alır ve pod sayısını buna göre ayarlar.
Panik modu — trafik ani artışları sırasında tetiklenir. KPA, ani yükselmeleri tespit etmek için daha kısa bir panik penceresi (varsayılan: 6 sn; stable window × panic-window-percentage) kullanır. Panik modundaki pod sayısı ≥ panic-threshold-percentage / 100 × hazır pod sayısı (varsayılan: 2 katı) olduğunda, KPA kararlı sayı yerine panik sayısını kullanır.
config-autoscaler ConfigMap'i yapılandırın
Genel KPA varsayılanları, knative-serving ad alanındaki config-autoscaler ConfigMap'inde bulunur. Revizyon başına eklenen açıklamalar (annotations) bu varsayılanları geçersiz kılar.
Mevcut yapılandırmayı inceleyin:
kubectl -n knative-serving describe cm config-autoscaler
Aşağıdaki tabloda temel parametreler listelenmiştir. Tüm değerler varsayılanlardır.
| Parametre | Varsayılan | Açıklama |
|---|---|---|
container-concurrency-target-default |
100 |
Pod başına maksimum eşzamanlı istek sayısı (yumuşak sınır, genel) |
container-concurrency-target-percentage |
70 |
Eşzamanlılık tabanlı ölçeklendirme için hedef kullanım yüzdesi |
requests-per-second-target-default |
200 |
Pod başına hedef RPS (saniye başına istek) |
target-burst-capacity |
211 |
Activator'ün istekleri arabelleğe almasından önceki ani yük kapasitesi. 0: Sıfıra ölçeklendirmede yalnızca Activator kullanılır. 0 değerinden büyük ve container-concurrency-target-percentage değeri 100 ise: Activator her zaman kullanılır. -1: Sınırsız. |
stable-window |
60s |
Kararlı mod ortalaması için zaman penceresi |
panic-window-percentage |
10.0 |
Kararlı pencerenin yüzdesi olarak panik penceresi (varsayılan: 6 sn) |
panic-threshold-percentage |
200.0 |
İstenen pod sayısı ≥ panic-threshold-percentage / 100 × hazır pod sayısı olduğunda panik modu tetiklenir |
max-scale-up-rate |
1000.0 |
Ölçeklendirme olayı başına istenen pod'ların maksimum oranı: ceil(max-scale-up-rate × readyPodsCount) |
max-scale-down-rate |
2.0 |
Pod'lar, etkinlik başına mevcut sayının en fazla yarısına kadar içeri ölçeklenir |
enable-scale-to-zero |
true |
Boştaki hizmetlerin sıfır poda ölçeklendirilip ölçeklendirilmeyeceği |
scale-to-zero-grace-period |
30s |
Sıfıra ölçeklendirme sırasında ağ programlaması için maksimum süre |
scale-to-zero-pod-retention-period |
0s |
Trafik durduktan sonra son pod'un tutulduğu minimum süre |
pod-autoscaler-class |
kpa.autoscaling.knative.dev |
Otomatik ölçeklendirici türü. Desteklenen değerler: kpa.autoscaling.knative.dev, hpa.autoscaling.knative.dev, aha.autoscaling.knative.dev. ACK Serverless kümelerinde sıfıra ölçeklendirmek için MSE ile mpa kullanın. |
activator-capacity |
100.0 |
Activator hizmetinin istek kapasitesi |
initial-scale |
1 |
Revizyon başına başlangıç pod sayısı |
allow-zero-initial-scale |
false |
Bir revizyonun sıfır pod ile başlayıp başlayamayacağı |
min-scale |
0 |
Revizyon başına minimum pod sayısı (0 = alt sınır yok) |
max-scale |
0 |
Revizyon başına maksimum pod sayısı (0 = sınırsız) |
scale-down-delay |
0s |
İçeri ölçeklemeden önce azaltılmış eşzamanlılık süresi. min-scale değerinden farklı olarak, pod'lar gecikme süresinden sonra sonunda içeri ölçeklenir. Kısa süreli trafik durgunluklarında soğuk başlatmaları önler. |
scale-to-zero-grace-period parametresi, sıfıra ölçeklendirme sırasında ağ programlamasının ne kadar sürebileceğini sınırlar. Bu parametreyi yalnızca sıfıra ölçeklendirme sırasında istek kaybı yaşarsanız ayarlayın; bu parametre son pod'un ne kadar süre canlı kalacağını kontrol etmez. Trafik bittikten sonra son pod'u tutmak için bunun yerine scale-to-zero-pod-retention-period kullanın.
Ölçeklendirme ölçümlerini yapılandırın
autoscaling.knative.dev/metric açıklaması ile revizyon başına ölçeklendirme ölçümünü ayarlayın. Varsayılan: concurrency.
| Ölçüm | Gerekli otomatik ölçeklendirici sınıfı | Açıklama |
|---|---|---|
concurrency |
kpa.autoscaling.knative.dev (varsayılan) |
Pod başına eşzamanlı giden istekler |
rps |
kpa.autoscaling.knative.dev (varsayılan) |
Pod başına saniye başına istek |
cpu |
hpa.autoscaling.knative.dev |
CPU kullanımı |
memory |
hpa.autoscaling.knative.dev |
Bellek kullanımı |
| Özel ölçümler | Değişken | Uygulama gereksinimlerine göre özel ölçümler |
Eşzamanlılık ölçümü (varsayılan)
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: helloworld-go
namespace: default
spec:
template:
metadata:
annotations:
autoscaling.knative.dev/metric: "concurrency"
RPS ölçümü
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: helloworld-go
namespace: default
spec:
template:
metadata:
annotations:
autoscaling.knative.dev/metric: "rps"
CPU ölçümü
CPU tabanlı ölçeklendirme, HPA otomatik ölçeklendirici sınıfını gerektirir.
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: helloworld-go
namespace: default
spec:
template:
metadata:
annotations:
autoscaling.knative.dev/class: "hpa.autoscaling.knative.dev"
autoscaling.knative.dev/metric: "cpu"
Bellek ölçümü
Bellek tabanlı ölçeklendirme de HPA otomatik ölçeklendirici sınıfını gerektirir.
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: helloworld-go
namespace: default
spec:
template:
metadata:
annotations:
autoscaling.knative.dev/class: "hpa.autoscaling.knative.dev"
autoscaling.knative.dev/metric: "memory"
Ölçeklendirme hedeflerini yapılandırın
Ölçeklendirme hedefleri, KPA'nın pod başına koruduğu ölçüm değerini belirler. Bunları revizyon başına veya genel olarak yapılandırabilirsiniz.
Eşzamanlılık hedefi
Revizyon başına — autoscaling.knative.dev/target kullanın:
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: helloworld-go
namespace: default
spec:
template:
metadata:
annotations:
autoscaling.knative.dev/target: "50"
Genel — config-autoscaler ConfigMap'ini güncelleyin:
apiVersion: v1
kind: ConfigMap
metadata:
name: config-autoscaler
namespace: knative-serving
data:
container-concurrency-target-default: "200"
RPS hedefi
Revizyon başına:
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: helloworld-go
namespace: default
spec:
template:
metadata:
annotations:
autoscaling.knative.dev/target: "150"
autoscaling.knative.dev/metric: "rps"
spec:
containers:
- image: registry.cn-hangzhou.aliyuncs.com/knative-sample/helloworld-go:73fbdd56
Genel:
apiVersion: v1
kind: ConfigMap
metadata:
name: config-autoscaler
namespace: knative-serving
data:
requests-per-second-target-default: "150"
Eşzamanlılık sınırlarını yapılandırın
Eşzamanlılık sınırları, pod başına eşzamanlı istekleri kısıtlar. KPA iki tür sınırı destekler.
Yumuşak eşzamanlılık sınırı
Yumuşak sınır, KPA'nın ölçeklendirmeye çalıştığı hedeftir. Kesinlikle uygulanmaz; ani yükler bunu geçici olarak aşabilir.
Revizyon başına:
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: helloworld-go
namespace: default
spec:
template:
metadata:
annotations:
autoscaling.knative.dev/target: "200"
Genel:
apiVersion: v1
kind: ConfigMap
metadata:
name: config-autoscaler
namespace: knative-serving
data:
container-concurrency-target-default: "200"
Sert eşzamanlılık sınırı
Sert sınır kesinlikle uygulanır; aşırı istekler arabelleğe alınır. Uygulamanızın kesin bir eşzamanlılık üst sınırı varsa sert sınır ayarlayın; düşük değerler aktarım hızını düşürür ve gecikme süresini artırır.
Revizyon başına — containerConcurrency spec alanını kullanın (açıklama değil):
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: helloworld-go
namespace: default
spec:
template:
spec:
containerConcurrency: 50
Hedef kullanım oranı
Hedef kullanım oranı, KPA'nın dışarı ölçeklendirmeden önce pod'ların ne kadar dolu çalışacağını kontrol eder. containerConcurrency: 10 ile %70 kullanım oranında, mevcut pod'lardaki ortalama eşzamanlılık 7'ye ulaştığında KPA yeni bir pod oluşturur. Daha düşük değerler KPA'nın daha erken dışarı ölçeklendirmesini sağlayarak soğuk başlatma gecikmesini azaltır.
Revizyon başına:
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: helloworld-go
namespace: default
spec:
template:
metadata:
annotations:
autoscaling.knative.dev/target-utilization-percentage: "70"
spec:
containers:
- image: registry.cn-hangzhou.aliyuncs.com/knative-sample/helloworld-go:73fbdd56
Genel:
apiVersion: v1
kind: ConfigMap
metadata:
name: config-autoscaler
namespace: knative-serving
data:
container-concurrency-target-percentage: "70"
Sıfıra ölçeklendirmeyi yapılandırın
Sıfıra ölçeklendirmeyi genel olarak etkinleştirin veya devre dışı bırakın
Bir hizmet boşta kaldığında en az bir pod'un çalışmasını sağlamak için enable-scale-to-zero değerini "false" olarak ayarlayın:
apiVersion: v1
kind: ConfigMap
metadata:
name: config-autoscaler
namespace: knative-serving
data:
enable-scale-to-zero: "false"
Sıfıra ölçeklendirme tolerans süresini yapılandırın
scale-to-zero-grace-period parametresi, sıfıra ölçeklendirme sırasında ağ programlamasının ne kadar sürebileceğini sınırlar.
Bu değeri yalnızca sıfıra ölçeklendirme sırasında istek kaybı yaşıyorsanız artırın. Bu parametre son pod'un ne kadar süre canlı kalacağını kontrol etmez. Son pod'u tutmak için bunun yerine scale-to-zero-pod-retention-period kullanın.
apiVersion: v1
kind: ConfigMap
metadata:
name: config-autoscaler
namespace: knative-serving
data:
scale-to-zero-grace-period: "40s"
Pod tutma süresini yapılandırın
scale-to-zero-pod-retention-period parametresi, trafik durduktan sonra son pod'u minimum bir süre boyunca tutarak aralıklı trafiğe sahip hizmetlerde soğuk başlatmaları önler.
Revizyon başına:
apiVersion: serving.knative.dev/v1
kind: Service
metadata:
name: helloworld-go
namespace: default
spec:
template:
metadata:
annotations:
autoscaling.knative.dev/scale-to-zero-pod-retention-period: "1m5s"
spec:
containers:
- image: registry.cn-hangzhou.aliyuncs.com/knative-sample/helloworld-go:73fbdd56
Genel:
apiVersion: v1
kind: ConfigMap
metadata:
name: config-autoscaler
namespace: knative-serving
data:
scale-to-zero-pod-retention-period: "42s"
Ölçeklendirme sınırlarını yapılandırın
Ölçeklendirme sınırları, bir revizyon için minimum ve maksimum çoğaltma sayısını belirler.
| Açıklama (Annotation) | Parametre (genel) | Amaç |
|---|---|---|
autoscaling.knative.dev/min-scale |
min-scale |
Alt sınır — KPA bu sayının altına asla ölçeklendirmez |
autoscaling.knative.dev/max-scale |
max-scale |
Üst sınır — KPA bu sayının üzerine asla ölçeklendirmez (0 = sınırsız) |
min-scalekalıcı bir pod alt sınırı korur. Kalıcı bir alt sınır olmadan içeri ölçeklendirmeyi geciktirmek içinscale-down-delayparametresiniconfig-autoscaleriçinde kullanın — pod'lar gecikme süresinden sonra yine de içeri ölçeklenir.
Örnekler
Örnek 1: Eşzamanlılık hedefine göre ölçeklendirme
10 eşzamanlılık hedefiyle otomatik ölçeklendirmeli bir uygulama dağıtın ve 50 eşzamanlı istekle test edin.
ACK kümesinde Knative dağıtın veya ACK Serverless kümesinde dağıtın.
-
Aşağıdaki içerikle
autoscale-go.yamldosyasını oluşturun:apiVersion: serving.knative.dev/v1 kind: Service metadata: name: autoscale-go namespace: default spec: template: metadata: labels: app: autoscale-go annotations: autoscaling.knative.dev/target: "10" # Concurrency target: 10 requests per pod spec: containers: - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/autoscale-go:0.1 -
Manifesto dosyasını uygulayın:
kubectl apply -f autoscale-go.yaml -
Ingress ağ geçidi adresini alın. ALB:
kubectl get albconfig knative-internetBeklenen çıktı:
NAME ALBID DNSNAME PORT&PROTOCOL CERTID AGE knative-internet alb-hvd8nngl0lsdra15g0 alb-hvd8nng******.cn-beijing.alb.aliyuncs.com 2MSE:
kubectl -n knative-serving get ing stats-ingressBeklenen çıktı:
NAME CLASS HOSTS ADDRESS PORTS AGE stats-ingress knative-ingressclass * 101.201.XX.XX,192.168.XX.XX 80 15dASM:
kubectl get svc istio-ingressgateway --namespace istio-system --output jsonpath="{.status.loadBalancer.ingress[*]['ip']}"Beklenen çıktı:
121.XX.XX.XXKourier:
kubectl -n knative-serving get svc kourierBeklenen çıktı:
NAME TYPE CLUSTER-IP EXTERNAL-IP PORT(S) AGE kourier LoadBalancer 10.0.XX.XX 39.104.XX.XX 80:31133/TCP,443:32515/TCP 49m -
hey kullanarak 30 saniye boyunca 50 eşzamanlı istek gönderin:
hey -z 30s -c 50 \ -host "autoscale-go.default.example.com" \ "http://121.199.XXX.XXX" # Replace with your Ingress gateway addressBeklenen çıktı: KPA 5 pod ekler: 50 eşzamanlı istek ÷ 10 hedefi = 5 pod.

Örnek 2: Sınırlarla ölçeklendirme
Bir pod'un çalışmasını sürdürmek ve dağıtımı üç pod ile sınırlamak için min-scale: 1 ve max-scale: 3 ekleyin.
ACK kümesinde Knative dağıtın veya ACK Serverless kümesinde dağıtın.
-
Aşağıdaki içerikle
autoscale-go.yamldosyasını oluşturun:apiVersion: serving.knative.dev/v1 kind: Service metadata: name: autoscale-go namespace: default spec: template: metadata: labels: app: autoscale-go annotations: autoscaling.knative.dev/target: "10" autoscaling.knative.dev/min-scale: "1" # Keep at least 1 pod running autoscaling.knative.dev/max-scale: "3" # Cap at 3 pods spec: containers: - image: registry.cn-hangzhou.aliyuncs.com/knative-sample/autoscale-go:0.1 -
Manifesto dosyasını uygulayın:
kubectl apply -f autoscale-go.yaml Ingress ağ geçidi adresini alın (Örnek 1, adım 4).
-
30 saniye boyunca 50 eşzamanlı istek gönderin:
hey -z 30s -c 50 \ -host "autoscale-go.default.example.com" \ "http://121.199.XXX.XXX" # Replace with your Ingress gateway addressBeklenen çıktı: KPA, yük sırasında 3 poda (maksimum) ölçeklenir, ardından 1 poda (minimum) geri döner — sonraki istekte soğuk başlatma yaşanmaz.
