Bu konu, Elastic Container Instance (ECI) kaynaklarını kullanarak ACK üzerinde Spark işlerinin nasıl çalıştırılacağını açıklar. Uygun zamanlama stratejileri yapılandırarak ECI pod'larını ihtiyaç doğrultusunda oluşturabilir ve yalnızca tüketilen kaynaklar için ödeme yapabilirsiniz. Bu sayede boşta kalan kaynak maliyetlerini azaltır ve Spark işlerini daha ekonomik bir şekilde çalıştırırsınız.
Ön koşullar
Aşağıdakilere ihtiyacınız vardır:
Kümede ack-virtual-node dağıtıldı (ECI kapasitesini sanal düğümler olarak sunar).
Nasıl çalışır?
ack-virtual-node dağıtıldığında her ECI düğümü virtual-kubelet.io/provider=alibabacloud:NoSchedule taint değerine sahiptir. Eşleşen bir tolerans bulunmadığında zamanlayıcı ECI düğümlerini atlar ve tüm pod'ları ECS üzerine yerleştirir. Spark pod'larını ECI'ye yönlendirmek için SparkApplication spec dosyasına toleranslar ve düğüm uygunluk kuralları ekleyin.
ECI, her konteyneri hafif bir sanal yalıtım alanı (sandbox) içinde çalıştırarak pod'ları tamamen izole eder. Kullandıkça öde faturalama modeli sayesinde yalnızca pod çalışırken tükettiği CPU ve bellek için ödeme yaparsınız; boşta duran düğüm kapasitesi için ücretlendirilmezsiniz.
Sürücü ve yürütücü yerleşimi
Sürücü ve yürütücü pod'larının arızalanma davranışları farklıdır ve bu durum yerleşimi etkiler:
Bir yürütücü başarısız olursa Spark onu otomatik olarak değiştirir. Yürütücüler durumu olmayan (stateless) ve hata toleranslı bileşenlerdir.
Sürücü başarısız olursa tüm iş başarısız olur ve baştan yeniden başlar. Sürücünün kararlılığını koruyun.
Maliyet önemli olduğunda sürücüyü güvenilir ECS düğümlerinde tutun ve yürütücüler daha düşük maliyetli ECI veya öncelikli kesmeye tabi (preemptible) örnekler üzerine yönlendirin.
Spark iş yükleri için ECI özellikleri:
| Özellik | Değer |
|---|---|
| Ölçek | ACK Serverless kümesinde 50.000'den fazla pod; ek yapılandırma gerekmez |
| Sağlama hızı | Saniyeler içinde binlerce pod |
| Faturalama | Kullandıkça öde; maliyeti daha da düşürmek için öncelikli kesmeye tabi örnekler kullanılabilir |
Bir zamanlama stratejisi seçin
Üç strateji yaygın dağıtım senaryolarını kapsar:
| Strateji | Ne zaman kullanılır? | Sürücü yerleşimi | Yürütücü yerleşimi |
|---|---|---|---|
| Yalnızca ECS | Öngörülebilir, sabit iş yükleri | ECS | ECS |
| Yalnızca ECI | Tam esneklik gerektiren toplu iş veya ani yük artışları | ECI | ECI |
| ECI yedekli ECS önceliği | Normal yüklerde ECS; zirve dönemlerinde ECI'ye otomatik genişleme | ECS (tercih edilen) | ECS (tercih edilen), ECI (taşma) |
Kaynak türü başına pod sayısını sınırlamak gibi ince ayarlı kontrol için ResourcePolicy kullanın.
Spark işlerini ECS ve ECI düğümlerinde zamanlayın
Tüm örnekler aşağıdaki temel ayarlara sahip SparkApplication (CRD sparkoperator.k8s.io/v1beta2) kullanır:
| Alan | Değer |
|---|---|
| Görüntü | registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2 |
mainClass |
org.apache.spark.examples.SparkPi |
sparkVersion |
3.5.2 |
driver.serviceAccount |
spark-operator-spark |
Yalnızca ECS
Tolerans veya uygunluk kuralı gerekmez. Varsayılan ECI taint değeri zamanlayıcının pod'ları buraya yerleştirmesini engeller.
apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
name: spark-pi-ecs-only
namespace: default
spec:
type: Scala
mode: cluster
image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2
mainClass: org.apache.spark.examples.SparkPi
mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.2.jar
arguments:
- "5000"
sparkVersion: 3.5.2
driver:
cores: 1
coreLimit: 1200m
memory: 512m
serviceAccount: spark-operator-spark
executor:
instances: 2
cores: 2
memory: 4g
Beklenen davranış: Tüm sürücü ve yürütücü pod'ları ECS düğümlerine zamanlanır. ECS kapasitesi yetersiz kalırsa kapasite uygun hale gelene kadar pod'lar Bekliyor (Pending) durumunda kalır.
Yalnızca ECI
Varsayılan ECI taint değeri için bir tolerans ve pod'ları ECI düğümlerine sabitlemek için requiredDuringSchedulingIgnoredDuringExecution uygunluk kuralı ekleyin. Her ikisini de sürücü ve yürütücü spec dosyalarına uygulayın.
apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
name: spark-pi-eci-only
namespace: default
spec:
type: Scala
mode: cluster
image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2
mainClass: org.apache.spark.examples.SparkPi
mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.2.jar
arguments:
- "5000"
sparkVersion: 3.5.2
driver:
cores: 1
coreLimit: 1200m
memory: 512m
serviceAccount: spark-operator-spark
affinity:
nodeAffinity:
# Pin driver to ECI nodes only.
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: type
operator: In
values:
- virtual-kubelet
tolerations:
# Tolerate the default ECI taint.
- key: virtual-kubelet.io/provider
operator: Equal
value: alibabacloud
effect: NoSchedule
executor:
instances: 2
cores: 2
memory: 4g
affinity:
nodeAffinity:
# Pin executors to ECI nodes only.
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: type
operator: In
values:
- virtual-kubelet
tolerations:
# Tolerate the default ECI taint.
- key: virtual-kubelet.io/provider
operator: Equal
value: alibabacloud
effect: NoSchedule
Beklenen davranış: Tüm pod'lar ECI düğümlerine zamanlanır ve iş tamamen sunucusuz modda çalışır. Bölgesel ECI kapasitesi sınırlıysa kaynaklar uygun hale gelene kadar pod'lar Bekliyor (Pending) durumunda kalır.
ECI yedekli ECS önceliği
ECI taşmasına izin verirken ECS'yi tercih etmek için preferredDuringSchedulingIgnoredDuringExecution uygunluk kuralını kullanın. ECS dolduğunda zamanlayıcının pod'ları ECI üzerine yerleştirebilmesi için ECI toleransını ekleyin.
apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
name: spark-pi-ecs-first
namespace: default
spec:
type: Scala
mode: cluster
image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2
mainClass: org.apache.spark.examples.SparkPi
mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.2.jar
arguments:
- "5000"
sparkVersion: 3.5.2
driver:
cores: 1
coreLimit: 1200m
memory: 512m
serviceAccount: spark-operator-spark
affinity:
nodeAffinity:
# Prefer ECS nodes; fall back to ECI if ECS capacity is exhausted.
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 1
preference:
matchExpressions:
- key: type
operator: NotIn
values:
- virtual-kubelet
tolerations:
# Allow scheduling to ECI nodes when needed.
- key: virtual-kubelet.io/provider
operator: Equal
value: alibabacloud
effect: NoSchedule
executor:
instances: 2
cores: 2
memory: 4g
affinity:
nodeAffinity:
# Prefer ECS nodes; fall back to ECI if ECS capacity is exhausted.
preferredDuringSchedulingIgnoredDuringExecution:
- weight: 1
preference:
matchExpressions:
- key: type
operator: NotIn
values:
- virtual-kubelet
tolerations:
# Allow scheduling to ECI nodes when needed.
- key: virtual-kubelet.io/provider
operator: Equal
value: alibabacloud
effect: NoSchedule
Beklenen davranış: Kapasite mevcut olduğunda pod'lar ECS üzerine yerleşir. ECS dolduğunda taşan pod'lar ECI'ye zamanlanır. Bu yaklaşım ECI kaynaklarını kalıcı olarak rezerve etmeden zirve dönemlerinde iş kuyruğa alınmasını önler.
Taint değerleri, toleranslar ve düğüm uygunluğu hakkında bilgi için ECS örnekleri ve esnek kapsayıcı örneklerine göre kaynak tahsisini yapılandırma konusuna bakın.
Öncelik tabanlı kaynak zamanlamasını yapılandırın
Birim başına pod sınırı olan zamanlama birimlerini tanımlamak için ResourcePolicy kullanın. ACK zamanlayıcı ölçeklendirme sırasında birimleri öncelik sırasına göre doldurur ve ölçek daraltma sırasında pod'ları ters sırada kaldırır. Ayrıntılar için Öncelik tabanlı kaynak zamanlamasını yapılandırma konusuna bakın.
-
defaultad alanında Spark Operator pod'ları içinresourcepolicy.yamldosyasını oluşturun (AMD64 ECS üzerinde en fazla 2, ardından ECI üzerinde 3):apiVersion: scheduling.alibabacloud.com/v1alpha1 kind: ResourcePolicy metadata: name: sparkapplication-resource-policy namespace: default # Applies only to pods in this namespace. spec: ignorePreviousPod: true ignoreTerminatingPod: false matchLabelKeys: - sparkoperator.k8s.io/submission-id # Group pods by Spark job submission ID. preemptPolicy: AfterAllUnits # Attempt preemption only after all units are exhausted. selector: sparkoperator.k8s.io/launched-by-spark-operator: "true" strategy: prefer units: - max: 2 # Up to 2 pods on AMD64 ECS nodes (first priority). resource: ecs nodeSelector: kubernetes.io/arch: amd64 - max: 3 # Up to 3 pods on ECI (second priority). resource: eci -
ResourcePolicy'i uygulayın:
kubectl apply -f resourcepolicy.yaml -
spark-pi.yamldosyasını oluşturun. Bu SparkApplication 1 sürücü ve 5 yürütücü ister; ResourcePolicy'nin bunları her iki birim türüne dağıtabilmesi için tümü ECI taint değerine tolerans gösterir.apiVersion: sparkoperator.k8s.io/v1beta2 kind: SparkApplication metadata: name: spark-pi namespace: default spec: type: Scala mode: cluster image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2 mainClass: org.apache.spark.examples.SparkPi mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.2.jar arguments: - "5000" sparkVersion: 3.5.2 driver: cores: 1 coreLimit: 1200m memory: 512m serviceAccount: spark-operator-spark tolerations: - key: virtual-kubelet.io/provider # Allow the driver to be scheduled to ECI if needed. operator: Equal value: alibabacloud effect: NoSchedule executor: instances: 5 cores: 1 coreLimit: 1200m memory: 512m tolerations: - key: virtual-kubelet.io/provider # Allow executors to be scheduled to ECI. operator: Equal value: alibabacloud effect: NoSchedule -
Spark işini gönderin:
kubectl apply -f spark-pi.yaml -
Zamanlama sonuçlarını doğrulayın:
kubectl get pods -o wide -l sparkoperator.k8s.io/app-name=spark-piBeklenen çıktı:
NAME READY STATUS RESTARTS AGE IP NODE spark-pi-34c0998f9f832e61-exec-1 1/1 Running 0 28s 192.XXX.XX.34 cn-beijing.192.XXX.XX.250 spark-pi-34c0998f9f832e61-exec-2 1/1 Running 0 28s 192.XXX.XX.87 virtual-kubelet-cn-beijing-i spark-pi-34c0998f9f832e61-exec-3 1/1 Running 0 28s 192.XXX.XX.88 virtual-kubelet-cn-beijing-i spark-pi-34c0998f9f832e61-exec-4 1/1 Running 0 28s 192.XXX.XX.86 virtual-kubelet-cn-beijing-i spark-pi-34c0998f9f832e61-exec-5 0/1 Pending 0 28s <none> <none> spark-pi-driver 1/1 Running 0 34s 192.XXX.XX.37 cn-beijing.192.XXX.XXX.250Sonuç: Sürücü ve exec-1 AMD64 ECS birimine (maksimum 2 pod) yerleşir. exec-2, exec-3 ve exec-4 ECI birimine (maksimum 3 pod) yerleşir. Her iki birim de pod sınırına ulaştığı için exec-5 Bekliyor (Pending) durumunda kalır.
ImageCache ile görüntü çekmeyi hızlandırın
Her pod başlatıldığında büyük bir Spark görüntüsü çekmek gecikme süresine neden olur. ECI ImageCache görüntüleri alttaki altyapıda önceden önbelleğe alır; önbellek isabeti durumunda pod başlatma süresi ~100 saniyeden neredeyse anlık hale gelir. Ayrıntılar için Esnek kapsayıcı örneklerinin oluşturulmasını hızlandırmak için ImageCache kullanma konusuna bakın.
Görüntü önbelleği ile ve olmadan başlatmayı karşılaştırın
Önbellek olmadan bir SparkApplication gönderdikten sonra kubectl describe pod spark-pi-driver komutunu çalıştırdığınızda şunları görürsünüz:
Events:
...
Warning ImageCacheMissed 24m EciService [eci.imagecache]Missed image cache.
Normal ImageCacheAutoCreated 24m EciService [eci.imagecache]Image cache imc-2zeXXXXXXXXXXXXXXXXX is auto created
Normal Pulling 24m kubelet Pulling image "registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2"
Normal Pulled 23m kubelet Successfully pulled image "registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2" in 1m41.289s (1m41.289s including waiting)
...
Görüntünün çekilmesi yaklaşık 100 saniye sürdü. ECI sonraki çalıştırmalar için otomatik olarak bir önbellek oluşturdu.
Önbellek isabeti ile olaylar şunları gösterir:
Events:
...
Normal SuccessfulHitImageCache 23s EciService [eci.imagecache]Successfully hit image cache imc-2zeXXXXXXXXXXXXXXXXX, eci will be scheduled with this image cache.
Normal Pulled 4s kubelet Container image "registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2" already present on machine
...
Görüntü çekme işlemi gerekli olmadı.
Bir görüntü önbelleği kimliği belirtin
Belirli bir görüntü önbelleğini sabitlemek için sürücü ve yürütücü spec dosyalarına k8s.aliyun.com/eci-image-snapshot-id açıklamasını ekleyin:
apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
name: spark-pi-eci-only
namespace: default
spec:
type: Scala
mode: cluster
image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2
mainClass: org.apache.spark.examples.SparkPi
mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.2.jar
arguments:
- "5000"
sparkVersion: 3.5.2
driver:
annotations:
k8s.aliyun.com/eci-image-snapshot-id: imc-2zeXXXXXXXXXXXXXXXXX # Image cache ID.
cores: 1
coreLimit: 1200m
memory: 512m
serviceAccount: spark-operator-spark
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: type
operator: In
values:
- virtual-kubelet
tolerations:
- key: virtual-kubelet.io/provider
operator: Equal
value: alibabacloud
effect: NoSchedule
executor:
annotations:
k8s.aliyun.com/eci-image-snapshot-id: imc-2zeXXXXXXXXXXXXXXXXX # Image cache ID.
instances: 2
cores: 2
memory: 4g
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: type
operator: In
values:
- virtual-kubelet
tolerations:
- key: virtual-kubelet.io/provider
operator: Equal
value: alibabacloud
effect: NoSchedule
Otomatik görüntü önbelleği oluşturmayı ve eşleştirmeyi etkinleştirin
ECI'nin önbellek kimliği olmadan önbellek oluşturmayı ve eşleştirmeyi otomatik olarak yönetmesine izin vermek için sürücü ve yürütücüde k8s.aliyun.com/eci-image-cache açıklamasını "true" olarak ayarlayın:
apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
name: spark-pi-eci-only
namespace: default
spec:
type: Scala
mode: cluster
image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2
mainClass: org.apache.spark.examples.SparkPi
mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.2.jar
arguments:
- "5000"
sparkVersion: 3.5.2
driver:
annotations:
k8s.aliyun.com/eci-image-cache: "true" # Enable automatic image cache creation and matching.
cores: 1
coreLimit: 1200m
memory: 512m
serviceAccount: spark-operator-spark
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: type
operator: In
values:
- virtual-kubelet
tolerations:
- key: virtual-kubelet.io/provider
operator: Equal
value: alibabacloud
effect: NoSchedule
executor:
annotations:
k8s.aliyun.com/eci-image-cache: "true" # Enable automatic image cache creation and matching.
instances: 2
cores: 2
memory: 4g
affinity:
nodeAffinity:
requiredDuringSchedulingIgnoredDuringExecution:
nodeSelectorTerms:
- matchExpressions:
- key: type
operator: In
values:
- virtual-kubelet
tolerations:
- key: virtual-kubelet.io/provider
operator: Equal
value: alibabacloud
effect: NoSchedule
İlk çalıştırmada ECI otomatik olarak bir önbellek oluşturur. Sonraki çalıştırmalar önbellekle eşleşir ve görüntü çekme işlemini atlar.
Üretim ortamında uygulama
Üretim işleri için ECI yedekli ECS önceliğini kullanın. Gecikmeye duyarlı işleri kalıcı ECS düğümlerinde tutarken ECI ani trafik artışlarını ek düğüm sağlama ihtiyacı olmadan karşılar.
Sürücüyü ECS'de, yürütücüler ECI'de çalıştırın. Sürücü hatası tüm işin yeniden başlatılmasına neden olur. Sürücüyü kararlı ECS düğümlerinde tutun ve durumu olmayan yürütücüler daha düşük maliyetli ECI veya öncelikli kesmeye tabi örnekler üzerine yönlendirin.
Tekrarlanan işler için otomatik görüntü önbelleğe almayı etkinleştirin. İlk çalışma önbelleği oluşturur; sonraki çalıştırmalar görüntü çekme işlemini atlayarak başlatma süresini ~100 saniyeden neredeyse anlık hale getirir.
Pod dağılımının düğüm türleri arasında hassas olması gerektiğinde ResourcePolicy kullanın. Birim başına
maxalanı pod sayısını sınırlar; bu, iş gönderimi başına ECI harcamalarını sınırlandırmak için faydalıdır.