Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Use elastic container instances to run Spark jobs

Son Güncelleme:Oct 06, 2026

Bu konu, Elastic Container Instance (ECI) kaynaklarını kullanarak ACK üzerinde Spark işlerinin nasıl çalıştırılacağını açıklar. Uygun zamanlama stratejileri yapılandırarak ECI pod'larını ihtiyaç doğrultusunda oluşturabilir ve yalnızca tüketilen kaynaklar için ödeme yapabilirsiniz. Bu sayede boşta kalan kaynak maliyetlerini azaltır ve Spark işlerini daha ekonomik bir şekilde çalıştırırsınız.

Ön koşullar

Aşağıdakilere ihtiyacınız vardır:

Nasıl çalışır?

ack-virtual-node dağıtıldığında her ECI düğümü virtual-kubelet.io/provider=alibabacloud:NoSchedule taint değerine sahiptir. Eşleşen bir tolerans bulunmadığında zamanlayıcı ECI düğümlerini atlar ve tüm pod'ları ECS üzerine yerleştirir. Spark pod'larını ECI'ye yönlendirmek için SparkApplication spec dosyasına toleranslar ve düğüm uygunluk kuralları ekleyin.

ECI, her konteyneri hafif bir sanal yalıtım alanı (sandbox) içinde çalıştırarak pod'ları tamamen izole eder. Kullandıkça öde faturalama modeli sayesinde yalnızca pod çalışırken tükettiği CPU ve bellek için ödeme yaparsınız; boşta duran düğüm kapasitesi için ücretlendirilmezsiniz.

Sürücü ve yürütücü yerleşimi

Sürücü ve yürütücü pod'larının arızalanma davranışları farklıdır ve bu durum yerleşimi etkiler:

  • Bir yürütücü başarısız olursa Spark onu otomatik olarak değiştirir. Yürütücüler durumu olmayan (stateless) ve hata toleranslı bileşenlerdir.

  • Sürücü başarısız olursa tüm iş başarısız olur ve baştan yeniden başlar. Sürücünün kararlılığını koruyun.

Maliyet önemli olduğunda sürücüyü güvenilir ECS düğümlerinde tutun ve yürütücüler daha düşük maliyetli ECI veya öncelikli kesmeye tabi (preemptible) örnekler üzerine yönlendirin.

Spark iş yükleri için ECI özellikleri:

Özellik Değer
Ölçek ACK Serverless kümesinde 50.000'den fazla pod; ek yapılandırma gerekmez
Sağlama hızı Saniyeler içinde binlerce pod
Faturalama Kullandıkça öde; maliyeti daha da düşürmek için öncelikli kesmeye tabi örnekler kullanılabilir

Bir zamanlama stratejisi seçin

Üç strateji yaygın dağıtım senaryolarını kapsar:

Strateji Ne zaman kullanılır? Sürücü yerleşimi Yürütücü yerleşimi
Yalnızca ECS Öngörülebilir, sabit iş yükleri ECS ECS
Yalnızca ECI Tam esneklik gerektiren toplu iş veya ani yük artışları ECI ECI
ECI yedekli ECS önceliği Normal yüklerde ECS; zirve dönemlerinde ECI'ye otomatik genişleme ECS (tercih edilen) ECS (tercih edilen), ECI (taşma)

Kaynak türü başına pod sayısını sınırlamak gibi ince ayarlı kontrol için ResourcePolicy kullanın.

Spark işlerini ECS ve ECI düğümlerinde zamanlayın

Tüm örnekler aşağıdaki temel ayarlara sahip SparkApplication (CRD sparkoperator.k8s.io/v1beta2) kullanır:

Alan Değer
Görüntü registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2
mainClass org.apache.spark.examples.SparkPi
sparkVersion 3.5.2
driver.serviceAccount spark-operator-spark

Yalnızca ECS

Tolerans veya uygunluk kuralı gerekmez. Varsayılan ECI taint değeri zamanlayıcının pod'ları buraya yerleştirmesini engeller.

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: spark-pi-ecs-only
  namespace: default
spec:
  type: Scala
  mode: cluster
  image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.2.jar
  arguments:
  - "5000"
  sparkVersion: 3.5.2
  driver:
    cores: 1
    coreLimit: 1200m
    memory: 512m
    serviceAccount: spark-operator-spark
  executor:
    instances: 2
    cores: 2
    memory: 4g

Beklenen davranış: Tüm sürücü ve yürütücü pod'ları ECS düğümlerine zamanlanır. ECS kapasitesi yetersiz kalırsa kapasite uygun hale gelene kadar pod'lar Bekliyor (Pending) durumunda kalır.

Yalnızca ECI

Varsayılan ECI taint değeri için bir tolerans ve pod'ları ECI düğümlerine sabitlemek için requiredDuringSchedulingIgnoredDuringExecution uygunluk kuralı ekleyin. Her ikisini de sürücü ve yürütücü spec dosyalarına uygulayın.

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: spark-pi-eci-only
  namespace: default
spec:
  type: Scala
  mode: cluster
  image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.2.jar
  arguments:
  - "5000"
  sparkVersion: 3.5.2
  driver:
    cores: 1
    coreLimit: 1200m
    memory: 512m
    serviceAccount: spark-operator-spark
    affinity:
      nodeAffinity:
        # Pin driver to ECI nodes only.
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
          - matchExpressions:
            - key: type
              operator: In
              values:
              - virtual-kubelet
    tolerations:
    # Tolerate the default ECI taint.
    - key: virtual-kubelet.io/provider
      operator: Equal
      value: alibabacloud
      effect: NoSchedule
  executor:
    instances: 2
    cores: 2
    memory: 4g
    affinity:
      nodeAffinity:
        # Pin executors to ECI nodes only.
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
          - matchExpressions:
            - key: type
              operator: In
              values:
              - virtual-kubelet
    tolerations:
    # Tolerate the default ECI taint.
    - key: virtual-kubelet.io/provider
      operator: Equal
      value: alibabacloud
      effect: NoSchedule

Beklenen davranış: Tüm pod'lar ECI düğümlerine zamanlanır ve iş tamamen sunucusuz modda çalışır. Bölgesel ECI kapasitesi sınırlıysa kaynaklar uygun hale gelene kadar pod'lar Bekliyor (Pending) durumunda kalır.

ECI yedekli ECS önceliği

ECI taşmasına izin verirken ECS'yi tercih etmek için preferredDuringSchedulingIgnoredDuringExecution uygunluk kuralını kullanın. ECS dolduğunda zamanlayıcının pod'ları ECI üzerine yerleştirebilmesi için ECI toleransını ekleyin.

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: spark-pi-ecs-first
  namespace: default
spec:
  type: Scala
  mode: cluster
  image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.2.jar
  arguments:
  - "5000"
  sparkVersion: 3.5.2
  driver:
    cores: 1
    coreLimit: 1200m
    memory: 512m
    serviceAccount: spark-operator-spark
    affinity:
      nodeAffinity:
        # Prefer ECS nodes; fall back to ECI if ECS capacity is exhausted.
        preferredDuringSchedulingIgnoredDuringExecution:
        - weight: 1
          preference:
            matchExpressions:
            - key: type
              operator: NotIn
              values:
              - virtual-kubelet
    tolerations:
    # Allow scheduling to ECI nodes when needed.
    - key: virtual-kubelet.io/provider
      operator: Equal
      value: alibabacloud
      effect: NoSchedule
  executor:
    instances: 2
    cores: 2
    memory: 4g
    affinity:
      nodeAffinity:
        # Prefer ECS nodes; fall back to ECI if ECS capacity is exhausted.
        preferredDuringSchedulingIgnoredDuringExecution:
        - weight: 1
          preference:
            matchExpressions:
            - key: type
              operator: NotIn
              values:
              - virtual-kubelet
    tolerations:
    # Allow scheduling to ECI nodes when needed.
    - key: virtual-kubelet.io/provider
      operator: Equal
      value: alibabacloud
      effect: NoSchedule

Beklenen davranış: Kapasite mevcut olduğunda pod'lar ECS üzerine yerleşir. ECS dolduğunda taşan pod'lar ECI'ye zamanlanır. Bu yaklaşım ECI kaynaklarını kalıcı olarak rezerve etmeden zirve dönemlerinde iş kuyruğa alınmasını önler.

Taint değerleri, toleranslar ve düğüm uygunluğu hakkında bilgi için ECS örnekleri ve esnek kapsayıcı örneklerine göre kaynak tahsisini yapılandırma konusuna bakın.

Öncelik tabanlı kaynak zamanlamasını yapılandırın

Birim başına pod sınırı olan zamanlama birimlerini tanımlamak için ResourcePolicy kullanın. ACK zamanlayıcı ölçeklendirme sırasında birimleri öncelik sırasına göre doldurur ve ölçek daraltma sırasında pod'ları ters sırada kaldırır. Ayrıntılar için Öncelik tabanlı kaynak zamanlamasını yapılandırma konusuna bakın.

  1. default ad alanında Spark Operator pod'ları için resourcepolicy.yaml dosyasını oluşturun (AMD64 ECS üzerinde en fazla 2, ardından ECI üzerinde 3):

    apiVersion: scheduling.alibabacloud.com/v1alpha1
    kind: ResourcePolicy
    metadata:
      name: sparkapplication-resource-policy
      namespace: default                      # Applies only to pods in this namespace.
    spec:
      ignorePreviousPod: true
      ignoreTerminatingPod: false
      matchLabelKeys:
      - sparkoperator.k8s.io/submission-id    # Group pods by Spark job submission ID.
      preemptPolicy: AfterAllUnits            # Attempt preemption only after all units are exhausted.
      selector:
        sparkoperator.k8s.io/launched-by-spark-operator: "true"
      strategy: prefer
      units:
      - max: 2                               # Up to 2 pods on AMD64 ECS nodes (first priority).
        resource: ecs
        nodeSelector:
          kubernetes.io/arch: amd64
      - max: 3                               # Up to 3 pods on ECI (second priority).
        resource: eci
  2. ResourcePolicy'i uygulayın:

    kubectl apply -f resourcepolicy.yaml
  3. spark-pi.yaml dosyasını oluşturun. Bu SparkApplication 1 sürücü ve 5 yürütücü ister; ResourcePolicy'nin bunları her iki birim türüne dağıtabilmesi için tümü ECI taint değerine tolerans gösterir.

    apiVersion: sparkoperator.k8s.io/v1beta2
    kind: SparkApplication
    metadata:
      name: spark-pi
      namespace: default
    spec:
      type: Scala
      mode: cluster
      image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2
      mainClass: org.apache.spark.examples.SparkPi
      mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.2.jar
      arguments:
      - "5000"
      sparkVersion: 3.5.2
      driver:
        cores: 1
        coreLimit: 1200m
        memory: 512m
        serviceAccount: spark-operator-spark
        tolerations:
        - key: virtual-kubelet.io/provider    # Allow the driver to be scheduled to ECI if needed.
          operator: Equal
          value: alibabacloud
          effect: NoSchedule
      executor:
        instances: 5
        cores: 1
        coreLimit: 1200m
        memory: 512m
        tolerations:
        - key: virtual-kubelet.io/provider    # Allow executors to be scheduled to ECI.
          operator: Equal
          value: alibabacloud
          effect: NoSchedule
  4. Spark işini gönderin:

    kubectl apply -f spark-pi.yaml
  5. Zamanlama sonuçlarını doğrulayın:

    kubectl get pods -o wide -l sparkoperator.k8s.io/app-name=spark-pi

    Beklenen çıktı:

    NAME                                        READY   STATUS      RESTARTS   AGE       IP                  NODE
    spark-pi-34c0998f9f832e61-exec-1            1/1     Running     0          28s       192.XXX.XX.34       cn-beijing.192.XXX.XX.250
    spark-pi-34c0998f9f832e61-exec-2            1/1     Running     0          28s       192.XXX.XX.87       virtual-kubelet-cn-beijing-i
    spark-pi-34c0998f9f832e61-exec-3            1/1     Running     0          28s       192.XXX.XX.88       virtual-kubelet-cn-beijing-i
    spark-pi-34c0998f9f832e61-exec-4            1/1     Running     0          28s       192.XXX.XX.86       virtual-kubelet-cn-beijing-i
    spark-pi-34c0998f9f832e61-exec-5            0/1     Pending     0          28s       <none>              <none>
    spark-pi-driver                             1/1     Running     0          34s       192.XXX.XX.37       cn-beijing.192.XXX.XXX.250

    Sonuç: Sürücü ve exec-1 AMD64 ECS birimine (maksimum 2 pod) yerleşir. exec-2, exec-3 ve exec-4 ECI birimine (maksimum 3 pod) yerleşir. Her iki birim de pod sınırına ulaştığı için exec-5 Bekliyor (Pending) durumunda kalır.

ImageCache ile görüntü çekmeyi hızlandırın

Her pod başlatıldığında büyük bir Spark görüntüsü çekmek gecikme süresine neden olur. ECI ImageCache görüntüleri alttaki altyapıda önceden önbelleğe alır; önbellek isabeti durumunda pod başlatma süresi ~100 saniyeden neredeyse anlık hale gelir. Ayrıntılar için Esnek kapsayıcı örneklerinin oluşturulmasını hızlandırmak için ImageCache kullanma konusuna bakın.

Görüntü önbelleği ile ve olmadan başlatmayı karşılaştırın

Önbellek olmadan bir SparkApplication gönderdikten sonra kubectl describe pod spark-pi-driver komutunu çalıştırdığınızda şunları görürsünüz:

Events:
  ...
  Warning  ImageCacheMissed       24m   EciService         [eci.imagecache]Missed image cache.
  Normal   ImageCacheAutoCreated  24m   EciService         [eci.imagecache]Image cache imc-2zeXXXXXXXXXXXXXXXXX is auto created
  Normal   Pulling                24m   kubelet            Pulling image "registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2"
  Normal   Pulled                 23m   kubelet            Successfully pulled image "registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2" in 1m41.289s (1m41.289s including waiting)
  ...

Görüntünün çekilmesi yaklaşık 100 saniye sürdü. ECI sonraki çalıştırmalar için otomatik olarak bir önbellek oluşturdu.

Önbellek isabeti ile olaylar şunları gösterir:

Events:
  ...
  Normal  SuccessfulHitImageCache  23s   EciService         [eci.imagecache]Successfully hit image cache imc-2zeXXXXXXXXXXXXXXXXX, eci will be scheduled with this image cache.
  Normal  Pulled                   4s    kubelet            Container image "registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2" already present on machine
  ...

Görüntü çekme işlemi gerekli olmadı.

Bir görüntü önbelleği kimliği belirtin

Belirli bir görüntü önbelleğini sabitlemek için sürücü ve yürütücü spec dosyalarına k8s.aliyun.com/eci-image-snapshot-id açıklamasını ekleyin:

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: spark-pi-eci-only
  namespace: default
spec:
  type: Scala
  mode: cluster
  image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.2.jar
  arguments:
  - "5000"
  sparkVersion: 3.5.2
  driver:
    annotations:
      k8s.aliyun.com/eci-image-snapshot-id: imc-2zeXXXXXXXXXXXXXXXXX  # Image cache ID.
    cores: 1
    coreLimit: 1200m
    memory: 512m
    serviceAccount: spark-operator-spark
    affinity:
      nodeAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
          - matchExpressions:
            - key: type
              operator: In
              values:
              - virtual-kubelet
    tolerations:
    - key: virtual-kubelet.io/provider
      operator: Equal
      value: alibabacloud
      effect: NoSchedule
  executor:
    annotations:
      k8s.aliyun.com/eci-image-snapshot-id: imc-2zeXXXXXXXXXXXXXXXXX  # Image cache ID.
    instances: 2
    cores: 2
    memory: 4g
    affinity:
      nodeAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
          - matchExpressions:
            - key: type
              operator: In
              values:
              - virtual-kubelet
    tolerations:
    - key: virtual-kubelet.io/provider
      operator: Equal
      value: alibabacloud
      effect: NoSchedule

Otomatik görüntü önbelleği oluşturmayı ve eşleştirmeyi etkinleştirin

ECI'nin önbellek kimliği olmadan önbellek oluşturmayı ve eşleştirmeyi otomatik olarak yönetmesine izin vermek için sürücü ve yürütücüde k8s.aliyun.com/eci-image-cache açıklamasını "true" olarak ayarlayın:

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: spark-pi-eci-only
  namespace: default
spec:
  type: Scala
  mode: cluster
  image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.2.jar
  arguments:
  - "5000"
  sparkVersion: 3.5.2
  driver:
    annotations:
      k8s.aliyun.com/eci-image-cache: "true"  # Enable automatic image cache creation and matching.
    cores: 1
    coreLimit: 1200m
    memory: 512m
    serviceAccount: spark-operator-spark
    affinity:
      nodeAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
          - matchExpressions:
            - key: type
              operator: In
              values:
              - virtual-kubelet
    tolerations:
    - key: virtual-kubelet.io/provider
      operator: Equal
      value: alibabacloud
      effect: NoSchedule
  executor:
    annotations:
      k8s.aliyun.com/eci-image-cache: "true"  # Enable automatic image cache creation and matching.
    instances: 2
    cores: 2
    memory: 4g
    affinity:
      nodeAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
          - matchExpressions:
            - key: type
              operator: In
              values:
              - virtual-kubelet
    tolerations:
    - key: virtual-kubelet.io/provider
      operator: Equal
      value: alibabacloud
      effect: NoSchedule

İlk çalıştırmada ECI otomatik olarak bir önbellek oluşturur. Sonraki çalıştırmalar önbellekle eşleşir ve görüntü çekme işlemini atlar.

Üretim ortamında uygulama

  • Üretim işleri için ECI yedekli ECS önceliğini kullanın. Gecikmeye duyarlı işleri kalıcı ECS düğümlerinde tutarken ECI ani trafik artışlarını ek düğüm sağlama ihtiyacı olmadan karşılar.

  • Sürücüyü ECS'de, yürütücüler ECI'de çalıştırın. Sürücü hatası tüm işin yeniden başlatılmasına neden olur. Sürücüyü kararlı ECS düğümlerinde tutun ve durumu olmayan yürütücüler daha düşük maliyetli ECI veya öncelikli kesmeye tabi örnekler üzerine yönlendirin.

  • Tekrarlanan işler için otomatik görüntü önbelleğe almayı etkinleştirin. İlk çalışma önbelleği oluşturur; sonraki çalıştırmalar görüntü çekme işlemini atlayarak başlatma süresini ~100 saniyeden neredeyse anlık hale getirir.

  • Pod dağılımının düğüm türleri arasında hassas olması gerektiğinde ResourcePolicy kullanın. Birim başına max alanı pod sayısını sınırlar; bu, iş gönderimi başına ECI harcamalarını sınırlandırmak için faydalıdır.

Sonraki adımlar