Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Run Spark jobs with Spark Operator

Son Güncelleme:Oct 06, 2026

Spark işlerinin tüm yaşam döngüsünü bildirimsel Kubernetes manifestolarıyla yönetmek için ACK üzerinde Spark Operator'ü yükleyin.

Önkoşullar

Nasıl çalışır

Spark Operator, SparkApplication ve ScheduledSparkApplication gibi CustomResourceDefinition (CRD) kaynaklarını kullanarak Spark iş yaşam döngüsünü Kubernetes üzerinde otomatikleştirir. Otomatik ölçeklendirme, durum denetimleri ve kaynak yönetimi gibi yerel Kubernetes özelliklerinden yararlanır. ACK, kubeflow/spark-operator tabanlı ack-spark-operator bileşenini sağlar. Bkz. Spark Operator | Kubeflow.

Avantajlar:

  • Basitleştirilmiş yönetim: Bildirimsel Kubernetes yapılandırmalarıyla Spark iş dağıtımını ve yaşam döngüsünü otomatikleştirin.

  • Çok kiracılılık desteği: Kaynak yalıtımı için Kubernetes ad alanlarını ve kaynak kotalarını kullanın. Spark iş yüklerini özel kaynaklarda çalıştırmak için düğüm seçimi yapın.

  • Esnek kaynak sağlama: Yoğunluk dönemlerinde performans ve maliyet dengesini korumak için Elastic Container Instance (ECI) veya esnek düğüm havuzları gibi esnek kaynaklarla ölçeklendirin.

Kullanım senaryoları:

  • Veri analitiği: Etkileşimli analitik ve veri temizleme işlemleri için Spark'ı kullanın.

  • Toplu hesaplama: Büyük ölçekli veri kümelerini işlemek için zamanlanmış toplu işleri çalıştırın.

  • Gerçek zamanlı işleme: Spark Streaming ile gerçek zamanlı veri akışı işleme imkanı elde edin.

Yordama genel bakış

İş akışı; Spark Operator'ün dağıtılmasını, işlerin gönderilmesini, yürütmenin izlenmesini ve iş yaşam döngüsünün yönetilmesini kapsar.

  1. ack-spark-operator bileşenini dağıtın: Spark Operator'ü ACK kümenize yükleyin.

  2. Bir Spark işi gönderin: Bir Spark işi manifestosu oluşturun ve gönderin.

  3. Spark işini izleyin: İş durumunu, pod durumunu ve günlükleri kontrol edin.

  4. Spark web kullanıcı arayüzüne erişin: Tarayıcıda iş yürütme ayrıntılarını görüntüleyin.

  5. Spark işini güncelleyin: İş manifestosunu değiştirin ve yeniden uygulayın.

  6. Spark işini silin: İşi kaldırın ve kaynakları serbest bırakın.

Adım 1: ack-spark-operator bileşenini dağıtın

  1. ACK konsolu adresine giriş yapın. Sol gezinme bölmesinde Marketplace > Marketplace seçeneklerini tıklayın.

  2. Marketplace sayfasında App Catalog sekmesini tıklayın, ardından ack-spark-operator öğesini arayıp seçin.

  3. ack-spark-operator sayfasında Deploy seçeneğini tıklayın.

  4. Create panelinde bir küme ve ad alanı seçin, ardından Next seçeneğini tıklayın.

  5. Parameters sayfasında parametreleri yapılandırın ve OK seçeneğini tıklayın.

    Temel parametreler aşağıda listelenmiştir. Tam liste için ack-spark-operator sayfasındaki ConfigMaps sekmesine bakın.

    Parameter

    Description

    Default

    controller.replicas

    Denetleyici çoğaltma sayısı.

    1

    webhook.replicas

    Webhook çoğaltma sayısı.

    1

    spark.jobNamespaces

    Spark işlerinin çalıştırılabileceği ad alanları. Boş dize tüm ad alanlarına izin verir. Birden çok değeri virgül (,) ile ayırın.

    • ["default"] (varsayılan)

    • [""] (tüm ad alanları)

    • ["ns1","ns2","ns3"] (birden çok ad alanı)

    spark.serviceAccount.name

    Spark Operator, spark.jobNamespaces tarafından belirtilen her ad alanında spark-operator-spark adında bir ServiceAccount ve gerekli RBAC kaynakları oluşturur. Özelleştirildiğinde, Spark işlerini gönderirken yeni adı belirtin.

    spark-operator-spark

Adım 2: Bir Spark işi gönderin

Bir Spark işi göndermek için bir SparkApplication manifestosu oluşturun.

  1. Aşağıdaki manifestoyu oluşturun ve spark-pi.yaml olarak kaydedin.

    apiVersion: sparkoperator.k8s.io/v1beta2
    kind: SparkApplication
    metadata:
      name: spark-pi
      namespace: default     # The namespace must be in the list of namespaces specified by spark.jobNamespaces.
    spec:
      type: Scala
      mode: cluster
      image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.4
      imagePullPolicy: IfNotPresent
      mainClass: org.apache.spark.examples.SparkPi
      mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.4.jar
      arguments:
      - "1000"
      sparkVersion: 3.5.4
      driver:
        cores: 1
        coreLimit: 1200m
        memory: 512m
        serviceAccount: spark-operator-spark   # If you customized the ServiceAccount name, change the value accordingly.
      executor:
        instances: 1
        cores: 1
        coreLimit: 1200m
        memory: 512m
      restartPolicy:
        type: Never
  2. Spark işini gönderin:

    kubectl apply -f spark-pi.yaml

    Beklenen çıktı:

    sparkapplication.sparkoperator.k8s.io/spark-pi created

Adım 3: Spark işini izleyin

Spark işinin durumunu, podlarını ve günlüklerini kontrol edin.

  1. Spark işinin durumunu kontrol edin:

    kubectl get sparkapplication spark-pi

    Beklenen çıktı:

    NAME       STATUS      ATTEMPTS   START                  FINISH       AGE
    spark-pi   SUBMITTED   1          2024-06-04T03:17:11Z   <no value>   15s
  2. Pod durumunu kontrol edin. Bu komut, podları sparkoperator.k8s.io/app-name=spark-pi etiketine göre filtreler:

    kubectl get pod -l sparkoperator.k8s.io/app-name=spark-pi

    Beklenen çıktı:

    NAME                               READY   STATUS    RESTARTS   AGE
    spark-pi-driver                    1/1     Running   0          49s
    spark-pi-7272428fc8f5f392-exec-1   1/1     Running   0          13s

    İş tamamlandığında sürücü tüm yürütücü podlarını siler.

  3. Spark işi ayrıntılarını görüntüleyin:

    kubectl describe sparkapplication spark-pi

    Örnek çıktı

    Çıktı, iş durumuna göre değişir.

    Name:         spark-pi
    Namespace:    default
    Labels:       <none>
    Annotations:  <none>
    API Version:  sparkoperator.k8s.io/v1beta2
    Kind:         SparkApplication
    Metadata:
      Creation Timestamp:  2024-06-04T03:16:59Z
      Generation:          1
      Resource Version:    1350200
      UID:                 1a1f9160-5dbb-XXXX-XXXX-be1c1fda4859
    Spec:
      Arguments:
        1000
      Driver:
        Core Limit:  1200m
        Cores:       1
        Memory:           512m
        Service Account:  spark
      Executor:
        Core Limit:  1200m
        Cores:       1
        Instances:   1
        Memory:               512m
      Image:                  registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.4
      Image Pull Policy:      IfNotPresent
      Main Application File:  local:///opt/spark/examples/jars/spark-examples_2.12-3.5.4.jar
      Main Class:             org.apache.spark.examples.SparkPi
      Mode:                   cluster
      Restart Policy:
        Type:         Never
      Spark Version:  3.5.4
      Type:           Scala
    Status:
      Application State:
        State:  COMPLETED
      Driver Info:
        Pod Name:             spark-pi-driver
        Web UI Address:       172.XX.XX.92:0
        Web UI Port:          4040
        Web UI Service Name:  spark-pi-ui-svc
      Execution Attempts:     1
      Executor State:
        spark-pi-26c5XXXXX1408337-exec-1:  COMPLETED
      Last Submission Attempt Time:        2024-06-04T03:17:11Z
      Spark Application Id:                spark-0042dead12XXXXXX43675f09552a946
      Submission Attempts:                 1
      Submission ID:                       117ee161-3951-XXXX-XXXX-e7d24626c877
      Termination Time:                    2024-06-04T03:17:55Z
    Events:
      Type    Reason                     Age   From            Message
      ----    ------                     ----  ----            -------
      Normal  SparkApplicationAdded      91s   spark-operator  SparkApplication spark-pi was added, enqueuing it for submission
      Normal  SparkApplicationSubmitted  79s   spark-operator  SparkApplication spark-pi was submitted successfully
      Normal  SparkDriverRunning         61s   spark-operator  Driver spark-pi-driver is running
      Normal  SparkExecutorPending       56s   spark-operator  Executor [spark-pi-26c5XXXXX1408337-exec-1] is pending
      Normal  SparkExecutorRunning       53s   spark-operator  Executor [spark-pi-26c5XXXXX1408337-exec-1] is running
      Normal  SparkDriverCompleted       35s   spark-operator  Driver spark-pi-driver completed
      Normal  SparkApplicationCompleted  35s   spark-operator  SparkApplication spark-pi completed
      Normal  SparkExecutorCompleted     35s   spark-operator  Executor [spark-pi-26c5XXXXX1408337-exec-1] completed
  4. Sürücü podunun günlüklerinin son 20 satırını görüntüleyin:

    kubectl logs --tail=20 spark-pi-driver

    Beklenen çıktı:

    24/05/30 10:05:30 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool
    24/05/30 10:05:30 INFO DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:38) finished in 7.942 s
    24/05/30 10:05:30 INFO DAGScheduler: Job 0 is finished. Cancelling potential speculative or zombie tasks for this job
    24/05/30 10:05:30 INFO TaskSchedulerImpl: Killing all running tasks in stage 0: Stage finished
    24/05/30 10:05:30 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 8.043996 s
    Pi is roughly 3.1419522314195225
    24/05/30 10:05:30 INFO SparkContext: SparkContext is stopping with exitCode 0.
    24/05/30 10:05:30 INFO SparkUI: Stopped Spark web UI at http://spark-pi-1e18858fc8f56b14-driver-svc.default.svc:4040
    24/05/30 10:05:30 INFO KubernetesClusterSchedulerBackend: Shutting down all executors
    24/05/30 10:05:30 INFO KubernetesClusterSchedulerBackend$KubernetesDriverEndpoint: Asking each executor to shut down
    24/05/30 10:05:30 WARN ExecutorPodsWatchSnapshotSource: Kubernetes client has been closed.
    24/05/30 10:05:30 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped!
    24/05/30 10:05:30 INFO MemoryStore: MemoryStore cleared
    24/05/30 10:05:30 INFO BlockManager: BlockManager stopped
    24/05/30 10:05:30 INFO BlockManagerMaster: BlockManagerMaster stopped
    24/05/30 10:05:30 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped!
    24/05/30 10:05:30 INFO SparkContext: Successfully stopped SparkContext
    24/05/30 10:05:30 INFO ShutdownHookManager: Shutdown hook called
    24/05/30 10:05:30 INFO ShutdownHookManager: Deleting directory /var/data/spark-14ed60f1-82cd-4a33-b1b3-9e5d975c5b1e/spark-01120c89-5296-4c83-8a20-0799eef4e0ee
    24/05/30 10:05:30 INFO ShutdownHookManager: Deleting directory /tmp/spark-5f98ed73-576a-41be-855d-dabdcf7de189

Adım 4: Spark web kullanıcı arayüzüne erişin

Web kullanıcı arayüzü yalnızca sürücü podu Çalışıyor (Running) durumundayken kullanılabilir.

Varsayılan olarak controller.uiService.enable değeri true olarak ayarlanır; bu, port yönlendirme için web kullanıcı arayüzünü açığa çıkaran bir Hizmet (Service) oluşturur. Değer false olarak ayarlanırsa herhangi bir Hizmet oluşturulmaz ve doğrudan sürücü podundan port yönlendirmesi yapmanız gerekir.

Önemli

kubectl port-forward komutu test amaçları için uygundur ancak güvenlik riskleri nedeniyle üretim ortamlarında önerilmez.

  1. Web kullanıcı arayüzü bağlantı noktasını yerel makinenize yönlendirin:

    • Hizmet üzerinden port yönlendirme

      kubectl port-forward services/spark-pi-ui-svc 4040
    • Pod üzerinden port yönlendirme

      kubectl port-forward pods/spark-pi-driver 4040

      Beklenen çıktı:

      Forwarding from 127.0.0.1:4040 -> 4040
      Forwarding from [::1]:4040 -> 4040
  2. Tarayıcınızda http://127.0.0.1:4040 adresini açın.

(İsteğe bağlı) Adım 5: Spark işini güncelleyin

Spark işi parametrelerini değiştirmek için iş manifestosunu güncelleyin.

  1. spark-pi.yaml dosyasını düzenleyin. Örneğin, arguments değerini 10000 ve executor örnek sayısını 2 olarak ayarlayın.

    apiVersion: sparkoperator.k8s.io/v1beta2
    kind: SparkApplication
    metadata:
      name: spark-pi
    spec:
      type: Scala
      mode: cluster
      image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.4
      imagePullPolicy: IfNotPresent
      mainClass: org.apache.spark.examples.SparkPi
      mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.4.jar
      arguments:
      - "10000"
      sparkVersion: 3.5.4
      driver:
        cores: 1
        coreLimit: 1200m
        memory: 512m
        serviceAccount: spark-operator-spark # If you customized the ServiceAccount name, change the value accordingly.
      executor:
        instances: 2
        cores: 1
        coreLimit: 1200m
        memory: 512m
      restartPolicy:
        type: Never
  2. Değişiklikleri uygulayın:

    kubectl apply -f spark-pi.yaml
  3. İş durumunu kontrol edin:

    kubectl get sparkapplication spark-pi

    Spark işi tekrar çalışır. Beklenen çıktı:

    NAME       STATUS    ATTEMPTS   START                  FINISH       AGE
    spark-pi   RUNNING   1          2024-06-04T03:37:34Z   <no value>   20m

(İsteğe bağlı) Adım 6: Spark işini silin

İlişkili kaynakları serbest bırakmak için Spark işini silin.

kubectl delete -f spark-pi.yaml

Alternatif olarak:

kubectl delete sparkapplication spark-pi

Başvurular