Spark işlerinin tüm yaşam döngüsünü bildirimsel Kubernetes manifestolarıyla yönetmek için ACK üzerinde Spark Operator'ü yükleyin.
Önkoşullar
Kubernetes 1.24 veya sonraki bir sürümü çalıştıran bir ACK Pro cluster veya ACK Serverless Pro cluster bulunmalıdır. Bkz. ACK yönetilen kümesi oluşturma, ACK Serverless kümesi oluşturma ve ACK kümelerini manuel olarak yükseltme.
Bir kubectl istemcisi ACK kümesine bağlı olmalıdır. Daha fazla bilgi için bkz. kubectl kullanarak ACK kümesine bağlanma.
Nasıl çalışır
Spark Operator, SparkApplication ve ScheduledSparkApplication gibi CustomResourceDefinition (CRD) kaynaklarını kullanarak Spark iş yaşam döngüsünü Kubernetes üzerinde otomatikleştirir. Otomatik ölçeklendirme, durum denetimleri ve kaynak yönetimi gibi yerel Kubernetes özelliklerinden yararlanır. ACK, kubeflow/spark-operator tabanlı ack-spark-operator bileşenini sağlar. Bkz. Spark Operator | Kubeflow.
Avantajlar:
Basitleştirilmiş yönetim: Bildirimsel Kubernetes yapılandırmalarıyla Spark iş dağıtımını ve yaşam döngüsünü otomatikleştirin.
Çok kiracılılık desteği: Kaynak yalıtımı için Kubernetes ad alanlarını ve kaynak kotalarını kullanın. Spark iş yüklerini özel kaynaklarda çalıştırmak için düğüm seçimi yapın.
Esnek kaynak sağlama: Yoğunluk dönemlerinde performans ve maliyet dengesini korumak için Elastic Container Instance (ECI) veya esnek düğüm havuzları gibi esnek kaynaklarla ölçeklendirin.
Kullanım senaryoları:
Veri analitiği: Etkileşimli analitik ve veri temizleme işlemleri için Spark'ı kullanın.
Toplu hesaplama: Büyük ölçekli veri kümelerini işlemek için zamanlanmış toplu işleri çalıştırın.
Gerçek zamanlı işleme: Spark Streaming ile gerçek zamanlı veri akışı işleme imkanı elde edin.
Yordama genel bakış
İş akışı; Spark Operator'ün dağıtılmasını, işlerin gönderilmesini, yürütmenin izlenmesini ve iş yaşam döngüsünün yönetilmesini kapsar.
ack-spark-operator bileşenini dağıtın: Spark Operator'ü ACK kümenize yükleyin.
Bir Spark işi gönderin: Bir Spark işi manifestosu oluşturun ve gönderin.
Spark işini izleyin: İş durumunu, pod durumunu ve günlükleri kontrol edin.
Spark web kullanıcı arayüzüne erişin: Tarayıcıda iş yürütme ayrıntılarını görüntüleyin.
Spark işini güncelleyin: İş manifestosunu değiştirin ve yeniden uygulayın.
Spark işini silin: İşi kaldırın ve kaynakları serbest bırakın.
Adım 1: ack-spark-operator bileşenini dağıtın
ACK konsolu adresine giriş yapın. Sol gezinme bölmesinde seçeneklerini tıklayın.
Marketplace sayfasında App Catalog sekmesini tıklayın, ardından ack-spark-operator öğesini arayıp seçin.
ack-spark-operator sayfasında Deploy seçeneğini tıklayın.
Create panelinde bir küme ve ad alanı seçin, ardından Next seçeneğini tıklayın.
-
Parameters sayfasında parametreleri yapılandırın ve OK seçeneğini tıklayın.
Temel parametreler aşağıda listelenmiştir. Tam liste için ack-spark-operator sayfasındaki ConfigMaps sekmesine bakın.
Parameter
Description
Default
controller.replicasDenetleyici çoğaltma sayısı.
1
webhook.replicasWebhook çoğaltma sayısı.
1
spark.jobNamespacesSpark işlerinin çalıştırılabileceği ad alanları. Boş dize tüm ad alanlarına izin verir. Birden çok değeri virgül (
,) ile ayırın.-
["default"](varsayılan) -
[""](tüm ad alanları) -
["ns1","ns2","ns3"](birden çok ad alanı)
spark.serviceAccount.nameSpark Operator,
spark.jobNamespacestarafından belirtilen her ad alanındaspark-operator-sparkadında bir ServiceAccount ve gerekli RBAC kaynakları oluşturur. Özelleştirildiğinde, Spark işlerini gönderirken yeni adı belirtin.spark-operator-spark -
Adım 2: Bir Spark işi gönderin
Bir Spark işi göndermek için bir SparkApplication manifestosu oluşturun.
-
Aşağıdaki manifestoyu oluşturun ve
spark-pi.yamlolarak kaydedin.apiVersion: sparkoperator.k8s.io/v1beta2 kind: SparkApplication metadata: name: spark-pi namespace: default # The namespace must be in the list of namespaces specified by spark.jobNamespaces. spec: type: Scala mode: cluster image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.4 imagePullPolicy: IfNotPresent mainClass: org.apache.spark.examples.SparkPi mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.4.jar arguments: - "1000" sparkVersion: 3.5.4 driver: cores: 1 coreLimit: 1200m memory: 512m serviceAccount: spark-operator-spark # If you customized the ServiceAccount name, change the value accordingly. executor: instances: 1 cores: 1 coreLimit: 1200m memory: 512m restartPolicy: type: Never -
Spark işini gönderin:
kubectl apply -f spark-pi.yamlBeklenen çıktı:
sparkapplication.sparkoperator.k8s.io/spark-pi created
Adım 3: Spark işini izleyin
Spark işinin durumunu, podlarını ve günlüklerini kontrol edin.
-
Spark işinin durumunu kontrol edin:
kubectl get sparkapplication spark-piBeklenen çıktı:
NAME STATUS ATTEMPTS START FINISH AGE spark-pi SUBMITTED 1 2024-06-04T03:17:11Z <no value> 15s -
Pod durumunu kontrol edin. Bu komut, podları
sparkoperator.k8s.io/app-name=spark-pietiketine göre filtreler:kubectl get pod -l sparkoperator.k8s.io/app-name=spark-piBeklenen çıktı:
NAME READY STATUS RESTARTS AGE spark-pi-driver 1/1 Running 0 49s spark-pi-7272428fc8f5f392-exec-1 1/1 Running 0 13sİş tamamlandığında sürücü tüm yürütücü podlarını siler.
-
Spark işi ayrıntılarını görüntüleyin:
kubectl describe sparkapplication spark-pi -
Sürücü podunun günlüklerinin son 20 satırını görüntüleyin:
kubectl logs --tail=20 spark-pi-driverBeklenen çıktı:
24/05/30 10:05:30 INFO TaskSchedulerImpl: Removed TaskSet 0.0, whose tasks have all completed, from pool 24/05/30 10:05:30 INFO DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:38) finished in 7.942 s 24/05/30 10:05:30 INFO DAGScheduler: Job 0 is finished. Cancelling potential speculative or zombie tasks for this job 24/05/30 10:05:30 INFO TaskSchedulerImpl: Killing all running tasks in stage 0: Stage finished 24/05/30 10:05:30 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 8.043996 s Pi is roughly 3.1419522314195225 24/05/30 10:05:30 INFO SparkContext: SparkContext is stopping with exitCode 0. 24/05/30 10:05:30 INFO SparkUI: Stopped Spark web UI at http://spark-pi-1e18858fc8f56b14-driver-svc.default.svc:4040 24/05/30 10:05:30 INFO KubernetesClusterSchedulerBackend: Shutting down all executors 24/05/30 10:05:30 INFO KubernetesClusterSchedulerBackend$KubernetesDriverEndpoint: Asking each executor to shut down 24/05/30 10:05:30 WARN ExecutorPodsWatchSnapshotSource: Kubernetes client has been closed. 24/05/30 10:05:30 INFO MapOutputTrackerMasterEndpoint: MapOutputTrackerMasterEndpoint stopped! 24/05/30 10:05:30 INFO MemoryStore: MemoryStore cleared 24/05/30 10:05:30 INFO BlockManager: BlockManager stopped 24/05/30 10:05:30 INFO BlockManagerMaster: BlockManagerMaster stopped 24/05/30 10:05:30 INFO OutputCommitCoordinator$OutputCommitCoordinatorEndpoint: OutputCommitCoordinator stopped! 24/05/30 10:05:30 INFO SparkContext: Successfully stopped SparkContext 24/05/30 10:05:30 INFO ShutdownHookManager: Shutdown hook called 24/05/30 10:05:30 INFO ShutdownHookManager: Deleting directory /var/data/spark-14ed60f1-82cd-4a33-b1b3-9e5d975c5b1e/spark-01120c89-5296-4c83-8a20-0799eef4e0ee 24/05/30 10:05:30 INFO ShutdownHookManager: Deleting directory /tmp/spark-5f98ed73-576a-41be-855d-dabdcf7de189
Adım 4: Spark web kullanıcı arayüzüne erişin
Web kullanıcı arayüzü yalnızca sürücü podu Çalışıyor (Running) durumundayken kullanılabilir.
Varsayılan olarak controller.uiService.enable değeri true olarak ayarlanır; bu, port yönlendirme için web kullanıcı arayüzünü açığa çıkaran bir Hizmet (Service) oluşturur. Değer false olarak ayarlanırsa herhangi bir Hizmet oluşturulmaz ve doğrudan sürücü podundan port yönlendirmesi yapmanız gerekir.
kubectl port-forward komutu test amaçları için uygundur ancak güvenlik riskleri nedeniyle üretim ortamlarında önerilmez.
-
Web kullanıcı arayüzü bağlantı noktasını yerel makinenize yönlendirin:
-
Hizmet üzerinden port yönlendirme
kubectl port-forward services/spark-pi-ui-svc 4040 -
Pod üzerinden port yönlendirme
kubectl port-forward pods/spark-pi-driver 4040Beklenen çıktı:
Forwarding from 127.0.0.1:4040 -> 4040 Forwarding from [::1]:4040 -> 4040
-
Tarayıcınızda http://127.0.0.1:4040 adresini açın.
(İsteğe bağlı) Adım 5: Spark işini güncelleyin
Spark işi parametrelerini değiştirmek için iş manifestosunu güncelleyin.
-
spark-pi.yamldosyasını düzenleyin. Örneğin,argumentsdeğerini10000veexecutorörnek sayısını2olarak ayarlayın.apiVersion: sparkoperator.k8s.io/v1beta2 kind: SparkApplication metadata: name: spark-pi spec: type: Scala mode: cluster image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.4 imagePullPolicy: IfNotPresent mainClass: org.apache.spark.examples.SparkPi mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.4.jar arguments: - "10000" sparkVersion: 3.5.4 driver: cores: 1 coreLimit: 1200m memory: 512m serviceAccount: spark-operator-spark # If you customized the ServiceAccount name, change the value accordingly. executor: instances: 2 cores: 1 coreLimit: 1200m memory: 512m restartPolicy: type: Never -
Değişiklikleri uygulayın:
kubectl apply -f spark-pi.yaml -
İş durumunu kontrol edin:
kubectl get sparkapplication spark-piSpark işi tekrar çalışır. Beklenen çıktı:
NAME STATUS ATTEMPTS START FINISH AGE spark-pi RUNNING 1 2024-06-04T03:37:34Z <no value> 20m
(İsteğe bağlı) Adım 6: Spark işini silin
İlişkili kaynakları serbest bırakmak için Spark işini silin.
kubectl delete -f spark-pi.yaml
Alternatif olarak:
kubectl delete sparkapplication spark-pi