Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:ACK sunucusuz kümede Spark hesaplama işi oluşturma

Son Güncelleme:Oct 06, 2026

ACK Serverless, Spark görevlerini talep üzerine oluşturulan Pod'lar olarak çalıştırır. Pod yaşam döngüsü sona erdiğinde faturalandırma durur; bu nedenle hesaplama kaynaklarını önceden ayırtmanız veya kümeyi genişletmeniz gerekmez. Maliyetleri daha da düşürmek için öncelikli (preemptible) örnekler kullanabilirsiniz.

Önkoşullar

Başlamadan önce aşağıdakilere sahip olduğunuzdan emin olun:

spark-operator dağıtımı

Aşağıdaki yöntemlerden birini kullanarak ack-spark-operator Helm chart'ını dağıtın.

Seçenek 1: ACK konsol

  1. Container Service Management ConsoleContainer Service for Kubernetes (ACK) console oturumunu açın.

  2. Sol gezinme bölmesinde Marketplace > Marketplace öğelerini seçin.

  3. ack-spark-operator öğesini aratıp seçin ve chart'ı dağıtın.

Seçenek 2: Helm CLI (Helm V3 veya üzeri gereklidir)

Aşağıdaki komutları çalıştırın:

# Create a service account
kubectl create serviceaccount spark

# Grant permissions
kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=default:spark --namespace=default

# Add the Helm repository and install the operator
helm repo add aliyunhub https://aliacs-app-catalog.oss-cn-hangzhou.aliyuncs.com/charts-incubator/
helm install ack-spark-operator aliyunhub/ack-spark-operator

Dağıtımdan sonra spark-operator'ın çalıştığını doğrulayın:

kubectl -n spark-operator get pod

Beklenen çıktı:

NAME                                  READY   STATUS      RESTARTS   AGE
ack-spark-operator-7698586d7b-pvwln   1/1     Running     0          5m9s
ack-spark-operator-init-26tvh         0/1     Completed   0          5m9s

Spark görevi çalıştırma

Bu bölümde, Monte Carlo örnekleme yöntemiyle pi sayısının değerini tahmin eden yerleşik SparkPi örneğinin nasıl dağıtılacağı adım adım açıklanmaktadır.

Adım 1: SparkApplication bildirimini oluşturma

Aşağıdaki içeriğe sahip spark-pi.yaml adlı bir dosya oluşturun:

apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
  name: spark-pi
  namespace: default
spec:
  arguments:
  - "1000"
  sparkConf:
    "spark.scheduler.maxRegisteredResourcesWaitingTime": "3000s"
    "spark.kubernetes.allocation.batch.size": "1"
    "spark.rpc.askTimeout": "36000s"
    "spark.network.timeout": "36000s"
    "spark.rpc.lookupTimeout": "36000s"
    "spark.core.connection.ack.wait.timeout": "36000s"
    "spark.executor.heartbeatInterval": "10000s"
  type: Scala
  mode: cluster
  image: "registry.aliyuncs.com/acs/spark:ack-2.4.5-latest"
  imagePullPolicy: Always
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: "local:///opt/spark/examples/jars/spark-examples_2.11-2.4.5.jar"
  sparkVersion: "2.4.5"
  restartPolicy:
    type: Never
  driver:
    cores: 4
    coreLimit: "4"
    annotations:
      k8s.aliyun.com/eci-image-cache: "true"
    memory: "6g"
    memoryOverhead: "2g"
    labels:
      version: 2.4.5
    serviceAccount: spark
  executor:
    annotations:
      k8s.aliyun.com/eci-image-cache: "true"
    cores: 2
    instances: 1
    memory: "3g"
    memoryOverhead: "1g"
    labels:
      version: 2.4.5

Adım 2: Görevi gönderme

kubectl apply -f spark-pi.yaml

Beklenen çıktı:

sparkapplication.sparkoperator.k8s.io/spark-pi created

Adım 3: Görev durumunu kontrol etme

Spark görevinin dağıtım durumunu görüntülemek için aşağıdaki komutu çalıştırın:

kubectl get pod

Görev devam ederken beklenen çıktı:

NAME              READY   STATUS    RESTARTS   AGE
spark-pi-driver   1/1     Running   0          2m12s

Pod Running durumunda görünür; bu, Spark görevinin dağıtıldığını gösterir.

Son durumu kontrol etmek için komutu tekrar çalıştırın:

kubectl get pod

Görev tamamlandığında beklenen çıktı:

NAME              READY   STATUS      RESTARTS   AGE
spark-pi-driver   0/1     Completed   0          2m54s

Pod Completed durumunda görünür; bu, Spark görevinin tamamlandığını gösterir.

Adım 4: Sonucu görüntüleme

kubectl logs spark-pi-driver | grep Pi

Beklenen çıktı:

20/04/30 07:27:51 INFO DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:38) finished in 11.031 s
20/04/30 07:27:51 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 11.137920 s
Pi is roughly 3.1414371514143715

(İsteğe bağlı) Öncelikli örnekler kullanma

Hesaplama maliyetlerini azaltmak için Pod'a öncelikli örneklerle ilgili ek açıklamalar ekleyin. Ayrıntılar için bkz. Öncelikli örnekler kullanma.