ACK Serverless, Spark görevlerini talep üzerine oluşturulan Pod'lar olarak çalıştırır. Pod yaşam döngüsü sona erdiğinde faturalandırma durur; bu nedenle hesaplama kaynaklarını önceden ayırtmanız veya kümeyi genişletmeniz gerekmez. Maliyetleri daha da düşürmek için öncelikli (preemptible) örnekler kullanabilirsiniz.
Önkoşullar
Başlamadan önce aşağıdakilere sahip olduğunuzdan emin olun:
Bir ACK Serverless kümesi. Bkz. ACK Serverless kümesi oluşturma.
Kümeyle bağlantılı bir kubectl istemcisi. Bkz. kubectl kullanarak ACK kümesine bağlanma.
spark-operator dağıtımı
Aşağıdaki yöntemlerden birini kullanarak ack-spark-operator Helm chart'ını dağıtın.
Seçenek 1: ACK konsol
Container Service Management ConsoleContainer Service for Kubernetes (ACK) console oturumunu açın.
Sol gezinme bölmesinde Marketplace > Marketplace öğelerini seçin.
ack-spark-operator öğesini aratıp seçin ve chart'ı dağıtın.
Seçenek 2: Helm CLI (Helm V3 veya üzeri gereklidir)
Aşağıdaki komutları çalıştırın:
# Create a service account
kubectl create serviceaccount spark
# Grant permissions
kubectl create clusterrolebinding spark-role --clusterrole=edit --serviceaccount=default:spark --namespace=default
# Add the Helm repository and install the operator
helm repo add aliyunhub https://aliacs-app-catalog.oss-cn-hangzhou.aliyuncs.com/charts-incubator/
helm install ack-spark-operator aliyunhub/ack-spark-operator
Dağıtımdan sonra spark-operator'ın çalıştığını doğrulayın:
kubectl -n spark-operator get pod
Beklenen çıktı:
NAME READY STATUS RESTARTS AGE
ack-spark-operator-7698586d7b-pvwln 1/1 Running 0 5m9s
ack-spark-operator-init-26tvh 0/1 Completed 0 5m9s
Spark görevi çalıştırma
Bu bölümde, Monte Carlo örnekleme yöntemiyle pi sayısının değerini tahmin eden yerleşik SparkPi örneğinin nasıl dağıtılacağı adım adım açıklanmaktadır.
Adım 1: SparkApplication bildirimini oluşturma
Aşağıdaki içeriğe sahip spark-pi.yaml adlı bir dosya oluşturun:
apiVersion: "sparkoperator.k8s.io/v1beta2"
kind: SparkApplication
metadata:
name: spark-pi
namespace: default
spec:
arguments:
- "1000"
sparkConf:
"spark.scheduler.maxRegisteredResourcesWaitingTime": "3000s"
"spark.kubernetes.allocation.batch.size": "1"
"spark.rpc.askTimeout": "36000s"
"spark.network.timeout": "36000s"
"spark.rpc.lookupTimeout": "36000s"
"spark.core.connection.ack.wait.timeout": "36000s"
"spark.executor.heartbeatInterval": "10000s"
type: Scala
mode: cluster
image: "registry.aliyuncs.com/acs/spark:ack-2.4.5-latest"
imagePullPolicy: Always
mainClass: org.apache.spark.examples.SparkPi
mainApplicationFile: "local:///opt/spark/examples/jars/spark-examples_2.11-2.4.5.jar"
sparkVersion: "2.4.5"
restartPolicy:
type: Never
driver:
cores: 4
coreLimit: "4"
annotations:
k8s.aliyun.com/eci-image-cache: "true"
memory: "6g"
memoryOverhead: "2g"
labels:
version: 2.4.5
serviceAccount: spark
executor:
annotations:
k8s.aliyun.com/eci-image-cache: "true"
cores: 2
instances: 1
memory: "3g"
memoryOverhead: "1g"
labels:
version: 2.4.5
Adım 2: Görevi gönderme
kubectl apply -f spark-pi.yaml
Beklenen çıktı:
sparkapplication.sparkoperator.k8s.io/spark-pi created
Adım 3: Görev durumunu kontrol etme
Spark görevinin dağıtım durumunu görüntülemek için aşağıdaki komutu çalıştırın:
kubectl get pod
Görev devam ederken beklenen çıktı:
NAME READY STATUS RESTARTS AGE
spark-pi-driver 1/1 Running 0 2m12s
Pod Running durumunda görünür; bu, Spark görevinin dağıtıldığını gösterir.
Son durumu kontrol etmek için komutu tekrar çalıştırın:
kubectl get pod
Görev tamamlandığında beklenen çıktı:
NAME READY STATUS RESTARTS AGE
spark-pi-driver 0/1 Completed 0 2m54s
Pod Completed durumunda görünür; bu, Spark görevinin tamamlandığını gösterir.
Adım 4: Sonucu görüntüleme
kubectl logs spark-pi-driver | grep Pi
Beklenen çıktı:
20/04/30 07:27:51 INFO DAGScheduler: ResultStage 0 (reduce at SparkPi.scala:38) finished in 11.031 s
20/04/30 07:27:51 INFO DAGScheduler: Job 0 finished: reduce at SparkPi.scala:38, took 11.137920 s
Pi is roughly 3.1414371514143715
(İsteğe bağlı) Öncelikli örnekler kullanma
Hesaplama maliyetlerini azaltmak için Pod'a öncelikli örneklerle ilgili ek açıklamalar ekleyin. Ayrıntılar için bkz. Öncelikli örnekler kullanma.