Container Service for Kubernetes:Penjadwalan dan distribusi pekerjaan Spark multi-kluster

(Opsional) Buat dan distribusikan namespace ke sub-kluster

Jika namespace tempat SparkApplication akan dijalankan belum ada pada instans Fleet, buat terlebih dahulu. Namespace tersebut juga harus tercantum dalam parameter spark.jobNamespaces yang dikonfigurasi pada Langkah 1.

1. Buat namespace pada instans Fleet:

   kubectl create ns xxx

2. Buat ClusterPropagationPolicy untuk mendistribusikan namespace ke setiap sub-kluster:

   apiVersion: policy.one.alibabacloud.com/v1alpha1
   kind: ClusterPropagationPolicy
   metadata:
     name: ns-policy
   spec:
     resourceSelectors:
     - apiVersion: v1
       kind: Namespace
       name: xxx
     placement:
       clusterAffinity:
         clusterNames:
         - ${cluster1-id} # ID kluster Anda.
         - ${cluster2-id} # ID kluster Anda.
       replicaScheduling:
         replicaSchedulingType: Duplicated

Buat PropagationPolicy untuk SparkApplication

Buat PropagationPolicy pada instans Fleet. Kebijakan ini memberi tahu Global Scheduler untuk mendistribusikan semua sumber daya SparkApplication dari versi API sparkoperator.k8s.io/v1beta2 ke sub-kluster target menggunakan penjadwalan Gang.

apiVersion: policy.one.alibabacloud.com/v1alpha1
kind: PropagationPolicy
metadata:
  name: sparkapp-policy
  namespace: default
spec:
  preserveResourcesOnDeletion: false
  propagateDeps: true   # Secara otomatis menyebarkan sumber daya dependen (seperti ServiceAccount yang dirujuk dalam spesifikasi driver) ke sub-kluster target.
  placement:
    clusterAffinity:
      clusterNames:
      - ${cluster1-id} # ID kluster Anda.
      - ${cluster2-id} # ID kluster Anda.
#      labelSelector:
#        matchLabels:
#          key: value
    replicaScheduling:
      replicaSchedulingType: Divided
      customSchedulingType: Gang
  resourceSelectors:
    - apiVersion: sparkoperator.k8s.io/v1beta2
      kind: SparkApplication

Kirim SparkApplication

Buat SparkApplication pada instans Fleet. Atur priorityClassName ke PriorityClass yang dibuat pada Langkah 2 untuk driver dan executor.

Global Scheduler menggunakan nilai memory dan cores dalam spesifikasi driver dan executor sebagai permintaan sumber daya Kubernetes. Sistem ini membandingkan total sumber daya yang diminta terhadap kapasitas tersisa masing-masing sub-kluster untuk memilih kluster target. Sesuaikan nilai-nilai ini agar mencerminkan sumber daya aktual yang dibutuhkan pekerjaan Anda—nilai yang terlalu kecil dapat menyebabkan penjadwalan berhasil tetapi pekerjaan gagal saat runtime; nilai yang terlalu besar dapat mencegah penjadwalan jika tidak ada kluster yang memiliki kapasitas mencukupi.

Setelah Anda membuat SparkApplication, PropagationPolicy dari langkah sebelumnya mendistribusikannya ke sub-kluster yang dipilih.

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: spark-pi
  namespace: default     # Pastikan namespace ini tercantum dalam parameter spark.jobNamespaces.
spec:
  type: Scala
  mode: cluster
  image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.4
  imagePullPolicy: IfNotPresent
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.4.jar
  arguments:
  - "1000"
  sparkVersion: 3.5.4
  driver:
    cores: 1
    memory: 512m
    priorityClassName: low-priority
    serviceAccount: spark-operator-spark   # Ganti dengan nama kustom yang Anda tentukan pada Langkah 1.
  executor:
    instances: 1
    cores: 1
    memory: 512m
    priorityClassName: low-priority
  restartPolicy:
    type: Never

Periksa status pekerjaan dan hasil penjadwalan

1. Jalankan perintah berikut pada instans Fleet untuk melihat status pekerjaan Spark:

   kubectl get sparkapp

   Output yang diharapkan:

   NAME       STATUS    ATTEMPTS   START                  FINISH       AGE
   spark-pi   RUNNING   1          2025-02-24T12:10:34Z   <no value>   11s

2. Jalankan perintah berikut untuk memastikan sub-kluster tujuan penjadwalan pekerjaan:

   kubectl describe sparkapp spark-pi

   Output yang diharapkan:

   Normal   ScheduleBindingSucceed  2m29s                  default-scheduler                   Binding has been scheduled successfully. Result: {c6xxxxx:0,[{driver 1} {executor 1}]}

3. Jalankan perintah berikut untuk melihat status pekerjaan di sub-kluster terkait:

   kubectl amc get sparkapp -M

   Output yang diharapkan:

   NAME       CLUSTER     STATUS      ATTEMPTS   START                  FINISH                 AGE   ADOPTION
   spark-pi   c6xxxxxxx   COMPLETED   1          2025-02-24T12:10:34Z   2025-02-24T12:11:20Z   61s   Y

4. Jalankan perintah berikut untuk menanyakan status Pod:

   kubectl amc get pod -M

   Output yang diharapkan:

   NAME              CLUSTER     READY   STATUS      RESTARTS   AGE
   spark-pi-driver   c6xxxxxxx   0/1     Completed   0          68s

5. Jalankan perintah berikut untuk melihat detail lengkap pekerjaan Spark di sub-kluster:

   kubectl amc get sparkapp spark-pi -m ${member clusterid} -oyaml

Pemecahan masalah

Jika pekerjaan tidak mencapai status COMPLETED, gunakan perintah berikut untuk mendiagnosis masalah.

Pekerjaan macet di `PENDING` atau tidak dijadwalkan:

Periksa event pada SparkApplication untuk melihat apakah Global Scheduler melaporkan kegagalan penjadwalan:

kubectl describe sparkapp spark-pi

Cari event dengan alasan ScheduleBindingFailed atau serupa. Penyebab umum meliputi sumber daya tidak mencukupi di semua sub-kluster atau PriorityClass tidak ditemukan di kluster target.

Driver Pod tidak dimulai:

Periksa event Pod driver di sub-kluster:

kubectl amc get pod -M
kubectl amc describe pod spark-pi-driver -m ${member clusterid}

Operator tidak berjalan di sub-kluster:

Konfirmasi bahwa ack-spark-operator sedang berjalan di sub-kluster:

kubectl amc get pod -n spark-operator -M