Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:View Spark jobs with Spark History Server

Son Güncelleme:Oct 06, 2026

Spark iş günlüklerini kalıcı hale getirin ve tamamlanan işlerin aşamaları, görevler ve kaynak kullanımı gibi ayrıntılarını Spark History Server üzerinden görüntüleyin.

Ön koşullar

1. Adım: ack-spark-history-server eklentisini dağıtın

  1. ACK konsolu üzerinde oturum açın. Sol gezinme bölmesinde Marketplace > Marketplace seçeneğine tıklayın.

  2. Marketplace sayfasında App Catalog sekmesine tıklayın, ardından ack-spark-history-server öğesini aratıp seçin.

  3. ack-spark-history-server sayfasında Deploy düğmesine tıklayın.

  4. Create panelinde bir küme ve ad alanı seçin, ardından Next düğmesine tıklayın.

  5. Parameters sayfasında parametreleri belirtin ve OK düğmesine tıklayın.

    Aşağıdaki parametreler günlük depolamayı, ortam değişkenlerini ve hizmeti yapılandırır. Tüm seçenekler için ack-spark-history-server sayfasındaki ConfigMaps sekmesine bakın.

    Not

    ack-spark-history-server dağıtılırken Object Storage Service (OSS), kalıcı birim talebi (PVC) veya HDFS gibi günlükler için arka uç depolama alanı belirtin.

    • (Gerekli) Günlükler için arka uç depolama alanını yapılandırın

      Arka uç depolama olarak OSS, PVC veya HDFS seçin.

      OSS

      Aşağıdaki parametreleri ayarlayın.

      Önemli

      Spark iş günlükleri yalnızca iş tamamlandıktan sonra yüklenir. Çalışan işlerin günlüklerini gerçek zamanlı olarak görüntüleyemezsiniz.


      Parametre


      Açıklama


      Örnek


      spark.history.fs.logDirectory


      Günlük dizini URL'si. Eklentiyi dağıtmadan önce spark/spark-events gibi bir dizin oluşturun. Bkz. Dizin Yönetimi.


      oss://<Bucket name>/spark/spark-events


      storage.oss.enable


      Günlükler için arka uç depolama olarak OSS veya OSS-HDFS kullanımını etkinleştirir.


      true


      storage.oss.endpoint


      OSS uç noktası.


      oss-cn-beijing-internal.aliyuncs.com


      storage.oss.existingSecret


      (Önerilen) OSS erişim kimlik bilgilerini içeren mevcut bir Secret adı. Bkz. AccessKey Secret YAML dosyası örneği.


      spark-oss-secret


      storage.oss.createSecret


      Mevcut bir Secret belirtilmezse, OSS erişim kimlik bilgilerini depolamak için otomatik olarak yeni bir Secret oluşturulur.


      Uygulanamaz


      storage.oss.createSecret.accessKeyId


      Alibaba Cloud hesabınızın AccessKey ID değeri.


      yourAccessKeyID


      storage.oss.createSecret.accessKeySecret


      Alibaba Cloud hesabınızın AccessKey Secret değeri.


      yourAccessKeySecret

      AccessKey Secret YAML dosyası örneği

      Secret, OSS_ACCESS_KEY_ID ve OSS_ACCESS_KEY_SECRET alanlarını içermelidir.

      1. spark-oss-secret.yaml adlı bir dosya oluşturun:

        apiVersion: v1
        kind: Secret
        metadata:
          name: spark-oss-secret
          namespace: spark-operator
        stringData:
          OSS_ACCESS_KEY_ID: ""       # The AccessKey ID of your Alibaba Cloud account.
          OSS_ACCESS_KEY_SECRET: ""   # The AccessKey Secret of your Alibaba Cloud account.
      2. AccessKey Secret değerini oluşturun:

        kubectl apply -f spark-oss-secret.yaml

      PVC

      Aşağıdaki parametreleri ayarlayın.


      Parametre


      Açıklama


      Örnek


      spark.history.fs.logDirectory


      Günlük dizininin URL'si.


      file:///mnt/spark/spark-events


      storage.pvc.enable


      Günlükler için arka uç depolama olarak bir PVC kullanımını etkinleştirir.


      true


      storage.pvc.name


      Mevcut bir PVC adı. PV ve PVC'nin ack-spark-history-server ad alanında oluşturulup bağlandığından emin olun. Bkz. Storage-CSI.


      "<PVC name>"


      storage.pvc.mountPath


      Konteyner içindeki PVC bağlama yolu.


      "/mnt"

      HDFS

      Aşağıdaki parametreyi ayarlayın.


      Parametre


      Açıklama


      Örnek


      spark.history.fs.logDirectory


      Günlük dizininin URL'si.


      hdfs://namenode:port/spark/spark-events

    • (İsteğe bağlı) Hizmet türü ve bağlantı noktası

      Bir hizmet, History Server web kullanıcı arayüzünü varsayılan olarak dışa açar. Türü ve bağlantı noktasını service.type ve service.port parametreleriyle yapılandırın.

      Parametre

      Açıklama

      Varsayılan

      service.type

      Hizmet türü. Geçerli değerler:

      • ClusterIP

      • NodePort

      • LoadBalancer

      ClusterIP

      service.port

      Web kullanıcı arayüzüne erişim için kullanılan bağlantı noktası.

      18080

    • (İsteğe bağlı) Ortam değişkenleri

      History Server'ı yapılandırmak için env bölümüne ortam değişkenleri ekleyin.


      Ortam değişkeni


      Açıklama


      Varsayılan


      SPARK_DAEMON_MEMORY


      Spark History Server'a ayrılan bellek miktarı.


      1g


      SPARK_DAEMON_JAVA_OPTS


      Spark History Server için JVM seçenekleri.


      ""


      SPARK_DAEMON_CLASSPATH


      Spark History Server için sınıf yolu.


      ""


      SPARK_PUBLIC_DNS


      Spark History Server'ın genel adresi. Ayarlanmazsa uygulama geçmişi dahili adresi kullanır; bu durum bozuk bağlantılara neden olabilir.


      ""


      SPARK_HISTORY_OPTS


      Bir dizi spark.history.* yapılandırma özelliği.


      ""

      History Server'ı özelleştirmek için sparkConf bölümüne yapılandırmalar ekleyin. Yaygın yapılandırmalar:


      Özellik


      Açıklama


      Varsayılan


      spark.history.fs.update.interval


      Günlük güncellemelerini denetleme aralığı.


      10s


      spark.history.fs.retainedApplications


      Önbelleğe alınacak maksimum uygulama kullanıcı arayüzü sayısı.


      50


      spark.history.ui.port


      Spark History Server bağlantı noktası.


      18080


      spark.history.fs.cleaner.enabled


      Olay günlüklerinin periyodik olarak temizlenip temizlenmeyeceğini belirtir.


      false


      spark.history.fs.cleaner.interval


      spark.history.fs.cleaner.enabled=true olduğunda olay günlüğü temizleme aralığı.


      1d


      spark.history.fs.cleaner.maxAge


      spark.history.fs.cleaner.enabled=true olduğunda silinmeden önce olay günlüklerinin maksimum yaşı.


      7d


      spark.history.fs.cleaner.maxNum


      spark.history.fs.cleaner.enabled=true olduğunda saklanacak maksimum günlük dosyası sayısı. Temizleme sırasında fazladan dosyalar silinir.


      Int.MaxValue


      spark.history.fs.driverlog.cleaner.enabled


      Sürücü olay günlüklerinin periyodik olarak temizlenip temizlenmeyeceğini belirtir.


      spark.history.fs.cleaner.enabled


      spark.history.fs.driverlog.cleaner.interval


      spark.history.fs.driverlog.cleaner.enabled=true olduğunda sürücü olay günlüğü temizleme aralığı.


      spark.history.fs.cleaner.interval


      spark.history.fs.driverlog.cleaner.maxAge


      spark.history.fs.driverlog.cleaner.enabled=true olduğunda silinmeden önce sürücü olay günlüklerinin maksimum yaşı.


      spark.history.fs.cleaner.maxAge


      spark.history.fs.numReplayThreads


      Günlük dosyalarını işlemek için kullanılan iş parçacığı sayısı.


      Kullanılabilir CPU çekirdeklerinin %25'i.


      spark.history.store.maxDiskUsage


      Uygulama geçmişi önbelleği için maksimum disk alanı.


      10g

2. Adım: Web kullanıcı arayüzüne erişin

Varsayılan olarak hizmet türü ClusterIP'dir. Web kullanıcı arayüzüne erişmek için yerel bir bağlantı noktasını iletin. Bunun yerine mevcut bir SLB örneği kullanmak için bkz. Mevcut bir SLB örneğiyle ilişkilendirilmiş bir Hizmet kullanarak uygulamayı dışa açma.

Önemli

kubectl port-forward komutu yalnızca test doğrulaması içindir ve güvenlik riskleri nedeniyle üretim ortamları için uygun değildir.

  1. Yerel bağlantı noktası iletmeyi yapılandırın:

    RELEASE_NAME=spark-history-server
    RELEASE_NAMESPACE=spark-operator
    
    SERVICE_NAME=${RELEASE_NAME}-service
    SERVICE_PORT=$(kubectl get service ${SERVICE_NAME} --namespace ${RELEASE_NAMESPACE} -o jsonpath="{.spec.ports[0].port}")
    
    echo "Now you can go to http://127.0.0.1:18080 to visit spark history server."
    kubectl port-forward --namespace ${RELEASE_NAMESPACE} services/${SERVICE_NAME} 18080:${SERVICE_PORT}

    Beklenen çıktı:

    Now you can go to http://127.0.0.1:18080 to visit spark history server.
    Forwarding from 127.0.0.1:18080 -> 18080
    Forwarding from [::1]:18080 -> 18080
  2. Spark History Server web kullanıcı arayüzünü görüntülemek için http://127.0.0.1:18080 adresine gidin.

    image

3. Adım: Olay günlük kaydını etkinleştirin

Aşağıdaki parametreleri yapılandırarak Spark işlerinizde olay günlük kaydını etkinleştirin.

Parametre

Açıklama

Örnek

spark.eventLog.enabled

Olay günlük kaydını etkinleştirir. Geçerli değerler:

  • true

  • false

true

spark.eventLog.dir

Olay günlükleri için depolama yolu. Örnekler:

  • oss://<Bucket name>/spark/spark-events (OSS yolu)

  • hdfs://namenode:port/spark/spark-events (HDFS yolu)

  • file:///tmp/spark/spark-events (Yerel yol)

oss://<Bucket name>/spark/spark-events

Örnek: Olay günlük kaydı için OSS yapılandırma

Aşağıdaki örnek, olay günlük kaydı için arka uç depolama olarak OSS kullanımını yapılandırır.

  1. Bir Spark konteyner görüntüsü oluşturun

    Topluluk Spark görüntüleri OSS JAR paketlerini içermez. Aşağıda gösterilen Hadoop OSS SDK JAR'larıyla özel bir görüntü oluşturun ve bunu deponuza gönderin. Bkz. Enterprise Edition örneği kullanarak görüntü oluşturma. Spark sürümünüzün Hadoop sürümüyle eşleşen bağımlılık JAR'larını kullanın.

    ARG SPARK_IMAGE=registry-cn-hangzhou.ack.aliyuncs.com/dev/spark:3.5.2
    
    FROM ${SPARK_IMAGE}
    
    # Add dependency for Hadoop Aliyun OSS support
    ADD --chmod=644 https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aliyun/3.3.4/hadoop-aliyun-3.3.4.jar ${SPARK_HOME}/jars
    ADD --chmod=644 https://repo1.maven.org/maven2/com/aliyun/oss/aliyun-sdk-oss/3.17.4/aliyun-sdk-oss-3.17.4.jar ${SPARK_HOME}/jars
    ADD --chmod=644 https://repo1.maven.org/maven2/org/jdom/jdom2/2.0.6.1/jdom2-2.0.6.1.jar ${SPARK_HOME}/jars
  2. Bir Secret oluşturun

    OSS erişim kimlik bilgilerini depolamak için Spark iş ad alanında bir Secret oluşturun.

    1. Aşağıdaki manifest dosyasını spark-oss-secret.yaml adıyla oluşturun:

      apiVersion: v1
      kind: Secret
      metadata:
        name: spark-oss-secret
        namespace: default
      stringData:
        # The AccessKey ID of your Alibaba Cloud account.
        OSS_ACCESS_KEY_ID: ""
        # The AccessKey Secret of your Alibaba Cloud account.
        OSS_ACCESS_KEY_SECRET: ""
    2. Secret değerini oluşturun:

      kubectl apply -f spark-oss-secret.yaml

      Beklenen çıktı:

      secret/spark-oss-secret created
  3. Spark işini gönderin

    Ortamınıza göre SparkApplication manifest dosyasındaki aşağıdaki parametreleri değiştirin:


    Parametre


    Açıklama


    Örnek


    image


    Özel Spark konteyner görüntüsü adresi.


    registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2-oss


    fs.oss.endpoint


    OSS uç noktası.


    oss-cn-beijing-internal.aliyuncs.com


    spark.eventLog.dir


    Günlük depolama yolu. Yolun mevcut olması gerekir; aksi takdirde iş çalışma zamanında başarısız olur.


    oss://<Bucket name>/spark/spark-events

    1. Aşağıdaki SparkApplication manifest dosyasını oluşturun ve spark-pi.yaml olarak kaydedin.

      apiVersion: sparkoperator.k8s.io/v1beta2
      kind: SparkApplication
      metadata:
        name: spark-pi-oss
        namespace: default
      spec:
        type: Scala
        mode: cluster
        image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2-oss
        mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.2.jar
        mainClass: org.apache.spark.examples.SparkPi
        sparkVersion: 3.5.2
        hadoopConf:
          fs.AbstractFileSystem.oss.impl: org.apache.hadoop.fs.aliyun.oss.OSS
          fs.oss.impl: org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem
          # The OSS endpoint.
          fs.oss.endpoint: oss-cn-beijing-internal.aliyuncs.com
          fs.oss.credentials.provider: com.aliyun.oss.common.auth.EnvironmentVariableCredentialsProvider
        sparkConf:
          spark.eventLog.enabled: "true"
          # The path where logs are stored.
          spark.eventLog.dir: oss://<Bucket name>/spark/spark-events
        driver:
          cores: 1
          coreLimit: 1200m
          memory: 512m
          serviceAccount: spark-operator-spark
          envFrom:
          - secretRef:
              name: spark-oss-secret
        executor:
          instances: 1
          cores: 1
          coreLimit: 1200m
          memory: 512m
          envFrom:
          - secretRef:
              name: spark-oss-secret
        restartPolicy:
          type: Never
    2. Spark işini gönderin. İş tamamlandıktan sonra geçmişini http://127.0.0.1:18080 adresinden görüntüleyin.

      kubectl apply -f spark-pi.yaml

      Beklenen çıktı:

      sparkapplication.sparkoperator.k8s.io/spark-pi created