Spark iş günlüklerini kalıcı hale getirin ve tamamlanan işlerin aşamaları, görevler ve kaynak kullanımı gibi ayrıntılarını Spark History Server üzerinden görüntüleyin.
Ön koşullar
ack-spark-operator eklentisi dağıtılmış olmalıdır.
Bir kubectl istemcisi ACK kümesine bağlı olmalıdır. Daha fazla bilgi için bkz. kubectl kullanarak bir ACK kümesine bağlanma.
1. Adım: ack-spark-history-server eklentisini dağıtın
ACK konsolu üzerinde oturum açın. Sol gezinme bölmesinde seçeneğine tıklayın.
Marketplace sayfasında App Catalog sekmesine tıklayın, ardından ack-spark-history-server öğesini aratıp seçin.
ack-spark-history-server sayfasında Deploy düğmesine tıklayın.
Create panelinde bir küme ve ad alanı seçin, ardından Next düğmesine tıklayın.
-
Parameters sayfasında parametreleri belirtin ve OK düğmesine tıklayın.
Aşağıdaki parametreler günlük depolamayı, ortam değişkenlerini ve hizmeti yapılandırır. Tüm seçenekler için ack-spark-history-server sayfasındaki ConfigMaps sekmesine bakın.
Notack-spark-history-server dağıtılırken Object Storage Service (OSS), kalıcı birim talebi (PVC) veya HDFS gibi günlükler için arka uç depolama alanı belirtin.
-
(Gerekli) Günlükler için arka uç depolama alanını yapılandırın
Arka uç depolama olarak OSS, PVC veya HDFS seçin.
OSS
Aşağıdaki parametreleri ayarlayın.
ÖnemliSpark iş günlükleri yalnızca iş tamamlandıktan sonra yüklenir. Çalışan işlerin günlüklerini gerçek zamanlı olarak görüntüleyemezsiniz.
Parametre
Açıklama
Örnekspark.history.fs.logDirectory
Günlük dizini URL'si. Eklentiyi dağıtmadan öncespark/spark-eventsgibi bir dizin oluşturun. Bkz. Dizin Yönetimi.oss://<Bucket name>/spark/spark-eventsstorage.oss.enable
Günlükler için arka uç depolama olarak OSS veya OSS-HDFS kullanımını etkinleştirir.truestorage.oss.endpoint
OSS uç noktası.oss-cn-beijing-internal.aliyuncs.comstorage.oss.existingSecret
(Önerilen) OSS erişim kimlik bilgilerini içeren mevcut bir Secret adı. Bkz. AccessKey Secret YAML dosyası örneği.spark-oss-secretstorage.oss.createSecret
Mevcut bir Secret belirtilmezse, OSS erişim kimlik bilgilerini depolamak için otomatik olarak yeni bir Secret oluşturulur.
Uygulanamazstorage.oss.createSecret.accessKeyId
Alibaba Cloud hesabınızın AccessKey ID değeri.
yourAccessKeyIDstorage.oss.createSecret.accessKeySecret
Alibaba Cloud hesabınızın AccessKey Secret değeri.
yourAccessKeySecretPVC
Aşağıdaki parametreleri ayarlayın.
Parametre
Açıklama
Örnekspark.history.fs.logDirectory
Günlük dizininin URL'si.file:///mnt/spark/spark-eventsstorage.pvc.enable
Günlükler için arka uç depolama olarak bir PVC kullanımını etkinleştirir.truestorage.pvc.name
Mevcut bir PVC adı. PV ve PVC'ninack-spark-history-serverad alanında oluşturulup bağlandığından emin olun. Bkz. Storage-CSI."<PVC name>"storage.pvc.mountPath
Konteyner içindeki PVC bağlama yolu."/mnt"HDFS
Aşağıdaki parametreyi ayarlayın.
Parametre
Açıklama
Örnekspark.history.fs.logDirectory
Günlük dizininin URL'si.hdfs://namenode:port/spark/spark-events -
(İsteğe bağlı) Hizmet türü ve bağlantı noktası
Bir hizmet, History Server web kullanıcı arayüzünü varsayılan olarak dışa açar. Türü ve bağlantı noktasını
service.typeveservice.portparametreleriyle yapılandırın.Parametre
Açıklama
Varsayılan
service.typeHizmet türü. Geçerli değerler:
-
ClusterIP -
NodePort -
LoadBalancer
ClusterIPservice.portWeb kullanıcı arayüzüne erişim için kullanılan bağlantı noktası.
18080 -
-
(İsteğe bağlı) Ortam değişkenleri
History Server'ı yapılandırmak için
envbölümüne ortam değişkenleri ekleyin.
Ortam değişkeni
Açıklama
VarsayılanSPARK_DAEMON_MEMORY
Spark History Server'a ayrılan bellek miktarı.1gSPARK_DAEMON_JAVA_OPTS
Spark History Server için JVM seçenekleri.""SPARK_DAEMON_CLASSPATH
Spark History Server için sınıf yolu.""SPARK_PUBLIC_DNS
Spark History Server'ın genel adresi. Ayarlanmazsa uygulama geçmişi dahili adresi kullanır; bu durum bozuk bağlantılara neden olabilir.""SPARK_HISTORY_OPTS
Bir dizispark.history.*yapılandırma özelliği.""History Server'ı özelleştirmek için
sparkConfbölümüne yapılandırmalar ekleyin. Yaygın yapılandırmalar:
Özellik
Açıklama
Varsayılanspark.history.fs.update.interval
Günlük güncellemelerini denetleme aralığı.10sspark.history.fs.retainedApplications
Önbelleğe alınacak maksimum uygulama kullanıcı arayüzü sayısı.50spark.history.ui.port
Spark History Server bağlantı noktası.18080spark.history.fs.cleaner.enabled
Olay günlüklerinin periyodik olarak temizlenip temizlenmeyeceğini belirtir.falsespark.history.fs.cleaner.intervalspark.history.fs.cleaner.enabled=trueolduğunda olay günlüğü temizleme aralığı.1dspark.history.fs.cleaner.maxAgespark.history.fs.cleaner.enabled=trueolduğunda silinmeden önce olay günlüklerinin maksimum yaşı.7dspark.history.fs.cleaner.maxNumspark.history.fs.cleaner.enabled=trueolduğunda saklanacak maksimum günlük dosyası sayısı. Temizleme sırasında fazladan dosyalar silinir.Int.MaxValuespark.history.fs.driverlog.cleaner.enabled
Sürücü olay günlüklerinin periyodik olarak temizlenip temizlenmeyeceğini belirtir.spark.history.fs.cleaner.enabledspark.history.fs.driverlog.cleaner.intervalspark.history.fs.driverlog.cleaner.enabled=trueolduğunda sürücü olay günlüğü temizleme aralığı.spark.history.fs.cleaner.intervalspark.history.fs.driverlog.cleaner.maxAgespark.history.fs.driverlog.cleaner.enabled=trueolduğunda silinmeden önce sürücü olay günlüklerinin maksimum yaşı.spark.history.fs.cleaner.maxAgespark.history.fs.numReplayThreads
Günlük dosyalarını işlemek için kullanılan iş parçacığı sayısı.
Kullanılabilir CPU çekirdeklerinin %25'i.spark.history.store.maxDiskUsage
Uygulama geçmişi önbelleği için maksimum disk alanı.10g
-
2. Adım: Web kullanıcı arayüzüne erişin
Varsayılan olarak hizmet türü ClusterIP'dir. Web kullanıcı arayüzüne erişmek için yerel bir bağlantı noktasını iletin. Bunun yerine mevcut bir SLB örneği kullanmak için bkz. Mevcut bir SLB örneğiyle ilişkilendirilmiş bir Hizmet kullanarak uygulamayı dışa açma.
kubectl port-forward komutu yalnızca test doğrulaması içindir ve güvenlik riskleri nedeniyle üretim ortamları için uygun değildir.
-
Yerel bağlantı noktası iletmeyi yapılandırın:
RELEASE_NAME=spark-history-server RELEASE_NAMESPACE=spark-operator SERVICE_NAME=${RELEASE_NAME}-service SERVICE_PORT=$(kubectl get service ${SERVICE_NAME} --namespace ${RELEASE_NAMESPACE} -o jsonpath="{.spec.ports[0].port}") echo "Now you can go to http://127.0.0.1:18080 to visit spark history server." kubectl port-forward --namespace ${RELEASE_NAMESPACE} services/${SERVICE_NAME} 18080:${SERVICE_PORT}Beklenen çıktı:
Now you can go to http://127.0.0.1:18080 to visit spark history server. Forwarding from 127.0.0.1:18080 -> 18080 Forwarding from [::1]:18080 -> 18080 -
Spark History Server web kullanıcı arayüzünü görüntülemek için http://127.0.0.1:18080 adresine gidin.

3. Adım: Olay günlük kaydını etkinleştirin
Aşağıdaki parametreleri yapılandırarak Spark işlerinizde olay günlük kaydını etkinleştirin.
|
Parametre |
Açıklama |
Örnek |
|
|
Olay günlük kaydını etkinleştirir. Geçerli değerler:
|
|
|
|
Olay günlükleri için depolama yolu. Örnekler:
|
|
Örnek: Olay günlük kaydı için OSS yapılandırma
Aşağıdaki örnek, olay günlük kaydı için arka uç depolama olarak OSS kullanımını yapılandırır.
-
Bir Spark konteyner görüntüsü oluşturun
Topluluk Spark görüntüleri OSS JAR paketlerini içermez. Aşağıda gösterilen Hadoop OSS SDK JAR'larıyla özel bir görüntü oluşturun ve bunu deponuza gönderin. Bkz. Enterprise Edition örneği kullanarak görüntü oluşturma. Spark sürümünüzün Hadoop sürümüyle eşleşen bağımlılık JAR'larını kullanın.
ARG SPARK_IMAGE=registry-cn-hangzhou.ack.aliyuncs.com/dev/spark:3.5.2 FROM ${SPARK_IMAGE} # Add dependency for Hadoop Aliyun OSS support ADD --chmod=644 https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aliyun/3.3.4/hadoop-aliyun-3.3.4.jar ${SPARK_HOME}/jars ADD --chmod=644 https://repo1.maven.org/maven2/com/aliyun/oss/aliyun-sdk-oss/3.17.4/aliyun-sdk-oss-3.17.4.jar ${SPARK_HOME}/jars ADD --chmod=644 https://repo1.maven.org/maven2/org/jdom/jdom2/2.0.6.1/jdom2-2.0.6.1.jar ${SPARK_HOME}/jars -
Bir Secret oluşturun
OSS erişim kimlik bilgilerini depolamak için Spark iş ad alanında bir Secret oluşturun.
-
Aşağıdaki manifest dosyasını
spark-oss-secret.yamladıyla oluşturun:apiVersion: v1 kind: Secret metadata: name: spark-oss-secret namespace: default stringData: # The AccessKey ID of your Alibaba Cloud account. OSS_ACCESS_KEY_ID: "" # The AccessKey Secret of your Alibaba Cloud account. OSS_ACCESS_KEY_SECRET: "" -
Secret değerini oluşturun:
kubectl apply -f spark-oss-secret.yamlBeklenen çıktı:
secret/spark-oss-secret created
-
-
Spark işini gönderin
Ortamınıza göre SparkApplication manifest dosyasındaki aşağıdaki parametreleri değiştirin:
Parametre
Açıklama
Örnekimage
Özel Spark konteyner görüntüsü adresi.registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2-ossfs.oss.endpoint
OSS uç noktası.oss-cn-beijing-internal.aliyuncs.comspark.eventLog.dir
Günlük depolama yolu. Yolun mevcut olması gerekir; aksi takdirde iş çalışma zamanında başarısız olur.oss://<Bucket name>/spark/spark-events-
Aşağıdaki SparkApplication manifest dosyasını oluşturun ve
spark-pi.yamlolarak kaydedin.apiVersion: sparkoperator.k8s.io/v1beta2 kind: SparkApplication metadata: name: spark-pi-oss namespace: default spec: type: Scala mode: cluster image: registry-cn-hangzhou.ack.aliyuncs.com/ack-demo/spark:3.5.2-oss mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.2.jar mainClass: org.apache.spark.examples.SparkPi sparkVersion: 3.5.2 hadoopConf: fs.AbstractFileSystem.oss.impl: org.apache.hadoop.fs.aliyun.oss.OSS fs.oss.impl: org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem # The OSS endpoint. fs.oss.endpoint: oss-cn-beijing-internal.aliyuncs.com fs.oss.credentials.provider: com.aliyun.oss.common.auth.EnvironmentVariableCredentialsProvider sparkConf: spark.eventLog.enabled: "true" # The path where logs are stored. spark.eventLog.dir: oss://<Bucket name>/spark/spark-events driver: cores: 1 coreLimit: 1200m memory: 512m serviceAccount: spark-operator-spark envFrom: - secretRef: name: spark-oss-secret executor: instances: 1 cores: 1 coreLimit: 1200m memory: 512m envFrom: - secretRef: name: spark-oss-secret restartPolicy: type: Never -
Spark işini gönderin. İş tamamlandıktan sonra geçmişini http://127.0.0.1:18080 adresinden görüntüleyin.
kubectl apply -f spark-pi.yamlBeklenen çıktı:
sparkapplication.sparkoperator.k8s.io/spark-pi created
-