Container Service for Kubernetes (ACK) kümesinde Spark işleri çalıştırmak, farklı pod'lara dağılan ve günlük yönetimini zorlaşturan yoğun miktarda günlük üretir. Simple Log Service (SLS) günlük toplama, işleme, sorgulama, analiz, görselleştirme ve uyarı verme için tek noktadan çözüm sunar. Bu konu, ACK kümesinde çalışan Spark işlerinin günlüklerini verimli bir şekilde yönetmek için Simple Log Service (SLS) kullanımını açıklar.
Önkoşullar
ack-spark-operator eklentisi dağıtılmıştır. Talimatlar için bkz. ack-spark-operator eklentisini dağıtma.
Bir Simple Log Service (SLS) Project oluşturmuş olmanız gerekir. Daha fazla bilgi için bkz. Project Yönetimi.
Logtail bileşenini yüklemiş olmanız gerekir.
Genel Bakış
Bu konuda, Spark işleriniz tarafından üretilen sistem ve uygulama günlüklerini yönetmek üzere SLS'yi yapılandırmak için aşağıdaki adımları izleyeceksiniz.
log4j JSON şablon düzeni bağımlılığını içeren bir Spark konteyner görüntüsü oluşturun ve görüntüyü konteyner görüntü kayıt defterinize gönderin.
Log4j2'yi yapılandırmak için bir ConfigMap oluşturun, günlük seviyesini INFO olarak ayarlayın ve günlük çıkış biçimini JSONL olarak belirleyin.
Bir AliyunLogConfig kaynağı oluşturun. Simple Log Service daha sonra Spark operatörü tarafından gönderilen Spark işlerinden günlükleri toplamak için belirtilen Logstore'da karşılık gelen bir Logtail yapılandırması oluşturur.
Örnek bir Spark işi oluşturun ve çalıştırın, pod günlüklerinin JSONL biçiminde olduğunu doğrulayın ve anahtar alanların tanımlarını inceleyin.
Belirli bir zaman aralığındaki Spark iş günlüklerini sorgulamak ve analiz etmek için Simple Log Service konsoluna giriş yapın.
(İsteğe bağlı) Temizleme: Test işleminizi tamamladıktan sonra, ücret oluşmasını önlemek için oluşturduğunuz Spark işlerini ve diğer kaynakları silin.
Adım 1: Spark konteyner görüntüsü oluşturma
Aşağıdaki Dockerfile dosyasını oluşturun (bu örnekte Spark 3.5.3 kullanılmaktadır) ve gerekli bağımlılığı Spark sınıf yoluna ekleyin. Oluşturma işlemi tamamlandıktan sonra görüntüyü konteyner görüntü kayıt defterinize gönderin. Günlük toplama ve ayrıştırma işlemlerini basitleştirmek için günlük çıktısı olarak JSONL biçimini kullanacağız.
ARG SPARK_IMAGE=<SPARK_IMAGE> # Replace <SPARK_IMAGE> with your Spark base image.
FROM ${SPARK_IMAGE}
# Add dependency for log4j-layout-template-json
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/org/apache/logging/log4j/log4j-layout-template-json/2.24.1/log4j-layout-template-json-2.24.1.jar ${SPARK_HOME}/jars
Adım 2: Log4j2 günlüklerini yapılandırma
Aşağıdaki içeriğe sahip spark-log-conf.yaml adlı bir dosya oluşturun. Bu yapılandırma, günlük seviyesini INFO olarak ve çıkış biçimini JSONL olarak ayarlar. Günlük şablonu olarak standartlaştırılmış bir günlük biçimi olan Elastic Common Schema (ECS) kullanılır. Daha fazla yapılandırma ayrıntısı için bkz. Log4j günlüklerini toplama.
apiVersion: v1
kind: ConfigMap
metadata:
name: spark-log-conf
namespace: default
data:
log4j2.properties: |
# Set everything to be logged to the console and file
rootLogger.level = info
rootLogger.appenderRefs = console, file
rootLogger.appenderRef.console.ref = STDOUT
rootLogger.appenderRef.file.ref = FileAppender
appender.console.name = STDOUT
appender.console.type = Console
appender.console.layout.type = JsonTemplateLayout
appender.console.layout.eventTemplateUri = classpath:EcsLayout.json
appender.file.name = FileAppender
appender.file.type = File
appender.file.fileName = /opt/spark/logs/spark.log
appender.file.layout.type = JsonTemplateLayout
appender.file.layout.eventTemplateUri = classpath:EcsLayout.json
ConfigMap kaynağını oluşturmak için aşağıdaki komutu çalıştırın.
kubectl apply -f spark-log-conf.yaml
Beklenen çıktı:
configmap/spark-log-conf created
Adım 3: Logtail yapılandırması oluşturma
Aşağıdaki içeriğe sahip aliyun-log-config.yaml adında bir AliyunLogConfig bildirim dosyası oluşturun. <SLS_PROJECT> değerini SLS Project adınızla ve <SLS_LOGSTORE> değerini Logstore adınızla değiştirin. Yapılandırma seçenekleri hakkında daha fazla bilgi için bkz. AliyunLogConfig kullanarak Logtail yapılandırmalarını yönetme.
apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
name: spark
namespace: default
spec:
# (Optional) The name of the destination Project. Default value: k8s-log-<Your_Cluster_ID>.
project: <SLS_PROJECT>
# The name of the Logstore. If the specified Logstore does not exist, Simple Log Service automatically creates it.
logstore: <SLS_LOGSTORE>
# The Logtail configuration.
logtailConfig:
# The name of the Logtail configuration.
configName: spark
# The type of the data source. `file` indicates text logs.
inputType: file
# The configurations for log input.
inputDetail:
# The directory where the log files are located.
logPath: /opt/spark/logs
# The name of the log file. Wildcard characters are supported.
filePattern: '*.log'
# The encoding of the log file.
fileEncoding: utf8
# The log type.
logType: json_log
localStorage: true
key:
- content
logBeginRegex: .*
logTimezone: ''
discardNonUtf8: false
discardUnmatch: true
preserve: true
preserveDepth: 0
regex: (.*)
outputType: LogService
topicFormat: none
adjustTimezone: false
enableRawLog: false
# Collect text logs from containers.
dockerFile: true
# Advanced configurations.
advanced:
# Preview container metadata.
collect_containers_flag: true
# Kubernetes collection configuration.
k8s:
# Filter pods by label.
IncludeK8sLabel:
sparkoperator.k8s.io/launched-by-spark-operator: "true"
# Filter containers by name.
K8sContainerRegex: "^spark-kubernetes-(driver|executor)$"
# Additional log tag configurations.
ExternalK8sLabelTag:
spark-app-name: spark-app-name
spark-version: spark-version
spark-role: spark-role
spark-app-selector: spark-app-selector
sparkoperator.k8s.io/submission-id: sparkoperator.k8s.io/submission-id
# Log processing plug-ins.
plugin:
processors:
# Log splitting.
- type: processor_split_log_string
detail:
SplitKey: content
SplitSep: ''
# JSON field parsing.
- type: processor_json
detail:
ExpandArray: false
ExpandConnector: ''
ExpandDepth: 0
IgnoreFirstConnector: false
SourceKey: content
KeepSource: false
KeepSourceIfParseError: true
NoKeyError: false
UseSourceKeyAsPrefix: false
# Log timestamp extraction.
- type: processor_strptime
detail:
SourceKey: '@timestamp'
Format: '%Y-%m-%dT%H:%M:%S.%fZ'
KeepSource: false
AdjustUTCOffset: true
UTCOffset: 0
AlarmIfFail: false
Logtail yapılandırmasını oluşturmak için aşağıdaki komutu çalıştırın.
kubectl apply -f aliyun-log-config.yaml
Yeni Logstore'u ve Logtail yapılandırmasını görüntülemek için şu adımları izleyin:
Simple Log Service konsoluna giriş yapın.
-
Projects bölümünde istediğiniz projeyi tıklayın.

-
sekmesinde hedef logstore'un önündeki > simgesini tıklayın, ardından seçeneğini belirleyin.
Logtail configuration sayfasında mevcut Logtail yapılandırmalarının listesi görüntülenir. Liste, bir makine grubuyla ilişkili spark adlı bir yapılandırma içerir.
Ayrıntılarını görüntülemek için hedef Logtail yapılandırmasını tıklayın.
Adım 4: Örnek bir Spark işi gönderme
Aşağıdaki içeriğe sahip spark-pi.yaml adında bir SparkApplication bildirim dosyası oluşturun.
apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
name: spark-pi
namespace: default
spec:
type: Scala
mode: cluster
image: <SPARK_IMAGE>
mainClass: org.apache.spark.examples.SparkPi
mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.3.jar
arguments:
- "5000"
sparkVersion: 3.5.3
sparkConfigMap: spark-log-conf
driver:
cores: 1
memory: 512m
serviceAccount: spark-operator-spark
executor:
instances: 1
cores: 1
memory: 4g
İşi göndermek için aşağıdaki komutu çalıştırın.
kubectl apply -f spark-pi.yaml
İş tamamlandıktan sonra sürücü pod günlüğünün son 10 satırını görüntüleyin.
kubectl logs --tail=10 spark-pi-driver
Beklenen çıktı:
{"@timestamp":"2024-11-20T11:45:48.487Z","ecs.version":"1.2.0","log.level":"WARN","message":"Kubernetes client has been closed.","process.thread.name":"-937428334-pool-19-thread-1","log.logger":"org.apache.spark.scheduler.cluster.k8s.ExecutorPodsWatchSnapshotSource"}
{"@timestamp":"2024-11-20T11:45:48.585Z","ecs.version":"1.2.0","log.level":"INFO","message":"MapOutputTrackerMasterEndpoint stopped!","process.thread.name":"dispatcher-event-loop-7","log.logger":"org.apache.spark.MapOutputTrackerMasterEndpoint"}
{"@timestamp":"2024-11-20T11:45:48.592Z","ecs.version":"1.2.0","log.level":"INFO","message":"MemoryStore cleared","process.thread.name":"main","log.logger":"org.apache.spark.storage.memory.MemoryStore"}
{"@timestamp":"2024-11-20T11:45:48.592Z","ecs.version":"1.2.0","log.level":"INFO","message":"BlockManager stopped","process.thread.name":"main","log.logger":"org.apache.spark.storage.BlockManager"}
{"@timestamp":"2024-11-20T11:45:48.596Z","ecs.version":"1.2.0","log.level":"INFO","message":"BlockManagerMaster stopped","process.thread.name":"main","log.logger":"org.apache.spark.storage.BlockManagerMaster"}
{"@timestamp":"2024-11-20T11:45:48.598Z","ecs.version":"1.2.0","log.level":"INFO","message":"OutputCommitCoordinator stopped!","process.thread.name":"dispatcher-event-loop-1","log.logger":"org.apache.spark.scheduler.OutputCommitCoordinator$OutputCommitCoordinatorEndpoint"}
{"@timestamp":"2024-11-20T11:45:48.602Z","ecs.version":"1.2.0","log.level":"INFO","message":"Successfully stopped SparkContext","process.thread.name":"main","log.logger":"org.apache.spark.SparkContext"}
{"@timestamp":"2024-11-20T11:45:48.604Z","ecs.version":"1.2.0","log.level":"INFO","message":"Shutdown hook called","process.thread.name":"shutdown-hook-0","log.logger":"org.apache.spark.util.ShutdownHookManager"}
{"@timestamp":"2024-11-20T11:45:48.604Z","ecs.version":"1.2.0","log.level":"INFO","message":"Deleting directory /var/data/spark-f783cf2e-44db-452c-83c9-738f9c894ef9/spark-2caa5814-bd32-431c-a9f9-a32208b34fbb","process.thread.name":"shutdown-hook-0","log.logger":"org.apache.spark.util.ShutdownHookManager"}
{"@timestamp":"2024-11-20T11:45:48.606Z","ecs.version":"1.2.0","log.level":"INFO","message":"Deleting directory /tmp/spark-dacdfd95-f166-4b23-9312-af9052730417","process.thread.name":"shutdown-hook-0","log.logger":"org.apache.spark.util.ShutdownHookManager"}
Günlükler JSONL biçiminde yazdırılır. Alanların açıklamaları aşağıdadır:
@timestamp: Günlük girdisinin oluşturulduğu zaman.ecs.version: Elastic Common Schema (ECS) sürümü. ECS, günlük verileri için standartlaştırılmış bir şemadır.log.level: Günlük seviyesi.message: Günlük mesajı.process.thread.name: Günlük girdisini oluşturan iş parçacığının adı.log.logger: Günlük girdisini kaydeden logger adı.
Adım 5: Spark günlüklerini sorgulama ve analiz etme
İşin çalışma zaman aralığını belirtmek ve günlüklerin başarıyla toplandığını onaylamak için günlük sorgulama ve analizi hızlı başlangıç kılavuzuna bakabilirsiniz.
Simple Log Service konsolunun sorgu sayfasında spark Logstore'unu seçin, bir zaman aralığı ayarlayın ve ardından sorguyu çalıştırın. Raw Logs sekmesinde toplanan Spark uygulama günlüklerini görüntüleyebilirsiniz. Başlatma aşamasından WARN seviyesindeki Unable to load native-hadoop library uyarısı ve Spark sürümü (3.5.3), işletim sistemi ve Java sürümüne ilişkin INFO seviyesindeki kayıtlar gibi günlük girdileri, günlüklerin başarıyla toplandığını doğrular.
(İsteğe bağlı) Adım 6: Temizleme
Bu öğreticiyi tamamladıysanız ve kaynaklara artık ihtiyacınız yoksa, bunları silmek için aşağıdaki komutları çalıştırın.
Spark işini silmek için aşağıdaki komutu çalıştırın.
kubectl delete -f spark-pi.yaml
Logtail yapılandırmasını silmek için aşağıdaki komutu çalıştırın.
kubectl delete -f aliyun-log-config.yaml
Log4j2 günlük yapılandırmasını silmek için aşağıdaki komutu çalıştırın.
kubectl delete -f spark-log-conf.yaml