Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Collect Spark job logs with SLS

Son Güncelleme:Oct 30, 2026

Container Service for Kubernetes (ACK) kümesinde Spark işleri çalıştırmak, farklı pod'lara dağılan ve günlük yönetimini zorlaşturan yoğun miktarda günlük üretir. Simple Log Service (SLS) günlük toplama, işleme, sorgulama, analiz, görselleştirme ve uyarı verme için tek noktadan çözüm sunar. Bu konu, ACK kümesinde çalışan Spark işlerinin günlüklerini verimli bir şekilde yönetmek için Simple Log Service (SLS) kullanımını açıklar.

Önkoşullar

Genel Bakış

Bu konuda, Spark işleriniz tarafından üretilen sistem ve uygulama günlüklerini yönetmek üzere SLS'yi yapılandırmak için aşağıdaki adımları izleyeceksiniz.

  1. log4j JSON şablon düzeni bağımlılığını içeren bir Spark konteyner görüntüsü oluşturun ve görüntüyü konteyner görüntü kayıt defterinize gönderin.

  2. Log4j2'yi yapılandırmak için bir ConfigMap oluşturun, günlük seviyesini INFO olarak ayarlayın ve günlük çıkış biçimini JSONL olarak belirleyin.

  3. Bir AliyunLogConfig kaynağı oluşturun. Simple Log Service daha sonra Spark operatörü tarafından gönderilen Spark işlerinden günlükleri toplamak için belirtilen Logstore'da karşılık gelen bir Logtail yapılandırması oluşturur.

  4. Örnek bir Spark işi oluşturun ve çalıştırın, pod günlüklerinin JSONL biçiminde olduğunu doğrulayın ve anahtar alanların tanımlarını inceleyin.

  5. Belirli bir zaman aralığındaki Spark iş günlüklerini sorgulamak ve analiz etmek için Simple Log Service konsoluna giriş yapın.

  6. (İsteğe bağlı) Temizleme: Test işleminizi tamamladıktan sonra, ücret oluşmasını önlemek için oluşturduğunuz Spark işlerini ve diğer kaynakları silin.

Adım 1: Spark konteyner görüntüsü oluşturma

Aşağıdaki Dockerfile dosyasını oluşturun (bu örnekte Spark 3.5.3 kullanılmaktadır) ve gerekli bağımlılığı Spark sınıf yoluna ekleyin. Oluşturma işlemi tamamlandıktan sonra görüntüyü konteyner görüntü kayıt defterinize gönderin. Günlük toplama ve ayrıştırma işlemlerini basitleştirmek için günlük çıktısı olarak JSONL biçimini kullanacağız.

ARG SPARK_IMAGE=<SPARK_IMAGE>  # Replace <SPARK_IMAGE> with your Spark base image.
FROM ${SPARK_IMAGE}
# Add dependency for log4j-layout-template-json
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/org/apache/logging/log4j/log4j-layout-template-json/2.24.1/log4j-layout-template-json-2.24.1.jar ${SPARK_HOME}/jars

Adım 2: Log4j2 günlüklerini yapılandırma

Aşağıdaki içeriğe sahip spark-log-conf.yaml adlı bir dosya oluşturun. Bu yapılandırma, günlük seviyesini INFO olarak ve çıkış biçimini JSONL olarak ayarlar. Günlük şablonu olarak standartlaştırılmış bir günlük biçimi olan Elastic Common Schema (ECS) kullanılır. Daha fazla yapılandırma ayrıntısı için bkz. Log4j günlüklerini toplama.

apiVersion: v1
kind: ConfigMap
metadata:
  name: spark-log-conf
  namespace: default
data:
  log4j2.properties: |
    # Set everything to be logged to the console and file
    rootLogger.level = info
    rootLogger.appenderRefs = console, file
    rootLogger.appenderRef.console.ref = STDOUT
    rootLogger.appenderRef.file.ref = FileAppender
    appender.console.name = STDOUT
    appender.console.type = Console
    appender.console.layout.type = JsonTemplateLayout
    appender.console.layout.eventTemplateUri = classpath:EcsLayout.json
    appender.file.name = FileAppender
    appender.file.type = File
    appender.file.fileName = /opt/spark/logs/spark.log
    appender.file.layout.type = JsonTemplateLayout
    appender.file.layout.eventTemplateUri = classpath:EcsLayout.json

ConfigMap kaynağını oluşturmak için aşağıdaki komutu çalıştırın.

kubectl apply -f spark-log-conf.yaml

Beklenen çıktı:

configmap/spark-log-conf created

Adım 3: Logtail yapılandırması oluşturma

Aşağıdaki içeriğe sahip aliyun-log-config.yaml adında bir AliyunLogConfig bildirim dosyası oluşturun. <SLS_PROJECT> değerini SLS Project adınızla ve <SLS_LOGSTORE> değerini Logstore adınızla değiştirin. Yapılandırma seçenekleri hakkında daha fazla bilgi için bkz. AliyunLogConfig kullanarak Logtail yapılandırmalarını yönetme.

apiVersion: log.alibabacloud.com/v1alpha1
kind: AliyunLogConfig
metadata:
  name: spark
  namespace: default
spec:
  # (Optional) The name of the destination Project. Default value: k8s-log-<Your_Cluster_ID>.
  project: <SLS_PROJECT>
  # The name of the Logstore. If the specified Logstore does not exist, Simple Log Service automatically creates it.
  logstore: <SLS_LOGSTORE>
  # The Logtail configuration.
  logtailConfig:
    # The name of the Logtail configuration.
    configName: spark
    # The type of the data source. `file` indicates text logs.
    inputType: file
    # The configurations for log input.
    inputDetail:
      # The directory where the log files are located.
      logPath: /opt/spark/logs
      # The name of the log file. Wildcard characters are supported.
      filePattern: '*.log'
      # The encoding of the log file.
      fileEncoding: utf8
      # The log type.
      logType: json_log
      localStorage: true
      key:
      - content
      logBeginRegex: .*
      logTimezone: ''
      discardNonUtf8: false
      discardUnmatch: true
      preserve: true
      preserveDepth: 0
      regex: (.*)
      outputType: LogService
      topicFormat: none
      adjustTimezone: false
      enableRawLog: false
      # Collect text logs from containers.
      dockerFile: true
      # Advanced configurations.
      advanced:
        # Preview container metadata.
        collect_containers_flag: true
        # Kubernetes collection configuration.
        k8s:
          # Filter pods by label.
          IncludeK8sLabel:
            sparkoperator.k8s.io/launched-by-spark-operator: "true"
          # Filter containers by name.
          K8sContainerRegex: "^spark-kubernetes-(driver|executor)$"
          # Additional log tag configurations.
          ExternalK8sLabelTag:
            spark-app-name: spark-app-name
            spark-version: spark-version
            spark-role: spark-role
            spark-app-selector: spark-app-selector
            sparkoperator.k8s.io/submission-id: sparkoperator.k8s.io/submission-id
      # Log processing plug-ins.
      plugin:
        processors:
        # Log splitting.
        - type: processor_split_log_string
          detail:
            SplitKey: content
            SplitSep: ''
        # JSON field parsing.
        - type: processor_json
          detail:
            ExpandArray: false
            ExpandConnector: ''
            ExpandDepth: 0
            IgnoreFirstConnector: false
            SourceKey: content
            KeepSource: false
            KeepSourceIfParseError: true
            NoKeyError: false
            UseSourceKeyAsPrefix: false
        # Log timestamp extraction.
        - type: processor_strptime
          detail:
            SourceKey: '@timestamp'
            Format: '%Y-%m-%dT%H:%M:%S.%fZ'
            KeepSource: false
            AdjustUTCOffset: true
            UTCOffset: 0
            AlarmIfFail: false

Logtail yapılandırmasını oluşturmak için aşağıdaki komutu çalıştırın.

kubectl apply -f aliyun-log-config.yaml

Yeni Logstore'u ve Logtail yapılandırmasını görüntülemek için şu adımları izleyin:

  1. Simple Log Service konsoluna giriş yapın.

  2. Projects bölümünde istediğiniz projeyi tıklayın.

    image

  3. Log Storage > Logstores sekmesinde hedef logstore'un önündeki > simgesini tıklayın, ardından Data Collection > Logtail Configuration seçeneğini belirleyin.

    Logtail configuration sayfasında mevcut Logtail yapılandırmalarının listesi görüntülenir. Liste, bir makine grubuyla ilişkili spark adlı bir yapılandırma içerir.

  4. Ayrıntılarını görüntülemek için hedef Logtail yapılandırmasını tıklayın.

Adım 4: Örnek bir Spark işi gönderme

Aşağıdaki içeriğe sahip spark-pi.yaml adında bir SparkApplication bildirim dosyası oluşturun.

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: spark-pi
  namespace: default
spec:
  type: Scala
  mode: cluster
  image: <SPARK_IMAGE>
  mainClass: org.apache.spark.examples.SparkPi
  mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.3.jar
  arguments: 
  - "5000"
  sparkVersion: 3.5.3
  sparkConfigMap: spark-log-conf
  driver:
    cores: 1
    memory: 512m
    serviceAccount: spark-operator-spark
  executor:
    instances: 1
    cores: 1
    memory: 4g

İşi göndermek için aşağıdaki komutu çalıştırın.

kubectl apply -f spark-pi.yaml

İş tamamlandıktan sonra sürücü pod günlüğünün son 10 satırını görüntüleyin.

kubectl logs  --tail=10 spark-pi-driver  

Beklenen çıktı:

{"@timestamp":"2024-11-20T11:45:48.487Z","ecs.version":"1.2.0","log.level":"WARN","message":"Kubernetes client has been closed.","process.thread.name":"-937428334-pool-19-thread-1","log.logger":"org.apache.spark.scheduler.cluster.k8s.ExecutorPodsWatchSnapshotSource"}
{"@timestamp":"2024-11-20T11:45:48.585Z","ecs.version":"1.2.0","log.level":"INFO","message":"MapOutputTrackerMasterEndpoint stopped!","process.thread.name":"dispatcher-event-loop-7","log.logger":"org.apache.spark.MapOutputTrackerMasterEndpoint"}
{"@timestamp":"2024-11-20T11:45:48.592Z","ecs.version":"1.2.0","log.level":"INFO","message":"MemoryStore cleared","process.thread.name":"main","log.logger":"org.apache.spark.storage.memory.MemoryStore"}
{"@timestamp":"2024-11-20T11:45:48.592Z","ecs.version":"1.2.0","log.level":"INFO","message":"BlockManager stopped","process.thread.name":"main","log.logger":"org.apache.spark.storage.BlockManager"}
{"@timestamp":"2024-11-20T11:45:48.596Z","ecs.version":"1.2.0","log.level":"INFO","message":"BlockManagerMaster stopped","process.thread.name":"main","log.logger":"org.apache.spark.storage.BlockManagerMaster"}
{"@timestamp":"2024-11-20T11:45:48.598Z","ecs.version":"1.2.0","log.level":"INFO","message":"OutputCommitCoordinator stopped!","process.thread.name":"dispatcher-event-loop-1","log.logger":"org.apache.spark.scheduler.OutputCommitCoordinator$OutputCommitCoordinatorEndpoint"}
{"@timestamp":"2024-11-20T11:45:48.602Z","ecs.version":"1.2.0","log.level":"INFO","message":"Successfully stopped SparkContext","process.thread.name":"main","log.logger":"org.apache.spark.SparkContext"}
{"@timestamp":"2024-11-20T11:45:48.604Z","ecs.version":"1.2.0","log.level":"INFO","message":"Shutdown hook called","process.thread.name":"shutdown-hook-0","log.logger":"org.apache.spark.util.ShutdownHookManager"}
{"@timestamp":"2024-11-20T11:45:48.604Z","ecs.version":"1.2.0","log.level":"INFO","message":"Deleting directory /var/data/spark-f783cf2e-44db-452c-83c9-738f9c894ef9/spark-2caa5814-bd32-431c-a9f9-a32208b34fbb","process.thread.name":"shutdown-hook-0","log.logger":"org.apache.spark.util.ShutdownHookManager"}
{"@timestamp":"2024-11-20T11:45:48.606Z","ecs.version":"1.2.0","log.level":"INFO","message":"Deleting directory /tmp/spark-dacdfd95-f166-4b23-9312-af9052730417","process.thread.name":"shutdown-hook-0","log.logger":"org.apache.spark.util.ShutdownHookManager"}

Günlükler JSONL biçiminde yazdırılır. Alanların açıklamaları aşağıdadır:

  • @timestamp: Günlük girdisinin oluşturulduğu zaman.

  • ecs.version: Elastic Common Schema (ECS) sürümü. ECS, günlük verileri için standartlaştırılmış bir şemadır.

  • log.level: Günlük seviyesi.

  • message: Günlük mesajı.

  • process.thread.name: Günlük girdisini oluşturan iş parçacığının adı.

  • log.logger: Günlük girdisini kaydeden logger adı.

Adım 5: Spark günlüklerini sorgulama ve analiz etme

İşin çalışma zaman aralığını belirtmek ve günlüklerin başarıyla toplandığını onaylamak için günlük sorgulama ve analizi hızlı başlangıç kılavuzuna bakabilirsiniz.

Simple Log Service konsolunun sorgu sayfasında spark Logstore'unu seçin, bir zaman aralığı ayarlayın ve ardından sorguyu çalıştırın. Raw Logs sekmesinde toplanan Spark uygulama günlüklerini görüntüleyebilirsiniz. Başlatma aşamasından WARN seviyesindeki Unable to load native-hadoop library uyarısı ve Spark sürümü (3.5.3), işletim sistemi ve Java sürümüne ilişkin INFO seviyesindeki kayıtlar gibi günlük girdileri, günlüklerin başarıyla toplandığını doğrular.

(İsteğe bağlı) Adım 6: Temizleme

Bu öğreticiyi tamamladıysanız ve kaynaklara artık ihtiyacınız yoksa, bunları silmek için aşağıdaki komutları çalıştırın.

Spark işini silmek için aşağıdaki komutu çalıştırın.

kubectl delete -f spark-pi.yaml

Logtail yapılandırmasını silmek için aşağıdaki komutu çalıştırın.

kubectl delete -f aliyun-log-config.yaml

Log4j2 günlük yapılandırmasını silmek için aşağıdaki komutu çalıştırın.

kubectl delete -f spark-log-conf.yaml