Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Use Celeborn as an RSS for Spark jobs

Son Güncelleme:Oct 30, 2026

Celeborn bir remote shuffle service (RSS) olarak ara shuffle data ve spill data verilerini yönetir. Spark işlerinde RSS özelliğini kullanmak üzere bu hizmeti bir Container Service for Kubernetes (ACK) kümesinde dağıtın.

Avantajlar

MapReduce, Spark ve Flink gibi büyük veri çerçeveleri için Celeborn, RSS olarak aşağıdaki avantajları sunar:

  • İtme tabanlı karıştırma yazma: Eşleyici düğümler yerel disk depolamayı atlar; bu durum, storage and compute separation mimarisine sahip cloud-native yapılar için idealdir.

  • Birleştirme tabanlı karıştırma okuma: Veriler indirgeyiciler yerine worker düğümlerinde birleştirilir; bu sayede rastgele küçük dosya G/Ç işlemi ve küçük veri transferlerinden kaynaklanan ağ ek yükü önlenir.

  • high availability: Celeborn master düğümleri, high availability ve kararlılık sağlamak için Raft protokolünü kullanır.

  • fault tolerance: dual replicas uygulaması, getirme hatası olasılığını önemli ölçüde azaltır.

Ön koşullar

Küme ortamı

Bu örnekte aşağıdaki ACK küme yapılandırması kullanılır:

  • master işlemi, aşağıdaki yapılandırmaya sahip celeborn-master node pool üzerine dağıtılır:

    • node pool adı: celeborn-master

    • Düğüm sayısı: 3

    • ECS instance type: g8i.2xlarge

    • label: celeborn.apache.org/role=master

    • taint: celeborn.apache.org/role=master:NoSchedule

    • Düğüm başına veri depolama alanı: /mnt/celeborn_ratis (1024 GB)

  • worker işlemi, aşağıdaki yapılandırmaya sahip celeborn-worker node pool üzerine dağıtılır:

    • node pool adı: celeborn-worker

    • Düğüm sayısı: 5

    • ECS instance type: g8i.4xlarge

    • label: celeborn.apache.org/role=worker

    • taint: celeborn.apache.org/role=worker:NoSchedule

    • Düğüm başına veri depolama alanı:

      • /mnt/disk1 (1024 GB)

      • /mnt/disk2 (1024 GB)

      • /mnt/disk3 (1024 GB)

      • /mnt/disk4 (1024 GB)

Yordama genel bakış

Bir ACK kümesinde Celeborn dağıtmak ve örnek bir Spark işi çalıştırmak için şu adımları tamamlayın.

  1. Bir Celeborn container image oluşturun

    Bir Celeborn release paketini indirin, bir container image oluşturun ve ack-celeborn bileşenini dağıtmak üzere bu görüntüyü image repository konumuna gönderin.

  2. ack-celeborn bileşenini dağıtın

    ACK Marketplace üzerindeki ack-celeborn Helm chart kullanarak, oluşturduğunuz container image ile bir Celeborn kümesi dağıtın.

  3. Bir Spark container image oluşturun

    Celeborn ve OSS bağımlılıklarını içeren bir Spark container image oluşturun ve bunu image repository konumuna gönderin.

  4. Test verilerini hazırlayın ve OSS üzerine yükleyin

    PageRank işi için bir test veri kümesi oluşturun ve bunu OSS konumuna yükleyin.

  5. Örnek bir Spark işi çalıştırın

    Örnek bir PageRank işi çalıştırın ve RSS olarak Celeborn kullanacak şekilde yapılandırın.

  6. (İsteğe bağlı) Kaynakları temizleyin

    Öğreticiyi tamamladıktan sonra ücretlerden kaçınmak için Spark işini ve diğer gereksiz kaynakları silin.

1. Adım: Bir Celeborn container image oluşturma

Gerekli release paketini (örneğin, sürüm 0.5.2) official Celeborn website adresinden indirin. <IMAGE-REGISTRY> ve <IMAGE-REPOSITORY> değerlerini kendi görüntü kayıt defteriniz ve görüntü adınızla değiştirin. Hedef mimariyi ayarlamak için PLATFORMS değerini değiştirebilirsiniz. Bkz. Deploy Celeborn on Kubernetes. docker buildx komutu Docker 19.03 veya sonraki bir sürümü gerektirir. Bkz. Install and use Docker and Docker Compose.

CELEBORN_VERSION=0.5.2               # The Celeborn version.

IMAGE_REGISTRY=<IMAGE-REGISTRY>      # The image registry, for example, docker.io.

IMAGE_REPOSITORY=<IMAGE-REPOSITORY>  # The image name, for example, apache/celeborn.

IMAGE_TAG=${CELEBORN_VERSION}        # The image tag. This example uses the Celeborn version as the tag.

PLATFORMS=linux/amd64                # The image platform architecture. To support multiple platforms, separate them with commas, for example, linux/amd64,linux/arm64.

# Download the release package.
wget https://downloads.apache.org/celeborn/celeborn-${CELEBORN_VERSION}/apache-celeborn-${CELEBORN_VERSION}-bin.tgz

# Extract the package.
tar -zxvf apache-celeborn-${CELEBORN_VERSION}-bin.tgz

# Go to the working directory.
cd apache-celeborn-${CELEBORN_VERSION}-bin

# Use Docker Buildx to build the image and push it to the image repository.
docker buildx build \
    --output=type=registry \
    --push \
    --platform=${PLATFORMS} \
    --tag=${IMAGE_REGISTRY}/${IMAGE_REPOSITORY}:${IMAGE_TAG} \
    -f docker/Dockerfile \
    .

2. Adım: ack-celeborn bileşenini dağıtma

  1. ACK konsolu üzerinde oturum açın. Sol gezinme bölmesinde Marketplace > Marketplace seçeneklerini tıklayın.

  2. Marketplace sayfasında App Catalog sekmesini tıklayın, ack-celeborn öğesini seçin ve ack-celeborn sayfasında Deploy öğesini tıklayın.

  3. Create panelinde küme ve ad alanını seçin, ardından Next öğesini tıklayın.

  4. Parameters sayfasında parametreleri yapılandırın ve ardından OK öğesini tıklayın.

    image:                         # Replace this with the address of the Celeborn image that you built in Step 1.
      registry: docker.io          # The image registry.
      repository: apache/celeborn  # The image name.
      tag: 0.5.2                   # The image tag.
    
    celeborn:
      celeborn.client.push.stageEnd.timeout: 120s
      celeborn.master.ha.enabled: true
      celeborn.master.ha.ratis.raft.server.storage.dir: /mnt/celeborn_ratis
      celeborn.master.heartbeat.application.timeout: 300s
      celeborn.master.heartbeat.worker.timeout: 120s
      celeborn.master.http.port: 9098
      celeborn.metrics.enabled: true
      celeborn.metrics.prometheus.path: /metrics/prometheus
      celeborn.rpc.dispatcher.numThreads: 4
      celeborn.rpc.io.clientThreads: 64
      celeborn.rpc.io.numConnectionsPerPeer: 2
      celeborn.rpc.io.serverThreads: 64
      celeborn.shuffle.chunk.size: 8m
      celeborn.worker.fetch.io.threads: 32
      celeborn.worker.flusher.buffer.size: 256K
      celeborn.worker.http.port: 9096
      celeborn.worker.monitor.disk.enabled: false
      celeborn.worker.push.io.threads: 32
      celeborn.worker.storage.dirs: /mnt/disk1:disktype=SSD:capacity=1024Gi,/mnt/disk2:disktype=SSD:capacity=1024Gi,/mnt/disk3:disktype=SSD:capacity=1024Gi,/mnt/disk4:disktype=SSD:capacity=1024Gi
    
    master:
      replicas: 3
      env:
      - name: CELEBORN_MASTER_MEMORY
        value: 28g
      - name: CELEBORN_MASTER_JAVA_OPTS
        value: -XX:-PrintGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -Xloggc:gc-master.out -Dio.netty.leakDetectionLevel=advanced
      - name: CELEBORN_NO_DAEMONIZE
        value: "1"
      - name: TZ
        value: Asia/Shanghai
      volumeMounts:
      - name: celeborn-ratis
        mountPath: /mnt/celeborn_ratis
      resources:
        requests:
          cpu: 7                
          memory: 28Gi        
        limits:
          cpu: 7
          memory: 28Gi
      volumes:
      - name: celeborn-ratis
        hostPath:
          path: /mnt/celeborn_ratis
          type: DirectoryOrCreate
      nodeSelector:
        celeborn.apache.org/role: master
      tolerations:
      - key: celeborn.apache.org/role
        operator: Equal
        value: master
        effect: NoSchedule
    
    worker:
      replicas: 5
      env:
      - name: CELEBORN_WORKER_MEMORY
        value: 28g
      - name: CELEBORN_WORKER_OFFHEAP_MEMORY
        value: 28g
      - name: CELEBORN_WORKER_JAVA_OPTS
        value: -XX:-PrintGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -Xloggc:gc-worker.out -Dio.netty.leakDetectionLevel=advanced
      - name: CELEBORN_NO_DAEMONIZE
        value: "1"
      - name: TZ
        value: Asia/Shanghai
      volumeMounts:
      - name: disk1
        mountPath: /mnt/disk1
      - name: disk2
        mountPath: /mnt/disk2
      - name: disk3
        mountPath: /mnt/disk3
      - name: disk4
        mountPath: /mnt/disk4
      resources:
        requests:
          cpu: 14
          memory: 56Gi
        limits:
          cpu: 14
          memory: 56Gi
      volumes:
      - name: disk1
        hostPath:
          path: /mnt/disk1
          type: DirectoryOrCreate
      - name: disk2
        hostPath:
          path: /mnt/disk2
          type: DirectoryOrCreate
      - name: disk3
        hostPath:
          path: /mnt/disk3
          type: DirectoryOrCreate
      - name: disk4
        hostPath:
          path: /mnt/disk4
          type: DirectoryOrCreate
      nodeSelector:
        celeborn.apache.org/role: worker
      tolerations:
      - key: celeborn.apache.org/role
        operator: Equal
        value: worker
        effect: NoSchedule

    Aşağıdaki tabloda anahtar parametreler açıklanmaktadır. Parametrelerin tam listesi için ack-celeborn sayfasındaki ConfigMaps bölümüne bakın.

    Parameter settings

    Parameter

    Description

    Example

    image.registry

    image registry adresi.

    "docker.io"

    image.repository

    Görüntü adı.

    "apache/celeborn"

    image.tag

    Görüntü etiketi.

    "0.5.2"

    image.pullPolicy

    Görüntü çekme ilkesi.

    "IfNotPresent"

    celeborn

    Celeborn yapılandırma özellikleri.

    {
      "celeborn.client.push.stageEnd.timeout": "120s",
      "celeborn.master.ha.enabled": true,
      "celeborn.master.ha.ratis.raft.server.storage.dir": "/mnt/celeborn_ratis",
      "celeborn.master.heartbeat.application.timeout": "300s",
      "celeborn.master.heartbeat.worker.timeout": "120s",
      "celeborn.master.http.port": 9098,
      "celeborn.metrics.enabled": true,
      "celeborn.metrics.prometheus.path": "/metrics/prometheus",
      "celeborn.rpc.dispatcher.numThreads": 4,
      "celeborn.rpc.io.clientThreads": 64,
      "celeborn.rpc.io.numConnectionsPerPeer": 2,
      "celeborn.rpc.io.serverThreads": 64,
      "celeborn.shuffle.chunk.size": "8m",
      "celeborn.worker.fetch.io.threads": 32,
      "celeborn.worker.flusher.buffer.size": "256K",
      "celeborn.worker.http.port": 9096,
      "celeborn.worker.monitor.disk.enabled": false,
      "celeborn.worker.push.io.threads": 32,
      "celeborn.worker.storage.dirs": "/mnt/disk1:disktype=SSD:capacity=1024Gi,/mnt/disk2:disktype=SSD:capacity=1024Gi,/mnt/disk3:disktype=SSD:capacity=1024Gi,/mnt/disk4:disktype=SSD:capacity=1024Gi"
    }

    master.replicas

    Master pod çoğaltma sayısı.

    3

    master.volumeMounts

    Master kapsayıcısı için volumeMounts.

    [
      {
        "mountPath": "/mnt/celeborn_ratis",
        "name": "celeborn-ratis"
      }
    ]

    master.volumes

    Master pod için veri birimleri.

    Yalnızca hostPath ve emptyDir birim türleri desteklenir.

    [
      {
        "hostPath": {
          "path": "/mnt/celeborn_ratis",
          "type": "DirectoryOrCreate"
        },
        "name": "celeborn-ratis"
      }
    ]

    master.nodeSelector

    Master pod için node selector.

    {}

    master.affinity

    Master pod için affinity kuralları.

    {
      "podAntiAffinity": {
        "requiredDuringSchedulingIgnoredDuringExecution": [
          {
            "labelSelector": {
              "matchExpressions": [
                {
                  "key": "app.kubernetes.io/name",
                  "operator": "In",
                  "values": [
                    "celeborn"
                  ]
                },
                {
                  "key": "app.kubernetes.io/role",
                  "operator": "In",
                  "values": [
                    "master"
                  ]
                }
              ]
            },
            "topologyKey": "kubernetes.io/hostname"
          }
        ]
      }
    }

    master.tolerations

    Master pod için tolerations.

    []

    worker.replicas

    worker pod çoğaltma sayısı.

    5

    worker.volumeMounts

    worker kapsayıcısı için volumeMounts.

    [
      {
        "mountPath": "/mnt/disk1",
        "name": "disk1"
      },
      {
        "mountPath": "/mnt/disk2",
        "name": "disk2"
      },
      {
        "mountPath": "/mnt/disk3",
        "name": "disk3"
      },
      {
        "mountPath": "/mnt/disk4",
        "name": "disk4"
      }
    ]

    worker.volumes

    worker pod için veri birimleri.

    Yalnızca hostPath ve emptyDir birim türleri desteklenir.

    [
      {
        "capacity": "100Gi",
        "diskType": "SSD",
        "hostPath": "/mnt/disk1",
        "mountPath": "/mnt/disk1",
        "type": "hostPath"
      },
      {
        "capacity": "100Gi",
        "diskType": "SSD",
        "hostPath": "/mnt/disk2",
        "mountPath": "/mnt/disk2",
        "type": "hostPath"
      },
      {
        "capacity": "100Gi",
        "diskType": "SSD",
        "hostPath": "/mnt/disk3",
        "mountPath": "/mnt/disk3",
        "type": "hostPath"
      },
      {
        "capacity": "100Gi",
        "diskType": "SSD",
        "hostPath": "/mnt/disk4",
        "mountPath": "/mnt/disk4",
        "type": "hostPath"
      }
    ]

    worker.nodeSelector

    worker pod için node selector.

    {}

    worker.affinity

    worker pod için affinity kuralları.

    {
      "podAntiAffinity": {
        "requiredDuringSchedulingIgnoredDuringExecution": [
          {
            "labelSelector": {
              "matchExpressions": [
                {
                  "key": "app.kubernetes.io/name",
                  "operator": "In",
                  "values": [
                    "celeborn"
                  ]
                },
                {
                  "key": "app.kubernetes.io/role",
                  "operator": "In",
                  "values": [
                    "worker"
                  ]
                }
              ]
            },
            "topologyKey": "kubernetes.io/hostname"
          }
        ]
      }
    }

    worker.tolerations

    worker pod için tolerations.

    []

  1. Celeborn dağıtımının tamamlanmasını bekleyin. Pod sorunlarıyla karşılaşırsanız bkz. Pod troubleshooting.

    kubectl get -n celeborn statefulset 

    Beklenen çıktı:

    NAME              READY   AGE
    celeborn-master   3/3     68s
    celeborn-worker   5/5     68s

3. Adım: Bir Spark container image oluşturma

Bu örnekte Spark 3.5.3 kullanılır. Aşağıdaki içeriğe sahip bir Dockerfile dosyası oluşturarak bir container image oluşturun ve bunu image repository konumuna gönderin.

ARG SPARK_IMAGE=<SPARK_IMAGE>  # Replace <SPARK_IMAGE> with your Spark base image.

FROM ${SPARK_IMAGE}

# Add dependency for Hadoop Aliyun OSS support
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aliyun/3.3.4/hadoop-aliyun-3.3.4.jar ${SPARK_HOME}/jars
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/com/aliyun/oss/aliyun-sdk-oss/3.17.4/aliyun-sdk-oss-3.17.4.jar ${SPARK_HOME}/jars
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/org/jdom/jdom2/2.0.6.1/jdom2-2.0.6.1.jar ${SPARK_HOME}/jars

# Add dependency for Celeborn
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/org/apache/celeborn/celeborn-client-spark-3-shaded_2.12/0.5.1/celeborn-client-spark-3-shaded_2.12-0.5.1.jar ${SPARK_HOME}/jars

4. Adım: Test verilerini OSS üzerine yükleme

Test verilerini hazırlamak ve OSS üzerine yüklemek için bkz. Step 1: Prepare test data and upload it to OSS.

5. Adım: Bir OSS Secret oluşturma

OSS access credentials için bir Secret oluşturmak üzere bkz. Step 3: Create a Secret to store OSS access credentials.

6. Adım: Örnek bir Spark işi gönderme

Aşağıdaki içeriğe sahip spark-pagerank.yaml adlı bir SparkApplication bildirim dosyası oluşturun. <SPARK_IMAGE> değerini 3. Adım: Bir Spark container image oluşturma bölümündeki görüntünüzle, <OSS_BUCKET> ve <OSS_ENDPOINT> değerlerini ise kendi OSS bucket ve endpoint bilgilerinizle değiştirin. Spark yapılandırması için bkz. Celeborn documentation.

apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
  name: spark-pagerank
  namespace: default
spec:
  type: Scala
  mode: cluster
  image: <SPARK_IMAGE>                                     # The Spark image. Replace <SPARK_IMAGE> with your Spark image name.
  mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.3.jar
  mainClass: org.apache.spark.examples.SparkPageRank
  arguments:
  - oss://<OSS_BUCKET>/data/pagerank_dataset.txt           # The input test dataset. Replace <OSS_BUCKET> with your OSS bucket name.
  - "10"                                                   # The number of iterations.
  sparkVersion: 3.5.3
  hadoopConf:
    fs.AbstractFileSystem.oss.impl: org.apache.hadoop.fs.aliyun.oss.OSS
    fs.oss.impl: org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem
    fs.oss.endpoint: <OSS_ENDPOINT>                        # The OSS endpoint. For example, the internal endpoint for OSS in the China (Beijing) region is oss-cn-beijing-internal.aliyuncs.com. 
    fs.oss.credentials.provider: com.aliyun.oss.common.auth.EnvironmentVariableCredentialsProvider
  sparkConf:
    spark.shuffle.manager: org.apache.spark.shuffle.celeborn.SparkShuffleManager
    spark.serializer: org.apache.spark.serializer.KryoSerializer
    spark.celeborn.master.endpoints: celeborn-master-0.celeborn-master-svc.celeborn.svc.cluster.local,celeborn-master-1.celeborn-master-svc.celeborn.svc.cluster.local,celeborn-master-2.celeborn-master-svc.celeborn.svc.cluster.local
    spark.celeborn.client.spark.shuffle.writer: hash
    spark.celeborn.client.push.replicate.enabled: "false"
    spark.sql.adaptive.localShuffleReader.enabled: "false"
    spark.sql.adaptive.enabled: "true"
    spark.sql.adaptive.skewJoin.enabled: "true"
    spark.shuffle.sort.io.plugin.class: org.apache.spark.shuffle.celeborn.CelebornShuffleDataIO
    spark.dynamicAllocation.shuffleTracking.enabled: "false"
    spark.executor.userClassPathFirst: "false"
  driver:
    cores: 1
    coreLimit: 1200m
    memory: 512m
    serviceAccount: spark-operator-spark
    envFrom:
    - secretRef:
        name: spark-oss-secret
  executor:
    instances: 2
    cores: 1
    coreLimit: "2"
    memory: 8g
    envFrom:
    - secretRef:
        name: spark-oss-secret
  restartPolicy:
    type: Never

(İsteğe bağlı) 7. Adım: Kaynakları temizleme

Bu öğreticiyi tamamladıktan sonra ücretlerden kaçınmak için aşağıdaki kaynakları silin.

Spark işini silin:

kubectl delete sparkapplication spark-pagerank

Secret kaynağını silin:

kubectl delete secret spark-oss-secret

İlgili bilgiler