Celeborn bir remote shuffle service (RSS) olarak ara shuffle data ve spill data verilerini yönetir. Spark işlerinde RSS özelliğini kullanmak üzere bu hizmeti bir Container Service for Kubernetes (ACK) kümesinde dağıtın.
Avantajlar
MapReduce, Spark ve Flink gibi büyük veri çerçeveleri için Celeborn, RSS olarak aşağıdaki avantajları sunar:
İtme tabanlı karıştırma yazma: Eşleyici düğümler yerel disk depolamayı atlar; bu durum,
storage and compute separationmimarisine sahip cloud-native yapılar için idealdir.Birleştirme tabanlı karıştırma okuma: Veriler indirgeyiciler yerine
workerdüğümlerinde birleştirilir; bu sayede rastgele küçük dosya G/Ç işlemi ve küçük veri transferlerinden kaynaklanan ağ ek yükü önlenir.high availability: Celebornmasterdüğümleri,high availabilityve kararlılık sağlamak için Raft protokolünü kullanır.fault tolerance:dual replicasuygulaması, getirme hatası olasılığını önemli ölçüde azaltır.
Ön koşullar
ack-spark-operator eklentisi dağıtılmış olmalıdır. Talimatlar için bkz. Deploy the ack-spark-operator add-on.
Bir kubectl istemcisi ACK kümesine bağlı olmalıdır. Daha fazla bilgi için bkz. Connect to an ACK cluster using kubectl.
Bir OSS paketi oluşturulmuş olmalıdır. Daha fazla bilgi için bkz. Create a bucket.
-
ossutil aracı yüklenmiş ve yapılandırılmış olmalıdır. Daha fazla bilgi için bkz. Install ossutil ve Configure ossutil.
ossutil komutu hakkında daha fazla bilgi için bkz. ossutil command reference.
Aşağıdaki küme ortamına göre
node poolsoluşturulmuş ve yapılandırılmış olmalıdır. Bkz. Create and manage a node pool.
Küme ortamı
Bu örnekte aşağıdaki ACK küme yapılandırması kullanılır:
-
masterişlemi, aşağıdaki yapılandırmaya sahip celeborn-masternode poolüzerine dağıtılır:node pooladı: celeborn-masterDüğüm sayısı: 3
ECS instance type: g8i.2xlargelabel: celeborn.apache.org/role=mastertaint: celeborn.apache.org/role=master:NoScheduleDüğüm başına veri depolama alanı: /mnt/celeborn_ratis (1024 GB)
-
workerişlemi, aşağıdaki yapılandırmaya sahip celeborn-workernode poolüzerine dağıtılır:node pooladı: celeborn-workerDüğüm sayısı: 5
ECS instance type: g8i.4xlargelabel: celeborn.apache.org/role=workertaint: celeborn.apache.org/role=worker:NoSchedule-
Düğüm başına veri depolama alanı:
/mnt/disk1 (1024 GB)
/mnt/disk2 (1024 GB)
/mnt/disk3 (1024 GB)
/mnt/disk4 (1024 GB)
Yordama genel bakış
Bir ACK kümesinde Celeborn dağıtmak ve örnek bir Spark işi çalıştırmak için şu adımları tamamlayın.
-
Bir Celeborn
container imageoluşturunBir Celeborn
releasepaketini indirin, bircontainer imageoluşturun ve ack-celeborn bileşenini dağıtmak üzere bu görüntüyüimage repositorykonumuna gönderin. -
ack-celeborn bileşenini dağıtın
ACKMarketplaceüzerindeki ack-celebornHelm chartkullanarak, oluşturduğunuzcontainer imageile bir Celeborn kümesi dağıtın. -
Bir
Sparkcontainer imageoluşturunCeleborn ve
OSSbağımlılıklarını içeren birSparkcontainer imageoluşturun ve bunuimage repositorykonumuna gönderin. -
Test verilerini hazırlayın ve
OSSüzerine yükleyinPageRank işi için bir test veri kümesi oluşturun ve bunu
OSSkonumuna yükleyin. -
Örnek bir
Sparkişi çalıştırınÖrnek bir PageRank işi çalıştırın ve RSS olarak Celeborn kullanacak şekilde yapılandırın.
-
(İsteğe bağlı) Kaynakları temizleyin
Öğreticiyi tamamladıktan sonra ücretlerden kaçınmak için
Sparkişini ve diğer gereksiz kaynakları silin.
1. Adım: Bir Celeborn container image oluşturma
Gerekli release paketini (örneğin, sürüm 0.5.2) official Celeborn website adresinden indirin. <IMAGE-REGISTRY> ve <IMAGE-REPOSITORY> değerlerini kendi görüntü kayıt defteriniz ve görüntü adınızla değiştirin. Hedef mimariyi ayarlamak için PLATFORMS değerini değiştirebilirsiniz. Bkz. Deploy Celeborn on Kubernetes. docker buildx komutu Docker 19.03 veya sonraki bir sürümü gerektirir. Bkz. Install and use Docker and Docker Compose.
CELEBORN_VERSION=0.5.2 # The Celeborn version.
IMAGE_REGISTRY=<IMAGE-REGISTRY> # The image registry, for example, docker.io.
IMAGE_REPOSITORY=<IMAGE-REPOSITORY> # The image name, for example, apache/celeborn.
IMAGE_TAG=${CELEBORN_VERSION} # The image tag. This example uses the Celeborn version as the tag.
PLATFORMS=linux/amd64 # The image platform architecture. To support multiple platforms, separate them with commas, for example, linux/amd64,linux/arm64.
# Download the release package.
wget https://downloads.apache.org/celeborn/celeborn-${CELEBORN_VERSION}/apache-celeborn-${CELEBORN_VERSION}-bin.tgz
# Extract the package.
tar -zxvf apache-celeborn-${CELEBORN_VERSION}-bin.tgz
# Go to the working directory.
cd apache-celeborn-${CELEBORN_VERSION}-bin
# Use Docker Buildx to build the image and push it to the image repository.
docker buildx build \
--output=type=registry \
--push \
--platform=${PLATFORMS} \
--tag=${IMAGE_REGISTRY}/${IMAGE_REPOSITORY}:${IMAGE_TAG} \
-f docker/Dockerfile \
.
2. Adım: ack-celeborn bileşenini dağıtma
ACK konsolu üzerinde oturum açın. Sol gezinme bölmesinde seçeneklerini tıklayın.
Marketplace sayfasında App Catalog sekmesini tıklayın, ack-celeborn öğesini seçin ve ack-celeborn sayfasında Deploy öğesini tıklayın.
Create panelinde küme ve ad alanını seçin, ardından Next öğesini tıklayın.
-
Parameters sayfasında parametreleri yapılandırın ve ardından OK öğesini tıklayın.
image: # Replace this with the address of the Celeborn image that you built in Step 1. registry: docker.io # The image registry. repository: apache/celeborn # The image name. tag: 0.5.2 # The image tag. celeborn: celeborn.client.push.stageEnd.timeout: 120s celeborn.master.ha.enabled: true celeborn.master.ha.ratis.raft.server.storage.dir: /mnt/celeborn_ratis celeborn.master.heartbeat.application.timeout: 300s celeborn.master.heartbeat.worker.timeout: 120s celeborn.master.http.port: 9098 celeborn.metrics.enabled: true celeborn.metrics.prometheus.path: /metrics/prometheus celeborn.rpc.dispatcher.numThreads: 4 celeborn.rpc.io.clientThreads: 64 celeborn.rpc.io.numConnectionsPerPeer: 2 celeborn.rpc.io.serverThreads: 64 celeborn.shuffle.chunk.size: 8m celeborn.worker.fetch.io.threads: 32 celeborn.worker.flusher.buffer.size: 256K celeborn.worker.http.port: 9096 celeborn.worker.monitor.disk.enabled: false celeborn.worker.push.io.threads: 32 celeborn.worker.storage.dirs: /mnt/disk1:disktype=SSD:capacity=1024Gi,/mnt/disk2:disktype=SSD:capacity=1024Gi,/mnt/disk3:disktype=SSD:capacity=1024Gi,/mnt/disk4:disktype=SSD:capacity=1024Gi master: replicas: 3 env: - name: CELEBORN_MASTER_MEMORY value: 28g - name: CELEBORN_MASTER_JAVA_OPTS value: -XX:-PrintGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -Xloggc:gc-master.out -Dio.netty.leakDetectionLevel=advanced - name: CELEBORN_NO_DAEMONIZE value: "1" - name: TZ value: Asia/Shanghai volumeMounts: - name: celeborn-ratis mountPath: /mnt/celeborn_ratis resources: requests: cpu: 7 memory: 28Gi limits: cpu: 7 memory: 28Gi volumes: - name: celeborn-ratis hostPath: path: /mnt/celeborn_ratis type: DirectoryOrCreate nodeSelector: celeborn.apache.org/role: master tolerations: - key: celeborn.apache.org/role operator: Equal value: master effect: NoSchedule worker: replicas: 5 env: - name: CELEBORN_WORKER_MEMORY value: 28g - name: CELEBORN_WORKER_OFFHEAP_MEMORY value: 28g - name: CELEBORN_WORKER_JAVA_OPTS value: -XX:-PrintGC -XX:+PrintGCDetails -XX:+PrintGCTimeStamps -XX:+PrintGCDateStamps -Xloggc:gc-worker.out -Dio.netty.leakDetectionLevel=advanced - name: CELEBORN_NO_DAEMONIZE value: "1" - name: TZ value: Asia/Shanghai volumeMounts: - name: disk1 mountPath: /mnt/disk1 - name: disk2 mountPath: /mnt/disk2 - name: disk3 mountPath: /mnt/disk3 - name: disk4 mountPath: /mnt/disk4 resources: requests: cpu: 14 memory: 56Gi limits: cpu: 14 memory: 56Gi volumes: - name: disk1 hostPath: path: /mnt/disk1 type: DirectoryOrCreate - name: disk2 hostPath: path: /mnt/disk2 type: DirectoryOrCreate - name: disk3 hostPath: path: /mnt/disk3 type: DirectoryOrCreate - name: disk4 hostPath: path: /mnt/disk4 type: DirectoryOrCreate nodeSelector: celeborn.apache.org/role: worker tolerations: - key: celeborn.apache.org/role operator: Equal value: worker effect: NoScheduleAşağıdaki tabloda anahtar parametreler açıklanmaktadır. Parametrelerin tam listesi için ack-celeborn sayfasındaki ConfigMaps bölümüne bakın.
-
Celeborn dağıtımının tamamlanmasını bekleyin. Pod sorunlarıyla karşılaşırsanız bkz. Pod troubleshooting.
kubectl get -n celeborn statefulsetBeklenen çıktı:
NAME READY AGE celeborn-master 3/3 68s celeborn-worker 5/5 68s
3. Adım: Bir Spark container image oluşturma
Bu örnekte Spark 3.5.3 kullanılır. Aşağıdaki içeriğe sahip bir Dockerfile dosyası oluşturarak bir container image oluşturun ve bunu image repository konumuna gönderin.
ARG SPARK_IMAGE=<SPARK_IMAGE> # Replace <SPARK_IMAGE> with your Spark base image.
FROM ${SPARK_IMAGE}
# Add dependency for Hadoop Aliyun OSS support
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/org/apache/hadoop/hadoop-aliyun/3.3.4/hadoop-aliyun-3.3.4.jar ${SPARK_HOME}/jars
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/com/aliyun/oss/aliyun-sdk-oss/3.17.4/aliyun-sdk-oss-3.17.4.jar ${SPARK_HOME}/jars
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/org/jdom/jdom2/2.0.6.1/jdom2-2.0.6.1.jar ${SPARK_HOME}/jars
# Add dependency for Celeborn
ADD --chown=spark:spark --chmod=644 https://repo1.maven.org/maven2/org/apache/celeborn/celeborn-client-spark-3-shaded_2.12/0.5.1/celeborn-client-spark-3-shaded_2.12-0.5.1.jar ${SPARK_HOME}/jars
4. Adım: Test verilerini OSS üzerine yükleme
Test verilerini hazırlamak ve OSS üzerine yüklemek için bkz. Step 1: Prepare test data and upload it to OSS.
5. Adım: Bir OSS Secret oluşturma
OSS access credentials için bir Secret oluşturmak üzere bkz. Step 3: Create a Secret to store OSS access credentials.
6. Adım: Örnek bir Spark işi gönderme
Aşağıdaki içeriğe sahip spark-pagerank.yaml adlı bir SparkApplication bildirim dosyası oluşturun. <SPARK_IMAGE> değerini 3. Adım: Bir Spark container image oluşturma bölümündeki görüntünüzle, <OSS_BUCKET> ve <OSS_ENDPOINT> değerlerini ise kendi OSS bucket ve endpoint bilgilerinizle değiştirin. Spark yapılandırması için bkz. Celeborn documentation.
apiVersion: sparkoperator.k8s.io/v1beta2
kind: SparkApplication
metadata:
name: spark-pagerank
namespace: default
spec:
type: Scala
mode: cluster
image: <SPARK_IMAGE> # The Spark image. Replace <SPARK_IMAGE> with your Spark image name.
mainApplicationFile: local:///opt/spark/examples/jars/spark-examples_2.12-3.5.3.jar
mainClass: org.apache.spark.examples.SparkPageRank
arguments:
- oss://<OSS_BUCKET>/data/pagerank_dataset.txt # The input test dataset. Replace <OSS_BUCKET> with your OSS bucket name.
- "10" # The number of iterations.
sparkVersion: 3.5.3
hadoopConf:
fs.AbstractFileSystem.oss.impl: org.apache.hadoop.fs.aliyun.oss.OSS
fs.oss.impl: org.apache.hadoop.fs.aliyun.oss.AliyunOSSFileSystem
fs.oss.endpoint: <OSS_ENDPOINT> # The OSS endpoint. For example, the internal endpoint for OSS in the China (Beijing) region is oss-cn-beijing-internal.aliyuncs.com.
fs.oss.credentials.provider: com.aliyun.oss.common.auth.EnvironmentVariableCredentialsProvider
sparkConf:
spark.shuffle.manager: org.apache.spark.shuffle.celeborn.SparkShuffleManager
spark.serializer: org.apache.spark.serializer.KryoSerializer
spark.celeborn.master.endpoints: celeborn-master-0.celeborn-master-svc.celeborn.svc.cluster.local,celeborn-master-1.celeborn-master-svc.celeborn.svc.cluster.local,celeborn-master-2.celeborn-master-svc.celeborn.svc.cluster.local
spark.celeborn.client.spark.shuffle.writer: hash
spark.celeborn.client.push.replicate.enabled: "false"
spark.sql.adaptive.localShuffleReader.enabled: "false"
spark.sql.adaptive.enabled: "true"
spark.sql.adaptive.skewJoin.enabled: "true"
spark.shuffle.sort.io.plugin.class: org.apache.spark.shuffle.celeborn.CelebornShuffleDataIO
spark.dynamicAllocation.shuffleTracking.enabled: "false"
spark.executor.userClassPathFirst: "false"
driver:
cores: 1
coreLimit: 1200m
memory: 512m
serviceAccount: spark-operator-spark
envFrom:
- secretRef:
name: spark-oss-secret
executor:
instances: 2
cores: 1
coreLimit: "2"
memory: 8g
envFrom:
- secretRef:
name: spark-oss-secret
restartPolicy:
type: Never
(İsteğe bağlı) 7. Adım: Kaynakları temizleme
Bu öğreticiyi tamamladıktan sonra ücretlerden kaçınmak için aşağıdaki kaynakları silin.
Spark işini silin:
kubectl delete sparkapplication spark-pagerank
Secret kaynağını silin:
kubectl delete secret spark-oss-secret
İlgili bilgiler
Spark Operator ile
Sparkişleri göndermek için bkz. Use Spark Operator to run Spark jobs.Sparkiş geçmişini görüntülemek için bkz. Use Spark History Server to view information about Spark jobs.