JindoRuntime, Alibaba Cloud E-MapReduce (EMR) ekibi tarafından C++ ile geliştirilen ve JindoFS için çalışan yürütme altyapısıdır. Kubernetes kümesi içinde Object Storage Service (OSS) verileri için veri seti yönetimi ve önbellekleme sağlar. Alibaba Cloud, JindoFS için bulut hizmeti düzeyinde destek sunar. Fluid, gözlemlenebilirlik, otomatik ölçeklendirme ve veri seti taşınabilirliği sunmak üzere JindoRuntime'ı yönetir ve zamanlar.
Bu konu, bir test veri setini OSS'e yüklemenizi, bir Dataset ve JindoRuntime oluşturmanızı ve bir benchmark pod'u ile önbellek hızlandırma etkisini doğrulamanızı adım adım anlatır.
Sınırlamalar
JindoRuntime, ContainerOS olmayan bir işletim sistemi üzerinde çalışan bir ACK Pro kümesi gerektirir. ack-fluid bileşeni şu anda ContainerOS'u desteklememektedir.
Daha önce açık kaynaklı Fluid yüklediyseniz, ack-fluid bileşenini dağıtmadan önce bunu kaldırın. İkisinin aynı anda çalıştırılması desteklenmez.
Ön koşullar
Başlamadan önce şunlara sahip olduğunuzdan emin olun:
Kubernetes 1.18 veya üzeri sürümü çalıştıran, ContainerOS olmayan bir işletim sistemine sahip bir ACK Pro kümesi. Bkz. ACK Pro kümesi oluşturma.
-
Kümede dağıtılmış ack-fluid bileşeni:
Cloud-native AI suite yüklü değilse, suit'i yüklerken Fluid acceleration özelliğini etkinleştirin. Bkz. Cloud-native AI suite'i dağıtma.
Cloud-native AI suite zaten yüklüyse, ACK konsolunda Cloud-native AI Suite sayfasına gidin ve ack-fluid bileşenini dağıtın.
ACK Pro kümenize bağlı bir kubectl istemcisi. Bkz. kubectl kullanarak bir kümeye bağlanma.
Etkinleştirilmiş OSS. Bkz. OSS'i etkinleştirme.
Adım 1: Verileri OSS'e yükleme
Aşağıdaki adımlarda, bir test veri setini yüklemek için Alibaba Cloud Linux 3.2104 LTS 64-bit çalıştıran bir Elastic Compute Service (ECS) örneği kullanılır. Diğer işletim sistemleri için bkz. ossutil ve ossutil 1.0.
-
Test veri setini ECS örneğinize indirin.
wget https://archive.apache.org/dist/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz ECS örneğinde ossutil'i yükleyin.
-
examplebucketadında bir OSS paketi oluşturun.ossutil64 mb oss://examplebucketBeklenen çıktı:
0.668238(s) elapsed -
Test veri setini pakete yükleyin.
ossutil64 cp spark-3.0.1-bin-hadoop2.7.tgz oss://examplebucket
Adım 2: Bir veri seti ve JindoRuntime oluşturma
JindoRuntime, OSS kimlik bilgilerini bir Kubernetes Secret'tan okur; bu nedenle Dataset'i oluşturmadan önce Secret'ı oluşturun.
-
Aşağıdaki içeriğe sahip
mySecret.yamladlı bir dosya oluşturun.xxxyerine, 1. Adımda oluşturduğunuz OSS paketinde okuma erişimine sahip olan AccessKey ID ve AccessKey secret değerlerini yazın.apiVersion: v1 kind: Secret metadata: name: mysecret stringData: fs.oss.accessKeyId: xxx fs.oss.accessKeySecret: xxx -
Secret'ı uygulayın. Kubernetes, depolanan değerlerin düz metin olarak açığa çıkmaması için bunları şifreler.
kubectl create -f mySecret.yaml -
Aşağıdaki içeriğe sahip
resource.yamladlı bir dosya oluşturun. Bu dosya, OSS verilerinize işaret eden Dataset'i ve önbellekleme kümesini başlatan JindoRuntime'ı tanımlar.apiVersion: data.fluid.io/v1alpha1 kind: Dataset metadata: name: hadoop spec: mounts: - mountPoint: oss://<oss_bucket>/<bucket_dir> options: fs.oss.endpoint: <oss_endpoint> name: hadoop path: "/" encryptOptions: - name: fs.oss.accessKeyId valueFrom: secretKeyRef: name: mysecret key: fs.oss.accessKeyId - name: fs.oss.accessKeySecret valueFrom: secretKeyRef: name: mysecret key: fs.oss.accessKeySecret --- apiVersion: data.fluid.io/v1alpha1 kind: JindoRuntime metadata: name: hadoop spec: replicas: 2 tieredstore: levels: - mediumtype: MEM path: /dev/shm volumeType: emptyDir quota: 2Gi high: "0.99" low: "0.95"Aşağıdaki tabloda temel parametreler açıklanmaktadır.
Parametre
Açıklama
Gerekli
VarsayılanmountPointoss://<oss_bucket>/<bucket_dir>biçimindeki alttaki dosya sistemi (UFS) yolu. OSS uç noktası buraya dahil edilmez.
Evet
—fs.oss.endpoint
OSS paketinin genel veya dahili uç noktası. Bkz. Bölgeler ve uç noktalar.
Evet
—replicas
JindoFS önbellekleme kümesindeki worker sayısı.
Evet
—mediumtype
Önbellek depolama ortamı. Geçerli değerler:HDD,SSD,MEM.
Evet
—path
Worker düğümündeki yerel depolama yolu. Yalnızca tek bir yol izin verilir.mediumtypedeğeriMEMolduğunda günlükler gibi verileri depolamak için gereklidir.
Evet
—quota
Worker başına maksimum önbellek boyutu.
Evet
—high
Önbellek tahliye eşiği (yüksek su işareti). Kullanım bu oranı aştığında tahliye başlar.
Hayır
—low
Önbellek saklama eşiği (düşük su işareti). Kullanım bu orana düştüğünde tahliye durur.
Hayır
— -
Dataset ve JindoRuntime'ı oluşturun.
kubectl create -f resource.yaml -
Dataset'in bağlandığını doğrulayın.
kubectl get dataset hadoopBeklenen çıktı:
NAME UFS TOTAL SIZE CACHED CACHE CAPACITY CACHED PERCENTAGE PHASE AGE hadoop 210MiB 0.00B 4.00GiB 0.0% Bound 1h -
JindoRuntime'ın hazır olduğunu doğrulayın.
kubectl get jindoruntime hadoopBeklenen çıktı:
NAME MASTER PHASE WORKER PHASE FUSE PHASE AGE hadoop Ready Ready Ready 4m45s -
Kalıcı birim (PV) ve kalıcı birim talebinin (PVC) oluşturulduğunu doğrulayın.
kubectl get pv,pvcBeklenen çıktı:
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE persistentvolume/default-hadoop 100Pi ROX Retain Bound default/hadoop 52m NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE persistentvolumeclaim/hadoop Bound default-hadoop 100Pi ROX 52m
Tüm aşamalar Ready durumunu gösterdiğinde ve PVC durumu Bound olduğunda Dataset ve JindoRuntime hazırdır.
Adım 3: Veri hızlandırmayı test etme
Dataset PVC'sini bağlayan bir pod dağıtın ve veriler önbelleğe alınmadan önceki ve sonraki dosya okuma sürelerini karşılaştırın.
-
Aşağıdaki içeriğe sahip
app.yamladlı bir dosya oluşturun.apiVersion: v1 kind: Pod metadata: name: demo-app spec: containers: - name: demo image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6 volumeMounts: - mountPath: /data name: hadoop volumes: - name: hadoop persistentVolumeClaim: claimName: hadoop -
Pod'u dağıtın.
kubectl create -f app.yaml -
Pod'da bir kabuk açın ve dosya boyutunu kontrol edin.
kubectl exec -it demo-app -- bash du -sh /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgzBeklenen çıktı:
210M /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz -
İlk okuma süresini ölçün. Bu erişim, önbellek olmadan doğrudan OSS üzerinden gelir.
time cp /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz /dev/nullBeklenen çıktı:
real 0m18.386s user 0m0.002s sys 0m0.105sDosyanın okunması yaklaşık 18 saniye sürer.
-
Okuma işleminden sonra önbelleğe alınan verileri kontrol edin.
kubectl get dataset hadoopBeklenen çıktı:
NAME UFS TOTAL SIZE CACHED CACHE CAPACITY CACHED PERCENTAGE PHASE AGE hadoop 210.00MiB 210.00MiB 4.00GiB 100.0% Bound 1hTam 210 MiB artık yerel depolamada önbelleğe alınmıştır.
-
Bir sonraki okumanın bellekten değil JindoFS önbelleğinden gelmesi için işletim sistemi sayfa önbelleğini temizlemek amacıyla pod'u silin ve yeniden oluşturun.
kubectl delete -f app.yaml && kubectl create -f app.yaml -
Veriler önbellekten sunulurken okuma süresini tekrar ölçün.
kubectl exec -it demo-app -- bash time cp /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz /dev/nullBeklenen çıktı:
real 0m0.048s user 0m0.001s sys 0m0.046sJindoFS önbelleği ile aynı dosya okuma işlemi 48 milisaniyede tamamlanır; bu, doğrudan OSS erişiminden 300 kat daha hızlıdır.
(İsteğe bağlı) Temizleme
Veri hızlandırmaya artık ihtiyaç duyulmadığında pod'u, Dataset'i ve JindoRuntime'ı silin.
Pod'u silin:
kubectl delete pod demo-app
Dataset ve JindoRuntime'ı silin:
kubectl delete dataset hadoop
Sonraki adımlar
JindoFS ile hızlandırılmış verileri kullanan makine öğrenimi eğitim işlerini göndermek için cloud-native AI suite belgelerine bakın.
Diğer önbellek depolama seçeneklerini (
HDD,SSD) keşfetmek içinresource.yamldosyasındakimediumtypevepathalanlarını güncelleyin.