Fluid, cloud-native senaryolardaki veri yoğun uygulamalar için açık kaynaklı, Kubernetes yerel dağıtılmış veri kümesi düzenleyicisi ve hızlandırıcısıdır. Fluid, EFCRuntime'ları yöneterek ve zamanlayarak veri kümeleri için gözlemlenebilirlik, ölçeklenebilirlik ve erişim hızlandırma sağlar. Bu konu, File Storage NAS (NAS) veya CPFS dosya sistemlerine erişimi hızlandırmak için Fluid EFCRuntime'ın nasıl kullanılacağını açıklar.
veya CPFS
Önkoşullar
Bir Elastic Compute Service (ECS) örneğinin işletim sistemi olarak Alibaba Cloud Linux 2 kullanılır ve işletim sisteminin kernel sürümü 4.19.91-23 veya üzeridir.
Kubernetes 1.18 veya sonraki bir sürümü çalıştıran bir Container Service for Kubernetes (ACK) Pro kümesi oluşturulmuştur. Daha fazla bilgi için bkz. ACK Pro kümesi oluşturma.
-
NAS etkinleştirilmiştir ve oluşturulan ACK Pro kümesindeki düğümler bir Capacity NAS dosya sistemi veya Performance NAS dosya sistemini bağlayıp erişebilir.
NotAI eğitim senaryolarında, eğitim işlerinin gerektirdiği aktarım hızına göre NAS dosya sistemi türlerini seçmenizi öneririz. Daha fazla bilgi için bkz. Seçim kılavuzu
Bir kubectl istemcisi ACK Pro kümesine bağlıdır. Daha fazla bilgi için bkz. kubectl kullanarak bir ACK kümesine bağlanma.
EFC'ye Genel Bakış
Elastic File Client (EFC), NAS teknik ekibi tarafından geliştirilen FUSE tabanlı bir POSIX istemcisidir. EFC'yi kernel modundaki NFS istemcisinin yerine kullanabilirsiniz. EFC, okuma hızlarını artırmak için çoklu bağlantılar üzerinden veri erişimi, meta verileri önbelleğe alma ve verileri dağıtık şekilde önbelleğe alma imkanı sunar. EFC ayrıca Managed Service for Prometheus tabanlı performans izlemeyi destekler. Kernel modundaki NFS V3 ve V4.x istemcileri ile diğer FUSE tabanlı istemcilere kıyasla EFC'nin aşağıdaki avantajları vardır:
Güçlü anlamsal tutarlılık: EFC, dosyalar ve dizinler için güçlü tutarlılık sağlamak üzere dağıtık kilitleme mekanizmasını kullanır. Bir dosyaya veri yazdıktan sonra, bu veri diğer istemciler tarafından anında okunabilir. Bir dosya oluşturduktan sonra, bu dosyaya diğer istemciler anında erişebilir. Bu avantaj, birden çok düğüm arasında verileri senkronize etmenize olanak tanır.
Tek tek sunucularda önbellek okuma ve yazma: EFC, FUSE'un önbellek mantığını optimize eder ve küçük dosyalardaki okuma ve yazma işlemlerini hızlandırmak için bir düğümde az miktarda bellek kaplar. EFC, geleneksel NFS istemcilerine kıyasla önbellek okuma ve yazma performansını %50'den fazla artırır.
Dağıtık salt okunur önbellekler: EFC, dağıtık salt okunur önbellekleri destekler ve artan hesaplama talebini karşılamak için otomatik olarak genişleyebilen bir önbellek havuzu oluşturmak üzere birden çok düğümün belleğini kullanır.
Küçük dosya ön getirme: EFC, sık erişilen dizinlerdeki sıcak verileri önceden getirerek veri getirmeyle ilişkili yükü azaltır.
Sıcak güncellemeler ve yük devretme yetenekleri: EFC, hizmetlerinizi kesintiye uğratmadan saniyeler içinde yük devretme yapabilir ve istemciler için sıcak güncellemeler uygulayabilir.
Fluid EFCRuntime kullanarak NAS dosya sistemlerine erişimi hızlandırma
Fluid, EFC'ye bağlanmak için Fluid EFCRuntime ile ilgili özel Kubernetes kaynaklarını kullanır. Bu, veri kümesi gözlemlenebilirliği ve ölçeklenebilirliğinin uygulanmasına yardımcı olur.
Sınırlamalar
Fluid EFCRuntime için aşağıdaki sınırlamalar geçerlidir:
Fluid EFCRuntime, DataLoad önbellek ön getirmeyi desteklemez. Fluid EFCRuntime, veriler yalnızca ilk kez erişildiğinde önbelleğe alır.
Fluid EFCRuntime, veri kümelerinin önbellek durumunu göstermez.
Fluid EFCRuntime yalnızca aşağıdaki bölgelerde desteklenir: Çin (Zhangjiakou), Çin (Pekin), Çin (Guangzhou), Çin (Shenzhen) ve Çin (Şanghay).
Fluid EFCRuntime'ın çalışma yöntemi
Aşağıdaki şekil, Fluid EFCRuntime'ın veri erişimini hızlandırmak için NAS verilerini yerel depolamaya nasıl önbelleğe aldığını göstermektedir. Aşağıdaki bölümde Fluid EFCRuntime'ın çalışma yöntemi açıklanmaktadır:
Kaynak NAS dosya sistemleri hakkında bilgi belirtmek için veri kümeleri ve EFCRuntime'lar için özel kaynak tanımları (CRD) oluşturabilirsiniz.
Fluid denetleyicileri, kaynak dosya sistemleri hakkındaki bilgilere dayanarak EFC Cache Worker ve EFC FUSE bileşenlerini dağıtır.
Bir pod oluşturduğunuzda, kalıcı birim talebi (PVC) kullanarak EFC FUSE istemcisi tarafından gösterilen dosya sisteminin bağlama hedefini poda bağlayabilirsiniz.
Bağlanmış bir NAS dosya sistemine eriştiğinizde, EFC FUSE istemcisi isteği EFC Cache Worker'a iletir. EFC Cache Worker, verilerin yerel depolamada önbelleğe alınıp alınmadığını kontrol eder. Veriler yerel depolamada önbelleğe alınmışsa, doğrudan önbelleğe erişebilirsiniz. Veriler yerel depolamada önbelleğe alınmamışsa, EFC Cache Worker verileri NAS dosya sisteminden okur ve yerel depolamaya önbelleğe alır. Ardından, yerel depolamadaki önbelleğe erişebilirsiniz.
Veri Kümesi: Fluid tarafından tanımlanan bir CRD. Veri kümesi, üst katman hesaplama motorları tarafından kullanılan mantıksal olarak ilişkili veri koleksiyonudur.
-
EFCRuntime: Veri kümelerine erişimi hızlandıran bir çalışma zamanıdır. EFCRuntime'lar, önbellekleme motoru olarak EFC'yi kullanır. EFC önbellekleme motorları, EFC Cache Worker ve EFC FUSE bileşenlerini içerir.
EFC Cache Worker: Tutarlı karma tabanlı önbelleğe almayı etkinleştiren sunucu tarafı bir bileşendir. Bu bileşeni ihtiyaçlarınıza göre devre dışı bırakabilirsiniz. Bu bileşeni devre dışı bıraktığınızda, dağıtık salt okunur önbellekler devre dışı kalır. Diğer özellikler etkilenmez.
EFC FUSE: POSIX protokolü üzerinden veri erişim arayüzlerini gösteren EFC'nin istemci tarafı bileşenidir.
Yordam
1. Adım: ack-fluid yükleyin
Cloud-native AI paketini ve ack-fluid 0.9.10 veya sonraki bir sürümünü yükleyin.
Açık kaynaklı Fluid'u zaten yüklediyseniz, ack-fluid bileşenini yüklemeden önce Fluid'u kaldırmanız gerekir.
Cloud-native AI paketi yüklü değilken ack-fluid yükleyin
Cloud-native AI paketini yüklerken Fluid data acceleration özelliğini etkinleştirebilirsiniz. Daha fazla bilgi için bkz. Cloud-native AI paketini dağıtma.
Cloud-native AI paketi yüklüyken ack-fluid yükleyin
ACK konsolu adresinde oturum açın. Sol gezinme bölmesinde Clusters öğesini tıklayın.
Clusters sayfasında kümenizin adını tıklayın. Sol gezinme bölmesinde öğelerini tıklayın.
Cloud-native AI Suite sayfasında ack-fluid öğesini bulun ve Actions sütununda Deploy seçeneğini tıklayın.
Install Component mesajında Confirm seçeneğini tıklayın.
ack-fluid'i 0.9.10 veya sonraki bir sürüme güncelleyin
ACK konsolu adresinde oturum açın. Sol gezinme bölmesinde Clusters öğesini tıklayın.
Clusters sayfasında kümenizin adını tıklayın. Sol gezinme bölmesinde öğelerini tıklayın.
Cloud-native AI Suite sayfasında ack-fluid öğesini bulun ve Actions sütununda Upgrade seçeneğini tıklayın.
Upgrade Component mesajında Confirm seçeneğini tıklayın.
2. Adım: NAS dosya sistemine veri yazın
NAS dosya sisteminde zaten veri depolanıyorsa bu adımı atlayabilirsiniz.
NAS dosya sistemini bir ECS örneğine bağlayın. Daha fazla bilgi için bkz. NFS dosya sistemini tek tıkla bağlama.
-
CPFS dosya sisteminin bağlama hedefini sorgulamak için aşağıdaki komutu çalıştırın:
findmnt /mntBeklenen çıktı:
TARGET SOURCE FSTYPE OPTIONS /mnt/nfs xxxxxxxxxxx-xxxxx.cn-beijing.nas.aliyuncs.com:/ nfs rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,nolock,no -
NAS dosya sisteminin bağlama dizininde 10 GB boyutunda bir dosya oluşturmak için aşağıdaki komutu çalıştırın:
dd if=/dev/zero of=/mnt/nfs/allzero-demo count=1024 bs=10MBeklenen çıktı:
1024+0 records in 1024+0 records out 10737418240 bytes (11 GB) copied, 50.9437 s, 211 MB/s
3. Adım: Bir veri kümesi ve bir EFCRuntime oluşturun
-
dataset.yaml adlı bir dosya oluşturun ve aşağıdaki içeriği dosyaya kopyalayın:
NAS dosya sistemi için örnek şablon
apiVersion: data.fluid.io/v1alpha1 kind: Dataset metadata: name: efc-demo spec: mounts: - mountPoint: "nfs://<nas_url>:<nas_dir>" name: efc path: "/" --- apiVersion: data.fluid.io/v1alpha1 kind: EFCRuntime metadata: name: efc-demo spec: replicas: 3 master: networkMode: ContainerNetwork worker: networkMode: ContainerNetwork fuse: networkMode: ContainerNetwork tieredstore: levels: - mediumtype: MEM path: /dev/shm quota: 15Gidataset.yaml dosyası, bir veri kümesi ve bir EFCRuntime oluşturmak için kullanılır.
Veri kümesi, NAS dosya sistemi URL'si ve bağlamak istediğiniz dizin gibi NAS dosya sistemi bilgilerini belirtir.
EFCRuntime, önbellekleme hizmetleri sağlamak için bir EFC önbellekleme sistemi başlatır. EFC önbellekleme sisteminin worker bileşeni için yinelenen pod sayısını ve her bir worker bileşeninin önbellek kapasitesini belirtebilirsiniz.
Parametre
Açıklama
mountPoint
Bir NAS dosya sistemi kullanıyorsanız, değeri
nfs://<nas_url>:<nas_dir>formatında ayarlayın.nas_url: NAS dosya sisteminin URL'si.
NAS dosya sisteminin URL'sini almak için aşağıdaki işlemleri gerçekleştirin: NAS konsolu adresinde oturum açın. Sol gezinme bölmesinde File System > File System List seçeneğini belirleyin. File System List sayfasında, bağlamak istediğiniz NAS dosya sistemini bulun ve İşlemler sütununda Manage seçeneğini tıklayın. Açılan sayfada Mount Targets seçeneğini tıklayın. Daha fazla bilgi için bkz. Bağlama noktalarını yönetme.
nas_dir: Bağlamak istediğiniz alt dizin. Çoğu durumda, değeri kök dizine ayarlayabilirsiniz. Örneğin,
efc://xxxxxxxxxxx-xxxxx.cn-beijing.nas.aliyuncs.com:/değeri, bir NAS dosya sisteminin kök dizinini belirtir.
replicas
EFC önbellekleme sisteminin worker bileşeni için oluşturulan yinelenen pod sayısı. Değeri, hesaplama düğümünün bellek boyutuna ve veri kümesinin boyutuna göre ayarlayabilirsiniz. quota değeri ile replicas değerinin çarpımının veri kümesinin boyutundan büyük olduğundan emin olmanızı öneririz.
networkMode
Geçerli değerler: ContainerNetwork ve HostNetwork. ACK ortamında, değeri ContainerNetwork olarak ayarlamanızı öneririz. Bu ağ modu, ağ performansından ödün vermez.
mediumtype
Önbellek türü. Geçerli değerler: HDD, SSD ve MEM. MEM değeri belleği ifade eder. AI eğitim senaryolarında, bu parametreyi MEM olarak ayarlamanızı öneririz. Bu parametreyi MEM olarak ayarlarsanız, path parametresini tmpfs gibi bir bellek dosya sistemine ayarlamanız gerekir.
path
EFC önbellekleme sisteminin worker bileşenlerinin podlarındaki önbellek dizini. Bu parametrenin değerini /dev/shm olarak ayarlamanızı öneririz.
quota
Her bir worker bileşeninin önbellek kapasitesi. Değeri, hesaplama düğümünün bellek boyutuna ve veri kümesinin boyutuna göre ayarlayabilirsiniz. quota değeri ile replicas değerinin çarpımının veri kümesinin boyutundan büyük olduğundan emin olmanızı öneririz.
-
Bir EFCRuntime ve bir veri kümesi oluşturmak için aşağıdaki komutu çalıştırın:
kubectl create -f dataset.yaml -
Veri Kümesinin dağıtılıp dağıtılmadığını kontrol etmek için aşağıdaki komutu çalıştırın:
kubectl get dataset efc-demoBeklenen çıktı:
NAME UFS TOTAL SIZE CACHED CACHE CAPACITY CACHED PERCENTAGE PHASE AGE efc-demo Bound 24mVeri kümesi Bound durumundadır. Bu, EFC önbellekleme sisteminin kümede beklendiği gibi çalıştığını ve uygulama podlarının veri kümesi tarafından sağlanan verilere erişebileceğini gösterir.
-
EFCRuntime'ın dağıtılıp dağıtılmadığını kontrol etmek için aşağıdaki komutu çalıştırın:
kubectl get efcruntimeBeklenen çıktı:
NAME MASTER PHASE WORKER PHASE FUSE PHASE AGE efc-demo Ready Ready Ready 27mSonuçlar, master, worker ve FUSE bileşenlerinin Ready durumunda olduğunu göstermektedir.
-
Kalıcı birimin (PV) ve PVC'nin oluşturulup oluşturulmadığını kontrol etmek için aşağıdaki komutları çalıştırın:
Veri kümesi ve EFC önbellekleme sistemi hazır olduğunda, Fluid otomatik olarak bir PVC ve bir PV oluşturur.
kubectl get pv,pvcBeklenen çıktı:
NAME CAPACITY ACCESS MODES RECLAIM POLICY STATUS CLAIM STORAGECLASS REASON AGE persistentvolume/default-efc-demo 100Gi ROX Retain Bound default/efc-demo fluid 94m NAME STATUS VOLUME CAPACITY ACCESS MODES STORAGECLASS AGE persistentvolumeclaim/efc-demo Bound default-efc-demo 100Gi ROX fluid 94m
4. Adım: Verilere erişmek için bir uygulama oluşturun
Verilere erişimin hızlandırılıp hızlandırılmadığını kontrol etmek için bir uygulama oluşturun. Bu örnekte, iki pod sağlayan ve iki düğümden NAS dosya sistemine birden çok kez erişmek için kullanılan bir uygulama oluşturulur. Fluid EFCRuntime'ın hızlandırma performansını, verilere erişim için gereken süreye göre değerlendirebilirsiniz.
-
app.yaml adlı bir dosya oluşturun ve aşağıdaki içeriği dosyaya kopyalayın.
Aşağıdaki içerik, efc-app adlı bir StatefulSet tanımlar. StatefulSet iki pod içerir. Her pod, efc-demo PVC'sini /data dizinine bağlar.
apiVersion: apps/v1 kind: StatefulSet metadata: name: efc-app labels: app: nginx spec: serviceName: nginx replicas: 2 selector: matchLabels: app: nginx template: metadata: labels: app: nginx spec: containers: - name: nginx image: registry.openanolis.cn/openanolis/nginx:1.14.1-8.6 command: ["/bin/bash"] args: ["-c", "sleep inf"] volumeMounts: - mountPath: "/data" name: data-vol volumes: - name: data-vol persistentVolumeClaim: claimName: efc-demo -
efc-app adlı bir StatefulSet oluşturmak için aşağıdaki komutu çalıştırın:
kubectl create -f app.yaml -
Belirtilen dosyanın boyutunu sorgulamak için aşağıdaki komutu çalıştırın:
kubectl exec -it efc-app-0 -- du -h /data/allzero-demoBeklenen çıktı:
10G /data/allzero-demo -
Uygulamadan belirtilen dosyayı okumak için gereken süreyi sorgulayın.
NotSüre ve aktarım hızı, çalışma zamanı ortamına ve ölçüm yöntemine göre değişebilir. Bu konuda, küme ecs.g7ne.8xlarge türünde üç ECS örneğine sahiptir. efc-demo EFCRuntime, aynı ECS örneğinde çalışan üç worker poda sahiptir. efc-app StatefulSet, diğer iki ECS örneğinde ayrı ayrı çalışan iki poda sahiptir. Veri erişimi için gereken süre, EFC FUSE istemcisinin çalıştığı düğümün kernel önbelleğinden etkilenmez.
-
StatefulSet'in efc-app-0 podundan belirtilen dosyayı okumak için gereken süreyi kontrol etmek için aşağıdaki komutu çalıştırın:
NotBaşka bir dosya okumak istiyorsanız, /data/allzero-demo yolunu dosyanın yoluyla değiştirin.
kubectl exec -it efc-app-0 -- bash -c "time cat /data/allzero-demo > /dev/null"Beklenen çıktı:
real 0m15.792s user 0m0.023s sys 0m2.404sSonuçlar, 10 GB boyutunda bir dosyayı okumanın 15.792 saniye sürdüğünü ve okuma hızının 648 MiB/s olduğunu göstermektedir.
-
StatefulSet'in diğer podundan aynı 10 GB boyutundaki dosyayı okumak için gereken süreyi kontrol etmek için aşağıdaki komutu çalıştırın:
NotBaşka bir dosya okumak istiyorsanız,
/data/allzero-demoyolunu dosyanın yoluyla değiştirin.kubectl exec -it efc-app-1 -- bash -c "time cat /data/allzero-demo > /dev/null"Beklenen çıktı:
real 0m9.970s user 0m0.012s sys 0m2.283sSonuçlar, 10 GB boyutunda bir dosyayı okumanın 9.970 saniye sürdüğünü ve okuma hızının 1.034,3 MiB/s olduğunu göstermektedir.
Fluid EFCRuntime kullanıldıktan sonra, okuma hızı 648 MiB/s'den 1.034,3 MiB/s'ye yükselmiştir. Aynı dosya için Fluid EFCRuntime, okuma hızını yaklaşık %100 artırmaktadır.
-