Tüm Ürünler
Search
Belge Merkezi

:Use EFC to accelerate access to NAS or CPFS file systems

Son Güncelleme:Oct 15, 2026

Fluid, cloud-native senaryolardaki veri yoğun uygulamalar için açık kaynaklı, Kubernetes yerel dağıtılmış veri kümesi düzenleyicisi ve hızlandırıcısıdır. Fluid, EFCRuntime'ları yöneterek ve zamanlayarak veri kümeleri için gözlemlenebilirlik, ölçeklenebilirlik ve erişim hızlandırma sağlar. Bu konu, File Storage NAS (NAS) veya CPFS dosya sistemlerine erişimi hızlandırmak için Fluid EFCRuntime'ın nasıl kullanılacağını açıklar.

veya CPFS

Önkoşullar

  • Bir Elastic Compute Service (ECS) örneğinin işletim sistemi olarak Alibaba Cloud Linux 2 kullanılır ve işletim sisteminin kernel sürümü 4.19.91-23 veya üzeridir.

  • Kubernetes 1.18 veya sonraki bir sürümü çalıştıran bir Container Service for Kubernetes (ACK) Pro kümesi oluşturulmuştur. Daha fazla bilgi için bkz. ACK Pro kümesi oluşturma.

  • NAS etkinleştirilmiştir ve oluşturulan ACK Pro kümesindeki düğümler bir Capacity NAS dosya sistemi veya Performance NAS dosya sistemini bağlayıp erişebilir.

    Not

    AI eğitim senaryolarında, eğitim işlerinin gerektirdiği aktarım hızına göre NAS dosya sistemi türlerini seçmenizi öneririz. Daha fazla bilgi için bkz. Seçim kılavuzu

  • Bir kubectl istemcisi ACK Pro kümesine bağlıdır. Daha fazla bilgi için bkz. kubectl kullanarak bir ACK kümesine bağlanma.

EFC'ye Genel Bakış

Elastic File Client (EFC), NAS teknik ekibi tarafından geliştirilen FUSE tabanlı bir POSIX istemcisidir. EFC'yi kernel modundaki NFS istemcisinin yerine kullanabilirsiniz. EFC, okuma hızlarını artırmak için çoklu bağlantılar üzerinden veri erişimi, meta verileri önbelleğe alma ve verileri dağıtık şekilde önbelleğe alma imkanı sunar. EFC ayrıca Managed Service for Prometheus tabanlı performans izlemeyi destekler. Kernel modundaki NFS V3 ve V4.x istemcileri ile diğer FUSE tabanlı istemcilere kıyasla EFC'nin aşağıdaki avantajları vardır:

  • Güçlü anlamsal tutarlılık: EFC, dosyalar ve dizinler için güçlü tutarlılık sağlamak üzere dağıtık kilitleme mekanizmasını kullanır. Bir dosyaya veri yazdıktan sonra, bu veri diğer istemciler tarafından anında okunabilir. Bir dosya oluşturduktan sonra, bu dosyaya diğer istemciler anında erişebilir. Bu avantaj, birden çok düğüm arasında verileri senkronize etmenize olanak tanır.

  • Tek tek sunucularda önbellek okuma ve yazma: EFC, FUSE'un önbellek mantığını optimize eder ve küçük dosyalardaki okuma ve yazma işlemlerini hızlandırmak için bir düğümde az miktarda bellek kaplar. EFC, geleneksel NFS istemcilerine kıyasla önbellek okuma ve yazma performansını %50'den fazla artırır.

  • Dağıtık salt okunur önbellekler: EFC, dağıtık salt okunur önbellekleri destekler ve artan hesaplama talebini karşılamak için otomatik olarak genişleyebilen bir önbellek havuzu oluşturmak üzere birden çok düğümün belleğini kullanır.

  • Küçük dosya ön getirme: EFC, sık erişilen dizinlerdeki sıcak verileri önceden getirerek veri getirmeyle ilişkili yükü azaltır.

  • Sıcak güncellemeler ve yük devretme yetenekleri: EFC, hizmetlerinizi kesintiye uğratmadan saniyeler içinde yük devretme yapabilir ve istemciler için sıcak güncellemeler uygulayabilir.

Fluid EFCRuntime kullanarak NAS dosya sistemlerine erişimi hızlandırma

Fluid, EFC'ye bağlanmak için Fluid EFCRuntime ile ilgili özel Kubernetes kaynaklarını kullanır. Bu, veri kümesi gözlemlenebilirliği ve ölçeklenebilirliğinin uygulanmasına yardımcı olur.

Sınırlamalar

Fluid EFCRuntime için aşağıdaki sınırlamalar geçerlidir:

  • Fluid EFCRuntime, DataLoad önbellek ön getirmeyi desteklemez. Fluid EFCRuntime, veriler yalnızca ilk kez erişildiğinde önbelleğe alır.

  • Fluid EFCRuntime, veri kümelerinin önbellek durumunu göstermez.

  • Fluid EFCRuntime yalnızca aşağıdaki bölgelerde desteklenir: Çin (Zhangjiakou), Çin (Pekin), Çin (Guangzhou), Çin (Shenzhen) ve Çin (Şanghay).

Fluid EFCRuntime'ın çalışma yöntemi

Aşağıdaki şekil, Fluid EFCRuntime'ın veri erişimini hızlandırmak için NAS verilerini yerel depolamaya nasıl önbelleğe aldığını göstermektedir. Aşağıdaki bölümde Fluid EFCRuntime'ın çalışma yöntemi açıklanmaktadır:

  1. Kaynak NAS dosya sistemleri hakkında bilgi belirtmek için veri kümeleri ve EFCRuntime'lar için özel kaynak tanımları (CRD) oluşturabilirsiniz.

  2. Fluid denetleyicileri, kaynak dosya sistemleri hakkındaki bilgilere dayanarak EFC Cache Worker ve EFC FUSE bileşenlerini dağıtır.

  3. Bir pod oluşturduğunuzda, kalıcı birim talebi (PVC) kullanarak EFC FUSE istemcisi tarafından gösterilen dosya sisteminin bağlama hedefini poda bağlayabilirsiniz.

  4. Bağlanmış bir NAS dosya sistemine eriştiğinizde, EFC FUSE istemcisi isteği EFC Cache Worker'a iletir. EFC Cache Worker, verilerin yerel depolamada önbelleğe alınıp alınmadığını kontrol eder. Veriler yerel depolamada önbelleğe alınmışsa, doğrudan önbelleğe erişebilirsiniz. Veriler yerel depolamada önbelleğe alınmamışsa, EFC Cache Worker verileri NAS dosya sisteminden okur ve yerel depolamaya önbelleğe alır. Ardından, yerel depolamadaki önbelleğe erişebilirsiniz.

image
  • Veri Kümesi: Fluid tarafından tanımlanan bir CRD. Veri kümesi, üst katman hesaplama motorları tarafından kullanılan mantıksal olarak ilişkili veri koleksiyonudur.

  • EFCRuntime: Veri kümelerine erişimi hızlandıran bir çalışma zamanıdır. EFCRuntime'lar, önbellekleme motoru olarak EFC'yi kullanır. EFC önbellekleme motorları, EFC Cache Worker ve EFC FUSE bileşenlerini içerir.

    • EFC Cache Worker: Tutarlı karma tabanlı önbelleğe almayı etkinleştiren sunucu tarafı bir bileşendir. Bu bileşeni ihtiyaçlarınıza göre devre dışı bırakabilirsiniz. Bu bileşeni devre dışı bıraktığınızda, dağıtık salt okunur önbellekler devre dışı kalır. Diğer özellikler etkilenmez.

    • EFC FUSE: POSIX protokolü üzerinden veri erişim arayüzlerini gösteren EFC'nin istemci tarafı bileşenidir.

Yordam

1. Adım: ack-fluid yükleyin

Cloud-native AI paketini ve ack-fluid 0.9.10 veya sonraki bir sürümünü yükleyin.

Önemli

Açık kaynaklı Fluid'u zaten yüklediyseniz, ack-fluid bileşenini yüklemeden önce Fluid'u kaldırmanız gerekir.

Cloud-native AI paketi yüklü değilken ack-fluid yükleyin

Cloud-native AI paketini yüklerken Fluid data acceleration özelliğini etkinleştirebilirsiniz. Daha fazla bilgi için bkz. Cloud-native AI paketini dağıtma.

Cloud-native AI paketi yüklüyken ack-fluid yükleyin

  1. ACK konsolu adresinde oturum açın. Sol gezinme bölmesinde Clusters öğesini tıklayın.

  2. Clusters sayfasında kümenizin adını tıklayın. Sol gezinme bölmesinde Applications > Cloud-native AI Suite öğelerini tıklayın.

  3. Cloud-native AI Suite sayfasında ack-fluid öğesini bulun ve Actions sütununda Deploy seçeneğini tıklayın.

  4. Install Component mesajında Confirm seçeneğini tıklayın.

ack-fluid'i 0.9.10 veya sonraki bir sürüme güncelleyin

  1. ACK konsolu adresinde oturum açın. Sol gezinme bölmesinde Clusters öğesini tıklayın.

  2. Clusters sayfasında kümenizin adını tıklayın. Sol gezinme bölmesinde Applications > Cloud-native AI Suite öğelerini tıklayın.

  3. Cloud-native AI Suite sayfasında ack-fluid öğesini bulun ve Actions sütununda Upgrade seçeneğini tıklayın.

  4. Upgrade Component mesajında Confirm seçeneğini tıklayın.

2. Adım: NAS dosya sistemine veri yazın

Not

NAS dosya sisteminde zaten veri depolanıyorsa bu adımı atlayabilirsiniz.

  1. NAS dosya sistemini bir ECS örneğine bağlayın. Daha fazla bilgi için bkz. NFS dosya sistemini tek tıkla bağlama.

  2. CPFS dosya sisteminin bağlama hedefini sorgulamak için aşağıdaki komutu çalıştırın:

    findmnt /mnt

    Beklenen çıktı:

    TARGET   SOURCE                                         FSTYPE OPTIONS
    /mnt/nfs xxxxxxxxxxx-xxxxx.cn-beijing.nas.aliyuncs.com:/ nfs    rw,relatime,vers=3,rsize=1048576,wsize=1048576,namlen=255,hard,nolock,no
  3. NAS dosya sisteminin bağlama dizininde 10 GB boyutunda bir dosya oluşturmak için aşağıdaki komutu çalıştırın:

    dd if=/dev/zero of=/mnt/nfs/allzero-demo count=1024 bs=10M

    Beklenen çıktı:

    1024+0 records in
    1024+0 records out
    10737418240 bytes (11 GB) copied, 50.9437 s, 211 MB/s

3. Adım: Bir veri kümesi ve bir EFCRuntime oluşturun

  1. dataset.yaml adlı bir dosya oluşturun ve aşağıdaki içeriği dosyaya kopyalayın:

    NAS dosya sistemi için örnek şablon

    apiVersion: data.fluid.io/v1alpha1
    kind: Dataset
    metadata:
      name: efc-demo
    spec:
      mounts:
        - mountPoint: "nfs://<nas_url>:<nas_dir>"
          name: efc
          path: "/"
    ---
    apiVersion: data.fluid.io/v1alpha1
    kind: EFCRuntime
    metadata:
      name: efc-demo
    spec:
      replicas: 3
      master:
        networkMode: ContainerNetwork
      worker:
        networkMode: ContainerNetwork
      fuse:
        networkMode: ContainerNetwork
      tieredstore:
        levels:
          - mediumtype: MEM
            path: /dev/shm
            quota: 15Gi

    dataset.yaml dosyası, bir veri kümesi ve bir EFCRuntime oluşturmak için kullanılır.

    • Veri kümesi, NAS dosya sistemi URL'si ve bağlamak istediğiniz dizin gibi NAS dosya sistemi bilgilerini belirtir.

    • EFCRuntime, önbellekleme hizmetleri sağlamak için bir EFC önbellekleme sistemi başlatır. EFC önbellekleme sisteminin worker bileşeni için yinelenen pod sayısını ve her bir worker bileşeninin önbellek kapasitesini belirtebilirsiniz.

    Parametre

    Açıklama

    mountPoint

    Bir NAS dosya sistemi kullanıyorsanız, değeri nfs://<nas_url>:<nas_dir> formatında ayarlayın.

    • nas_url: NAS dosya sisteminin URL'si.

      NAS dosya sisteminin URL'sini almak için aşağıdaki işlemleri gerçekleştirin: NAS konsolu adresinde oturum açın. Sol gezinme bölmesinde File System > File System List seçeneğini belirleyin. File System List sayfasında, bağlamak istediğiniz NAS dosya sistemini bulun ve İşlemler sütununda Manage seçeneğini tıklayın. Açılan sayfada Mount Targets seçeneğini tıklayın. Daha fazla bilgi için bkz. Bağlama noktalarını yönetme.

    • nas_dir: Bağlamak istediğiniz alt dizin. Çoğu durumda, değeri kök dizine ayarlayabilirsiniz. Örneğin, efc://xxxxxxxxxxx-xxxxx.cn-beijing.nas.aliyuncs.com:/ değeri, bir NAS dosya sisteminin kök dizinini belirtir.

    replicas

    EFC önbellekleme sisteminin worker bileşeni için oluşturulan yinelenen pod sayısı. Değeri, hesaplama düğümünün bellek boyutuna ve veri kümesinin boyutuna göre ayarlayabilirsiniz. quota değeri ile replicas değerinin çarpımının veri kümesinin boyutundan büyük olduğundan emin olmanızı öneririz.

    networkMode

    Geçerli değerler: ContainerNetwork ve HostNetwork. ACK ortamında, değeri ContainerNetwork olarak ayarlamanızı öneririz. Bu ağ modu, ağ performansından ödün vermez.

    mediumtype

    Önbellek türü. Geçerli değerler: HDD, SSD ve MEM. MEM değeri belleği ifade eder. AI eğitim senaryolarında, bu parametreyi MEM olarak ayarlamanızı öneririz. Bu parametreyi MEM olarak ayarlarsanız, path parametresini tmpfs gibi bir bellek dosya sistemine ayarlamanız gerekir.

    path

    EFC önbellekleme sisteminin worker bileşenlerinin podlarındaki önbellek dizini. Bu parametrenin değerini /dev/shm olarak ayarlamanızı öneririz.

    quota

    Her bir worker bileşeninin önbellek kapasitesi. Değeri, hesaplama düğümünün bellek boyutuna ve veri kümesinin boyutuna göre ayarlayabilirsiniz. quota değeri ile replicas değerinin çarpımının veri kümesinin boyutundan büyük olduğundan emin olmanızı öneririz.

  2. Bir EFCRuntime ve bir veri kümesi oluşturmak için aşağıdaki komutu çalıştırın:

    kubectl create -f dataset.yaml
  3. Veri Kümesinin dağıtılıp dağıtılmadığını kontrol etmek için aşağıdaki komutu çalıştırın:

    kubectl get dataset efc-demo

    Beklenen çıktı:

    NAME       UFS TOTAL SIZE   CACHED   CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
    efc-demo                                                                  Bound   24m

    Veri kümesi Bound durumundadır. Bu, EFC önbellekleme sisteminin kümede beklendiği gibi çalıştığını ve uygulama podlarının veri kümesi tarafından sağlanan verilere erişebileceğini gösterir.

  4. EFCRuntime'ın dağıtılıp dağıtılmadığını kontrol etmek için aşağıdaki komutu çalıştırın:

    kubectl get efcruntime

    Beklenen çıktı:

    NAME       MASTER PHASE   WORKER PHASE   FUSE PHASE   AGE
    efc-demo   Ready          Ready          Ready        27m

    Sonuçlar, master, worker ve FUSE bileşenlerinin Ready durumunda olduğunu göstermektedir.

  5. Kalıcı birimin (PV) ve PVC'nin oluşturulup oluşturulmadığını kontrol etmek için aşağıdaki komutları çalıştırın:

    Veri kümesi ve EFC önbellekleme sistemi hazır olduğunda, Fluid otomatik olarak bir PVC ve bir PV oluşturur.

    kubectl get pv,pvc

    Beklenen çıktı:

    NAME                                CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM                    STORAGECLASS   REASON   AGE
    persistentvolume/default-efc-demo   100Gi      ROX            Retain           Bound    default/efc-demo         fluid                   94m
    
    NAME                                   STATUS   VOLUME             CAPACITY   ACCESS MODES   STORAGECLASS   AGE
    persistentvolumeclaim/efc-demo         Bound    default-efc-demo   100Gi      ROX            fluid          94m

4. Adım: Verilere erişmek için bir uygulama oluşturun

Verilere erişimin hızlandırılıp hızlandırılmadığını kontrol etmek için bir uygulama oluşturun. Bu örnekte, iki pod sağlayan ve iki düğümden NAS dosya sistemine birden çok kez erişmek için kullanılan bir uygulama oluşturulur. Fluid EFCRuntime'ın hızlandırma performansını, verilere erişim için gereken süreye göre değerlendirebilirsiniz.

  1. app.yaml adlı bir dosya oluşturun ve aşağıdaki içeriği dosyaya kopyalayın.

    Aşağıdaki içerik, efc-app adlı bir StatefulSet tanımlar. StatefulSet iki pod içerir. Her pod, efc-demo PVC'sini /data dizinine bağlar.

    apiVersion: apps/v1
    kind: StatefulSet
    metadata:
      name: efc-app
      labels:
        app: nginx
    spec:
      serviceName: nginx
      replicas: 2
      selector:
        matchLabels:
          app: nginx
      template:
        metadata:
          labels:
            app: nginx
        spec:
          containers:
          - name: nginx
            image: registry.openanolis.cn/openanolis/nginx:1.14.1-8.6
            command: ["/bin/bash"]
            args: ["-c", "sleep inf"]
            volumeMounts:
            - mountPath: "/data"
              name: data-vol
          volumes:
            - name: data-vol
              persistentVolumeClaim:
                claimName: efc-demo
  2. efc-app adlı bir StatefulSet oluşturmak için aşağıdaki komutu çalıştırın:

    kubectl create -f app.yaml
  3. Belirtilen dosyanın boyutunu sorgulamak için aşağıdaki komutu çalıştırın:

    kubectl exec -it efc-app-0 -- du -h /data/allzero-demo

    Beklenen çıktı:

    10G     /data/allzero-demo
  4. Uygulamadan belirtilen dosyayı okumak için gereken süreyi sorgulayın.

    Not

    Süre ve aktarım hızı, çalışma zamanı ortamına ve ölçüm yöntemine göre değişebilir. Bu konuda, küme ecs.g7ne.8xlarge türünde üç ECS örneğine sahiptir. efc-demo EFCRuntime, aynı ECS örneğinde çalışan üç worker poda sahiptir. efc-app StatefulSet, diğer iki ECS örneğinde ayrı ayrı çalışan iki poda sahiptir. Veri erişimi için gereken süre, EFC FUSE istemcisinin çalıştığı düğümün kernel önbelleğinden etkilenmez.

    1. StatefulSet'in efc-app-0 podundan belirtilen dosyayı okumak için gereken süreyi kontrol etmek için aşağıdaki komutu çalıştırın:

      Not

      Başka bir dosya okumak istiyorsanız, /data/allzero-demo yolunu dosyanın yoluyla değiştirin.

      kubectl exec -it efc-app-0 -- bash -c "time cat /data/allzero-demo > /dev/null"

      Beklenen çıktı:

      real    0m15.792s
      user    0m0.023s
      sys     0m2.404s

      Sonuçlar, 10 GB boyutunda bir dosyayı okumanın 15.792 saniye sürdüğünü ve okuma hızının 648 MiB/s olduğunu göstermektedir.

    2. StatefulSet'in diğer podundan aynı 10 GB boyutundaki dosyayı okumak için gereken süreyi kontrol etmek için aşağıdaki komutu çalıştırın:

      Not

      Başka bir dosya okumak istiyorsanız, /data/allzero-demo yolunu dosyanın yoluyla değiştirin.

      kubectl exec -it efc-app-1 -- bash -c "time cat /data/allzero-demo > /dev/null"

      Beklenen çıktı:

      real    0m9.970s
      user    0m0.012s
      sys     0m2.283s

      Sonuçlar, 10 GB boyutunda bir dosyayı okumanın 9.970 saniye sürdüğünü ve okuma hızının 1.034,3 MiB/s olduğunu göstermektedir.

    Fluid EFCRuntime kullanıldıktan sonra, okuma hızı 648 MiB/s'den 1.034,3 MiB/s'ye yükselmiştir. Aynı dosya için Fluid EFCRuntime, okuma hızını yaklaşık %100 artırmaktadır.