Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Accelerate access to OSS files by using JindoFS

Son Güncelleme:Oct 06, 2026

JindoRuntime, Alibaba Cloud E-MapReduce (EMR) ekibi tarafından C++ ile geliştirilen ve JindoFS için çalışan yürütme altyapısıdır. Kubernetes kümesi içinde Object Storage Service (OSS) verileri için veri seti yönetimi ve önbellekleme sağlar. Alibaba Cloud, JindoFS için bulut hizmeti düzeyinde destek sunar. Fluid, gözlemlenebilirlik, otomatik ölçeklendirme ve veri seti taşınabilirliği sunmak üzere JindoRuntime'ı yönetir ve zamanlar.

Bu konu, bir test veri setini OSS'e yüklemenizi, bir Dataset ve JindoRuntime oluşturmanızı ve bir benchmark pod'u ile önbellek hızlandırma etkisini doğrulamanızı adım adım anlatır.

Sınırlamalar

  • JindoRuntime, ContainerOS olmayan bir işletim sistemi üzerinde çalışan bir ACK Pro kümesi gerektirir. ack-fluid bileşeni şu anda ContainerOS'u desteklememektedir.

  • Daha önce açık kaynaklı Fluid yüklediyseniz, ack-fluid bileşenini dağıtmadan önce bunu kaldırın. İkisinin aynı anda çalıştırılması desteklenmez.

Ön koşullar

Başlamadan önce şunlara sahip olduğunuzdan emin olun:

Adım 1: Verileri OSS'e yükleme

Aşağıdaki adımlarda, bir test veri setini yüklemek için Alibaba Cloud Linux 3.2104 LTS 64-bit çalıştıran bir Elastic Compute Service (ECS) örneği kullanılır. Diğer işletim sistemleri için bkz. ossutil ve ossutil 1.0.

  1. Test veri setini ECS örneğinize indirin.

    wget https://archive.apache.org/dist/spark/spark-3.0.1/spark-3.0.1-bin-hadoop2.7.tgz
  2. ECS örneğinde ossutil'i yükleyin.

  3. examplebucket adında bir OSS paketi oluşturun.

    ossutil64 mb oss://examplebucket

    Beklenen çıktı:

    0.668238(s) elapsed
  4. Test veri setini pakete yükleyin.

    ossutil64 cp spark-3.0.1-bin-hadoop2.7.tgz oss://examplebucket

Adım 2: Bir veri seti ve JindoRuntime oluşturma

JindoRuntime, OSS kimlik bilgilerini bir Kubernetes Secret'tan okur; bu nedenle Dataset'i oluşturmadan önce Secret'ı oluşturun.

  1. Aşağıdaki içeriğe sahip mySecret.yaml adlı bir dosya oluşturun. xxx yerine, 1. Adımda oluşturduğunuz OSS paketinde okuma erişimine sahip olan AccessKey ID ve AccessKey secret değerlerini yazın.

    apiVersion: v1
    kind: Secret
    metadata:
      name: mysecret
    stringData:
      fs.oss.accessKeyId: xxx
      fs.oss.accessKeySecret: xxx
  2. Secret'ı uygulayın. Kubernetes, depolanan değerlerin düz metin olarak açığa çıkmaması için bunları şifreler.

    kubectl create -f mySecret.yaml
  3. Aşağıdaki içeriğe sahip resource.yaml adlı bir dosya oluşturun. Bu dosya, OSS verilerinize işaret eden Dataset'i ve önbellekleme kümesini başlatan JindoRuntime'ı tanımlar.

    apiVersion: data.fluid.io/v1alpha1
    kind: Dataset
    metadata:
      name: hadoop
    spec:
      mounts:
        - mountPoint: oss://<oss_bucket>/<bucket_dir>
          options:
            fs.oss.endpoint: <oss_endpoint>
          name: hadoop
          path: "/"
          encryptOptions:
            - name: fs.oss.accessKeyId
              valueFrom:
                secretKeyRef:
                  name: mysecret
                  key: fs.oss.accessKeyId
            - name: fs.oss.accessKeySecret
              valueFrom:
                secretKeyRef:
                  name: mysecret
                  key: fs.oss.accessKeySecret
    ---
    apiVersion: data.fluid.io/v1alpha1
    kind: JindoRuntime
    metadata:
      name: hadoop
    spec:
      replicas: 2
      tieredstore:
        levels:
          - mediumtype: MEM
            path: /dev/shm
            volumeType: emptyDir
            quota: 2Gi
            high: "0.99"
            low: "0.95"

    Aşağıdaki tabloda temel parametreler açıklanmaktadır.


    Parametre


    Açıklama


    Gerekli


    Varsayılan


    mountPoint


    oss://<oss_bucket>/<bucket_dir> biçimindeki alttaki dosya sistemi (UFS) yolu. OSS uç noktası buraya dahil edilmez.


    Evet


    —


    fs.oss.endpoint


    OSS paketinin genel veya dahili uç noktası. Bkz. Bölgeler ve uç noktalar.


    Evet


    —


    replicas


    JindoFS önbellekleme kümesindeki worker sayısı.


    Evet


    —


    mediumtype


    Önbellek depolama ortamı. Geçerli değerler: HDD, SSD, MEM.


    Evet


    —


    path


    Worker düğümündeki yerel depolama yolu. Yalnızca tek bir yol izin verilir. mediumtype değeri MEM olduğunda günlükler gibi verileri depolamak için gereklidir.


    Evet


    —


    quota


    Worker başına maksimum önbellek boyutu.


    Evet


    —


    high


    Önbellek tahliye eşiği (yüksek su işareti). Kullanım bu oranı aştığında tahliye başlar.


    Hayır


    —


    low


    Önbellek saklama eşiği (düşük su işareti). Kullanım bu orana düştüğünde tahliye durur.


    Hayır


    —

  4. Dataset ve JindoRuntime'ı oluşturun.

    kubectl create -f resource.yaml
  5. Dataset'in bağlandığını doğrulayın.

    kubectl get dataset hadoop

    Beklenen çıktı:

    NAME     UFS TOTAL SIZE   CACHED   CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
    hadoop        210MiB       0.00B    4.00GiB              0.0%          Bound   1h
  6. JindoRuntime'ın hazır olduğunu doğrulayın.

    kubectl get jindoruntime hadoop

    Beklenen çıktı:

    NAME     MASTER PHASE   WORKER PHASE   FUSE PHASE   AGE
    hadoop   Ready          Ready          Ready        4m45s
  7. Kalıcı birim (PV) ve kalıcı birim talebinin (PVC) oluşturulduğunu doğrulayın.

    kubectl get pv,pvc

    Beklenen çıktı:

    NAME                              CAPACITY   ACCESS MODES   RECLAIM POLICY   STATUS   CLAIM            STORAGECLASS   REASON   AGE
    persistentvolume/default-hadoop   100Pi      ROX            Retain           Bound    default/hadoop                           52m
    
    NAME                           STATUS   VOLUME            CAPACITY   ACCESS MODES   STORAGECLASS   AGE
    persistentvolumeclaim/hadoop   Bound    default-hadoop    100Pi      ROX                           52m

Tüm aşamalar Ready durumunu gösterdiğinde ve PVC durumu Bound olduğunda Dataset ve JindoRuntime hazırdır.

Adım 3: Veri hızlandırmayı test etme

Dataset PVC'sini bağlayan bir pod dağıtın ve veriler önbelleğe alınmadan önceki ve sonraki dosya okuma sürelerini karşılaştırın.

  1. Aşağıdaki içeriğe sahip app.yaml adlı bir dosya oluşturun.

    apiVersion: v1
    kind: Pod
    metadata:
      name: demo-app
    spec:
      containers:
        - name: demo
          image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
          volumeMounts:
            - mountPath: /data
              name: hadoop
      volumes:
        - name: hadoop
          persistentVolumeClaim:
            claimName: hadoop
  2. Pod'u dağıtın.

    kubectl create -f app.yaml
  3. Pod'da bir kabuk açın ve dosya boyutunu kontrol edin.

    kubectl exec -it demo-app -- bash
    du -sh /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz

    Beklenen çıktı:

    210M    /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz
  4. İlk okuma süresini ölçün. Bu erişim, önbellek olmadan doğrudan OSS üzerinden gelir.

    time cp /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz /dev/null

    Beklenen çıktı:

    real    0m18.386s
    user    0m0.002s
    sys    0m0.105s

    Dosyanın okunması yaklaşık 18 saniye sürer.

  5. Okuma işleminden sonra önbelleğe alınan verileri kontrol edin.

    kubectl get dataset hadoop

    Beklenen çıktı:

    NAME     UFS TOTAL SIZE   CACHED   CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
    hadoop   210.00MiB       210.00MiB    4.00GiB        100.0%           Bound   1h

    Tam 210 MiB artık yerel depolamada önbelleğe alınmıştır.

  6. Bir sonraki okumanın bellekten değil JindoFS önbelleğinden gelmesi için işletim sistemi sayfa önbelleğini temizlemek amacıyla pod'u silin ve yeniden oluşturun.

    kubectl delete -f app.yaml && kubectl create -f app.yaml
  7. Veriler önbellekten sunulurken okuma süresini tekrar ölçün.

    kubectl exec -it demo-app -- bash
    time cp /data/hadoop/spark-3.0.1-bin-hadoop2.7.tgz /dev/null

    Beklenen çıktı:

    real    0m0.048s
    user    0m0.001s
    sys     0m0.046s

    JindoFS önbelleği ile aynı dosya okuma işlemi 48 milisaniyede tamamlanır; bu, doğrudan OSS erişiminden 300 kat daha hızlıdır.

(İsteğe bağlı) Temizleme

Veri hızlandırmaya artık ihtiyaç duyulmadığında pod'u, Dataset'i ve JindoRuntime'ı silin.

Pod'u silin:

kubectl delete pod demo-app

Dataset ve JindoRuntime'ı silin:

kubectl delete dataset hadoop

Sonraki adımlar

  • JindoFS ile hızlandırılmış verileri kullanan makine öğrenimi eğitim işlerini göndermek için cloud-native AI suite belgelerine bakın.

  • Diğer önbellek depolama seçeneklerini (HDD, SSD) keşfetmek için resource.yaml dosyasındaki mediumtype ve path alanlarını güncelleyin.