Container Service for Kubernetes:Mempercepat akses data untuk aplikasi Job

Unggah data uji ke OSS

1. Buat file uji berukuran 2 GB seperti set data sampel ini.

2. Unggah file tersebut ke bucket OSS Anda menggunakan ossutil.

Buat resource Dataset dan JindoRuntime

Contoh ini menggunakan JindoFS sebagai backend cache (JindoRuntime). Fluid merepresentasikan sumber data sebagai dua Custom Resource (CR):

• Dataset — menunjuk ke data di sistem penyimpanan eksternal.

• JindoRuntime — mendefinisikan konfigurasi sistem caching.

Fluid menggunakan pemuatan malas (lazy loading): akses pertama mengambil data dari OSS ke cache lokal; pembacaan berikutnya berasal dari cache. Untuk menghilangkan latensi pada eksekusi pertama, panaskan cache terlebih dahulu sebelum mengirimkan Job Anda.

1. Buat Secret untuk menyimpan kredensial OSS:

   kubectl create secret generic oss-access-key \
     --from-literal=fs.oss.accessKeyId=<access_key_id> \
     --from-literal=fs.oss.accessKeySecret=<access_key_secret>

2. Buat file bernama dataset.yaml:

   Parameter	Deskripsi
   mountPoint	Path mount OSS dalam format oss://<bucket_name>/<bucket_path>. Atur path ke / untuk satu titik mount.
   fs.oss.endpoint	Titik akhir bucket OSS. Gunakan titik akhir internal (misalnya, oss-cn-hangzhou-internal.aliyuncs.com) untuk akses dalam wilayah yang sama; gunakan titik akhir publik (misalnya, oss-cn-hangzhou.aliyuncs.com) jika tidak.
   replicas	Jumlah pod worker cache. Menentukan kapasitas total cache.
   alibabacloud.com/burst-resource: eci_only	Menonaktifkan penjadwalan virtual node pada pod worker cache. Wajib — Fluid bentrok dengan penjadwalan virtual node (lihat Batasan).
   k8s.aliyun.com/eci-use-specs	Spesifikasi instans ECI untuk setiap pod worker cache.
   k8s.aliyun.com/eci-image-cache	Mengaktifkan cache image instans untuk mempercepat startup pod.
   tieredstore.levels.mediumtype	Media cache. Nilai yang valid: MEM (memori), SSD, HDD. Lihat Pilih media cache.
   tieredstore.levels.volumeType	Jenis volume. Gunakan emptyDir untuk memori atau disk sistem (mencegah cache sisa memengaruhi ketersediaan node). Gunakan hostPath untuk disk data dan atur path ke titik mount. Default: hostPath.
   tieredstore.levels.path	Path cache. Hanya satu path yang didukung.
   tieredstore.levels.quota	Kapasitas cache maksimum per worker, misalnya 10Gi.
   tieredstore.levels.high / low	Watermark tinggi dan rendah untuk eviksi cache.

   apiVersion: data.fluid.io/v1alpha1
   kind: Dataset
   metadata:
     name: demo-dataset
   spec:
     mounts:
       - mountPoint: oss://<bucket_name>/<bucket_path>
         name: demo
         path: /
         options:
           fs.oss.endpoint: oss-<region>.aliyuncs.com
         encryptOptions:
           - name: fs.oss.accessKeyId
             valueFrom:
               secretKeyRef:
                 name: oss-access-key
                 key: fs.oss.accessKeyId
           - name: fs.oss.accessKeySecret
             valueFrom:
               secretKeyRef:
                 name: oss-access-key
                 key: fs.oss.accessKeySecret
   ---
   apiVersion: data.fluid.io/v1alpha1
   kind: JindoRuntime
   metadata:
     name: demo-dataset
   spec:
     # Jumlah node worker cache
     replicas: 2
     worker:
       podMetadata:
         annotations:
           # Wajib: nonaktifkan penjadwalan virtual node (bentrok dengan Fluid — lihat Batasan)
           alibabacloud.com/burst-resource: eci_only
           # Spesifikasi instans ECI untuk pod worker cache JindoFS
           k8s.aliyun.com/eci-use-specs: <eci_instance_spec>
           # Aktifkan cache image instans untuk mempercepat startup pod
           k8s.aliyun.com/eci-image-cache: "true"
     tieredstore:
       levels:
         # Cache memori 10 GiB per node worker
         - mediumtype: MEM
           volumeType: emptyDir
           path: /dev/shm
           quota: 10Gi
           high: "0.99"
           low: "0.99"

   Parameter utama:

3. Terapkan manifes:

   kubectl create -f dataset.yaml

4. Tunggu satu hingga dua menit agar sistem caching selesai dideploy, lalu verifikasi status Dataset:

   Jika PHASE menampilkan NotBound, sistem caching masih dalam proses inisialisasi. Tunggu satu hingga dua menit lalu periksa kembali.

   kubectl get dataset demo-dataset

   Output yang diharapkan:

   NAME           UFS TOTAL SIZE   CACHED   CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
   demo-dataset   1.16GiB          0.00B    20.00GiB         0.0%                Bound   2m58s

   PHASE: Bound mengonfirmasi deploy berhasil. Kolom lainnya menunjukkan ukuran data OSS, jumlah yang di-cache, dan kapasitas total cache.

Pemanasan awal cache (opsional)

Fluid menggunakan pemuatan malas, sehingga eksekusi Job pertama kali mengambil data dari OSS dan dapat memakan waktu puluhan detik untuk set data berukuran besar. Panaskan cache terlebih dahulu untuk menghilangkan latensi eksekusi pertama.

1. Buat file bernama dataload.yaml:

   apiVersion: data.fluid.io/v1alpha1
   kind: DataLoad
   metadata:
     name: data-warmup
   spec:
     dataset:
       name: demo-dataset
       namespace: default
     loadMetadata: true

2. Jalankan job pemanasan cache:

   kubectl create -f dataload.yaml

   Tunggu hingga status menunjukkan Complete:

   NAME          DATASET        PHASE      AGE   DURATION
   data-warmup   demo-dataset   Complete   99s   58s

   Pemanasan cache selesai dalam waktu sekitar 58s.

Buat aplikasi Job

Gunakan kontainer aplikasi atau job pembelajaran mesin untuk mengakses data yang dipercepat melalui JindoFS. Contoh ini membuat Job yang membaca data OSS demo-dataset. PVC tersebut secara otomatis membaca dari cache JindoFS—tanpa perlu mengubah kode. Label alibabacloud.com/fluid-sidecar-target: eci memicu Fluid Webhook untuk menyuntikkan sidecar caching.

1. Buat file bernama job.yaml:

   apiVersion: batch/v1
   kind: Job
   metadata:
     name: demo-app
   spec:
     template:
       metadata:
         labels:
           alibabacloud.com/fluid-sidecar-target: eci
         annotations:
           # Wajib: nonaktifkan penjadwalan virtual node (bentrok dengan Fluid — lihat Batasan)
           alibabacloud.com/burst-resource: eci_only
           # Spesifikasi instans ECI untuk pod aplikasi
           k8s.aliyun.com/eci-use-specs: ecs.g7.4xlarge
       spec:
         containers:
           - name: demo
             image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/openanolis/nginx:1.14.1-8.6
             command:
               - /bin/bash
             args:
               - -c
               - du -sh /data && time cp -r /data/ /tmp
             volumeMounts:
               - mountPath: /data
                 name: demo
         restartPolicy: Never
         volumes:
           - name: demo
             persistentVolumeClaim:
               claimName: demo-dataset
     backoffLimit: 4

2. Kirimkan Job:

   kubectl create -f job.yaml

3. Periksa log Job setelah selesai:

   kubectl logs demo-app-jwktf -c demo

   Output yang diharapkan:

   1.2G    /data
   
   real    0m0.992s
   user    0m0.004s
   sys     0m0.674s

   Waktu real untuk penyalinan file adalah 0m0.992s.

Bersihkan

Bersihkan resource untuk menghindari biaya yang tidak perlu.

1. Hapus Job:

   kubectl delete job demo-app

2. Hapus Dataset. Ini juga akan menghapus komponen sistem caching terkait:

   Penting

   Pembersihan memerlukan waktu sekitar satu menit. Tunggu hingga semua pod caching terhapus sebelum melanjutkan.

   kubectl delete dataset demo-dataset

3. Skalakan turun lapisan kontrol Fluid:

   kubectl get deployments.apps -n fluid-system | awk 'NR>1 {print $1}' | xargs kubectl scale deployments -n fluid-system --replicas=0

   Untuk mengaktifkan kembali akses data, skalakan kembali lapisan kontrol sebelum membuat resource Dataset dan JindoRuntime baru:

   kubectl scale -n fluid-system deployment dataset-controller --replicas=1
   kubectl scale -n fluid-system deployment fluid-webhook --replicas=1