Container Service for Kubernetes:Prefill data OSS sesuai permintaan ke volume berkinerja tinggi

Implementasi fitur

Fitur ini menggunakan Volume Populators Kubernetes dan dikelola oleh storage-operator ACK. Saat Anda membuat persistent volume claim (PVC) yang mereferensikan resource kustom OSSVolumePopulator (OSSVP), storage-operator mencegat permintaan tersebut dan melakukan operasi pengisian data.

Bergantung pada jenis volume target, pengisian dilakukan dalam salah satu mode berikut.

Mode	Jenis penyimpanan yang didukung	Deskripsi
bmcpfs-dataflow Mode alur data native	CPFS for Lingjun	storage-operator memanggil kemampuan alur data native CPFS untuk mengisi data. Mode ini tidak mengonsumsi resource komputasi kluster dan menawarkan efisiensi lebih tinggi.
generic Mode pengisian pod generik	Jenis penyimpanan lain, seperti cloud disk atau edisi umum CPFS	storage-operator membuat pod sementara di namespace ack-volume-populator untuk memasang volume yang baru dibuat dan mengunduh data OSS yang ditentukan ke dalamnya. Setelah pengisian selesai, pod ini dihapus. Mode ini mengonsumsi resource komputasi kluster.

Setelah pengisian data berhasil, status PVC berubah dari Pending menjadi Bound. Pada titik ini, pod aplikasi dapat memasang PVC dan mengakses data yang telah diprefill.

Skenario khas

Fitur ini mendukung dua kasus penggunaan utama.

Alur kerja

Langkah inti untuk menggunakan VolumePopulator serupa di kedua mode.

Persiapan lingkungan: Aktifkan Feature Gate VolumePopulator di storage-operator. Setelah Anda mengaktifkan VolumePopulator, namespace ack-volume-populator dibuat secara default untuk menjalankan PVC dan Pod sementara yang dihasilkan selama prefill data. Konfigurasi izin: Berikan izin akses OSS untuk tugas pengisian. Mode bmcpfs-dataflow memerlukan tag tertentu pada bucket OSS. Mode generic memerlukan konfigurasi RRSA atau AccessKey. Definisikan sumber data (OSSVP): Buat objek OSSVolumePopulator untuk menentukan path bucket OSS dan mode pengisian. Buat volume dan picu prefill (PVC): Buat PVC, tentukan StorageClass, dan gunakan bidang dataSourceRef untuk mereferensikan OSSVP yang telah dibuat sebelumnya. Ini memulai proses prefill data (waktu tergantung pada volumeBindingMode StorageClass). Validasi dan penggunaan: Setelah status PVC menjadi Bound, buat workload aplikasi (pod, deployment, dll.) yang memasang PVC ini untuk akses data berkecepatan tinggi. Prefill data adalah operasi satu kali selama pembuatan volume. Perubahan selanjutnya pada data sumber OSS tidak akan disinkronkan ke volume yang telah dibuat. Pengklaiman ulang resource: Setelah tugas berakhir, hapus PVC. Jika reclaimPolicy StorageClass diatur ke Delete, resource penyimpanan berkinerja tinggi terkait (seperti FileSet CPFS atau cloud disk) secara otomatis dihapus dan penagihan berhenti. Data sumber OSS tetap tidak terpengaruh.

Skenario 1: Pramuat data ke volume bersama CPFS for Lingjun

Solusi ini ditujukan untuk skenario read-only berthroughput tinggi seperti pelatihan dan inferensi model. Solusi ini memanfaatkan kemampuan alur data CPFS for Lingjun untuk prefetch model dari OSS ke volume CPFS for Lingjun sesuai permintaan, memungkinkan beberapa tugas GPU membaca data dengan kecepatan tinggi.

apiVersion: storage.alibabacloud.com/v1beta1
kind: OSSVolumePopulator
metadata:
  name: qwen3-32b
  # Harus berada di namespace yang sama dengan aplikasi dan PVC
  namespace: bmcpfs-dataflow-demo 
spec:
  bucket: <your-bucket-name>
  region: cn-hangzhou
  endpoint: oss-cn-hangzhou-internal.aliyuncs.com
  path: /Qwen3-32B/
  # Khusus untuk volume CPFS for Lingjun, memanfaatkan kemampuan alur datanya
  mode: bmcpfs-dataflow
  
  # Konfigurasi lanjutan opsional untuk mode bmcpfs-dataflow
  # Contoh ini merekomendasikan pengaturan default. Abaikan jika tidak ada kebutuhan khusus.
  # bmcpfsDataflow:
    # Throughput alur data maksimum (MB/s). Opsi: 600, 1200, 1500. Default: 600
    # throughput: 1200
    # Aktifkan transfer terenkripsi. Default: kosong (dinonaktifkan)
    # sourceSecurityType: SSL
    # Mode prefill data. Default: metadataAndData untuk prefill penuh.
    # Atur ke metadata untuk prefill metadata saja.
    # dataType: metadataAndData

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: bmcpfs-dataflow-demo
parameters:
  bmcpfsId: bmcpfs-29000z8xz3xxxxxxxxxxx
  vpcMountTarget: cpfs-29000z8xz3xxxxxxxxxxx-vpc-xxxxxx.cn-wulanchabu.cpfs.aliyuncs.com
  mountpointAutoSwitch: "true"
provisioner: bmcpfsplugin.csi.alibabacloud.com
# Penting: Pastikan CPFS FileSet dan data secara otomatis dibersihkan setelah penghapusan PVC
reclaimPolicy: Delete
# Direkomendasikan: Atur ke Immediate untuk memulai prefill data segera setelah pembuatan PVC
volumeBindingMode: Immediate

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: qwen3-32b
  namespace: bmcpfs-dataflow-demo
spec:
  accessModes:
    - ReadOnlyMany
  dataSourceRef:
    apiGroup: storage.alibabacloud.com
    kind: OSSVolumePopulator
    # Referensikan nama OSSVP yang dibuat di atas
    name: qwen3-32b
  resources:
    requests:
      # Harus setidaknya sebesar ukuran sumber data OSS yang direferensikan oleh OSSVP
      storage: 80Gi
  storageClassName: bmcpfs-dataflow-demo
  volumeMode: Filesystem

kubectl -n bmcpfs-dataflow-demo describe ossvp qwen3-32b

5. Buat workload dan gunakan data

Setelah PVC menjadi Bound, buat workload yang memasang PVC ini.

Contoh ini menggunakan resource GPU. Untuk verifikasi saja, buat pod CPU dan gunakan kubectl exec untuk masuk ke kontainer dan memeriksa data.

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: demo-apply-qwen3-32b
  namespace: bmcpfs-dataflow-demo
spec:
  replicas: 1
  selector:
    matchLabels:
      app: demo-apply-qwen3-32b
  template:
    metadata:
      labels:
        app: demo-apply-qwen3-32b
      # Gunakan tipe instans ACS HPN untuk memasang volume CPFS
      # alibabacloud.com/compute-class: "gpu-hpn"
    spec:
      # Gunakan tipe instans ACS HPN untuk memasang volume CPFS
      # nodeSelector: 
      #   alibabacloud.com/node-type: reserved
      # tolerations:
      # - key: "virtual-kubelet.io/provider" 
      #   operator: "Exists"
      #   effect: "NoSchedule"
      volumes:
        - name: model-storage
          persistentVolumeClaim:
            # Tentukan PVC yang dibuat
            claimName: qwen3-32b
        - name: dshm
          emptyDir:
            medium: Memory
            sizeLimit: 15Gi
      containers:
        - command: ["sh", "-c", "python3 -m sglang.launch_server --model-path /models/Qwen3-32B --tp 2"]
          image: registry.cn-beijing.aliyuncs.com/tool-sys/ossfs-public:demo-env-python3.12.7-sglang0.5.5
          name: sglang
          ports:
            - containerPort: 8000
              name: http
          resources:
            limits:
              nvidia.com/gpu: "2"
            requests:
              nvidia.com/gpu: "2"
          volumeMounts:
            - mountPath: /models/Qwen3-32B
              name: model-storage
            - mountPath: /dev/shm
              name: dshm

Panduan pembersihan resource

Setelah menyelesaikan tugas pelatihan atau inferensi AI, segera lepaskan volume bersama CPFS for Lingjun dan workload terkait yang dibuat untuknya.

Resource yang perlu dilepaskan:

• Workload yang menggunakan volume bersama (dalam contoh ini, StatefulSet)

• PVC yang digunakan untuk prefill data

• Resource penyimpanan backend (FileSet CPFS for Lingjun) yang dibuat secara otomatis oleh PVC

Prosedur pembersihan:

1. Hapus workload

   Hapus StatefulSet yang menggunakan volume untuk melepaskan PVC.

   kubectl delete statefulset demo-apply-qwen3-32b -n bmcpfs-dataflow-demo

2. Hapus PVC

   Karena StorageClass mengatur reclaimPolicy: Delete, tindakan ini secara otomatis memicu penghapusan FileSet CPFS backend, melepaskan ruang penyimpanan dan menghentikan penagihan.

   kubectl delete pvc qwen3-32b -n bmcpfs-dataflow-demo

3. Verifikasi pembersihan resource:

   • Verifikasi sistem file CPFS for Lingjun: Buka Konsol NAS, pilih File System > File System List, dan pastikan FileSet yang terkait dengan PVC ini telah dihapus serta kapasitas yang digunakan sistem file telah berkurang.

   • Verifikasi data sumber OSS: Operasi ini tidak memengaruhi data sumber OSS. Untuk memverifikasi, buka Konsol OSS dan pastikan dataset tetap utuh.

Persiapan

• Aktifkan VolumePopulatorPodHandler di storage-operator.

  Setelah diaktifkan, sistem secara otomatis memberikan izin RBAC yang diperlukan kepada komponen terkait dan pod sementara. Evaluasi risiko keamanan potensial sebelum mengaktifkan.

  Tentang izin RBAC yang dikonfigurasi secara otomatis

  • Berikan izin operasi pod kepada storage-operator di namespace ack-volume-populator

    - apiGroups: [""]
      resources: [pods]
      verbs: [get, list, watch, create, delete]

  • Berikan izin akses tingkat kluster kepada pod tugas sementara

    - apiGroups: [""]
      resources: [events]
      verbs: [create, patch, get, list]
    - apiGroups: [volumepopulators.storage.alibabacloud.com]
      resources: [ossvolumepopulators]
      verbs: [get, list, watch]

• Komponen Argo Workflows telah diinstal.

  Perluas untuk melihat langkah-langkah detail

  1. Masuk ke Konsol Manajemen Layanan Kontainer . Di panel navigasi sebelah kiri, klik Clusters.

  2. Di halaman Clusters, klik nama kluster Anda. Di panel navigasi sebelah kiri, klik Add-ons.

  3. Di halaman Component Management, temukan Argo Workflows dan ikuti petunjuk di layar untuk menginstal komponen.

     Setelah instalasi selesai, pilih Applications > Helm di panel navigasi sebelah kiri. Komponen telah diinstal jika Deployed ditampilkan di kolom Status untuk ack-workflow.

• Contoh ini menggunakan komputasi arsitektur tanpa server (ECI) untuk menjalankan tugas prefill data dan alur kerja, sehingga Anda juga harus menginstal komponen ack-virtual-node. Jika Anda menggunakan komputasi non-arsitektur tanpa server untuk verifikasi, hapus label terkait alibabacloud.com/eci: "true" dari resource.

1. Berikan otorisasi akses OSS untuk tugas prefill data

Dalam mode generic, tugas prefill data dijalankan sebagai pod sementara di namespace ack-volume-populator. Anda harus memberikan izin kepada pod ini untuk mengakses bucket OSS yang berisi data sumber.

• Metode RRSA: Menetapkan peran RAM sementara yang berotasi otomatis ke pod untuk isolasi izin tingkat aplikasi detail halus dengan keamanan lebih tinggi.

• Metode AccessKey: Menyimpan kredensial statis jangka panjang dalam Secret. Konfigurasi sederhana tetapi kurang aman.

2. Buat OSSVolumePopulator (OSSVP)

Buat resource OSSVolumePopulator di namespace yang sama dengan aplikasi dan PVC Anda untuk mendefinisikan sumber data dan menentukan mode sebagai generic beserta metode otorisasi.

apiVersion: storage.alibabacloud.com/v1beta1
kind: OSSVolumePopulator
metadata:
  name: generic-demo
  # Harus berada di namespace yang sama dengan aplikasi dan PVC
  namespace: argo 
spec:
  bucket: my-test-bucket
  region: cn-hangzhou
  endpoint: oss-cn-hangzhou-internal.aliyuncs.com
  path: /many-files/
  # Mode generik untuk volume penyimpanan backend apa pun
  mode: generic
  generic:
    # Tambahkan label ke pod tugas pengisian data untuk penjadwalan ke pod ECI
    labels:
      alibabacloud.com/eci: "true"
    # Tambahkan anotasi ke pod tugas pengisian data untuk mengonfigurasi spesifikasi ECI
    annotations:
      k8s.aliyun.com/eci-use-specs: "2-4Gi"
    # Pilih salah satu antara secretRef atau rrsaConfigs
    # secretRef: oss-secret
    rrsaConfigs:
      # ARN peran RAM yang digunakan untuk otorisasi RRSA
      roleArn: "acs:ram::1234567*****:role/oss-populator"
      # ARN Penyedia OIDC kluster
      oidcProviderArn: "acs:ram::1234567*****:oidc-provider/my-oidc-provider"
    # Konfigurasikan afinitas untuk pod tugas pengisian data agar dijadwalkan ke node tertentu
    affinity:
      nodeAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
            - matchExpressions:
                - key: "disktype"
                  operator: NotIn
                  values:
                    - "hdd"
    # Konfigurasikan toleransi untuk pod tugas pengisian data
    tolerations:
      - key: "virtual-kubelet.io/provider"
        operator: Equal
        value: "alibabacloud"
        effect: NoSchedule
    # Throughput maksimum (MB/s)
    # throughput: 1000

Deskripsi parameter:

3. Siapkan StorageClass

Skenario ini memerlukan StorageClass untuk memprovisikan cloud disk secara dinamis. ACK menyediakan StorageClass default dan juga mendukung pembuatan StorageClass secara manual.

• Contoh ini menggunakan alicloud-disk-essd, yang memiliki reclaimPolicy diatur ke Delete dan volumeBindingMode diatur ke Immediate, cocok untuk skenario yang menggunakan komputasi arsitektur tanpa server di mana kesadaran zona tidak diperlukan.

• Jika Anda menjalankan alur kerja pada komputasi non-arsitektur tanpa server, gunakan StorageClass dengan volumeBindingMode diatur ke WaitForFirstConsumer (seperti alicloud-disk-topology-alltype) untuk memastikan cloud disk dan pod aplikasi dibuat di zona yang sama, menghindari kegagalan penjadwalan akibat ketidaksesuaian zona.

4. Buat Argo Workflow

Contoh Workflow berikut menggunakan ephemeral volumeClaimTemplate untuk secara dinamis membuat cloud disk independen dengan data awal yang telah diprefill untuk setiap tugas paralel.

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: parallel-data-process-with-ossvp-
  namespace: argo
spec:
  # Definisikan parameter input
  arguments:
    parameters:
      - name: number
        value: 2

  entrypoint: main
  # Definisikan templat klaim volume untuk setiap replika konkuren dalam Workflow
  volumes:
    - name: scratch-volume
      # Deklarasikan sebagai volume sementara, secara otomatis dihapus setelah Workflow selesai
      ephemeral:
        volumeClaimTemplate:
          metadata:
            labels:
              diskType: scratch-volume
          spec:
            accessModes: [ "ReadWriteOnce" ]
            # Untuk komputasi non-arsitektur tanpa server, ganti dengan alicloud-disk-topology-alltype
            storageClassName: "alicloud-disk-essd"
            resources:
              requests:
                # Harus setidaknya sebesar ukuran sumber data OSS yang direferensikan oleh OSSVP
                storage: 20Gi
            # Referensikan OSSVP sebagai sumber data
            dataSourceRef:
              apiGroup: storage.alibabacloud.com
              kind: OSSVolumePopulator
              name: generic-demo

  templates:
    - name: main
      dag:
        tasks:
          # Jalankan beberapa tugas echo secara paralel
          - name: echo-task
            template: echo-template
            arguments:
              parameters:
                - name: index
                  value: "{{item}}"
            withSequence:
              count: "{{workflow.parameters.number}}"

    - name: echo-template
      metadata:
        labels:
          # Jalankan tugas di ECI
          alibabacloud.com/eci: "true" 
      container:
        image: mirrors-ssl.aliyuncs.com/busybox:latest
        command:
          - sh
          - -c
        args:
          - |
            echo "Subtask started, ID: {{inputs.parameters.index}}"
            echo "Creating a new log file..."
            touch /scratch-volume/"{{inputs.parameters.index}}-logs"
            echo "Listing contents from the disk populated by OSSVP:"
            ls /scratch-volume
            echo "Subtask completed, ID: {{inputs.parameters.index}}"
        volumeMounts:
        - name: scratch-volume
          mountPath: /scratch-volume
        resources:
          limits:
            cpu: '4'
            memory: 16Gi
          requests:
            cpu: '4'
            memory: 16Gi
      inputs:
        parameters:
          - name: index

Setelah membuat Workflow, periksa log dari pod tugas apa pun untuk mengonfirmasi pembacaan data yang telah diprefill berhasil.

Di lingkungan produksi, Anda juga dapat menggunakan fitur Artifact Argo Workflows untuk menyimpan hasil komputasi akhir di OSS.

# Ganti <your-workflow-pod-name> dengan nama pod aktual
kubectl -n argo logs <your-workflow-pod-name>

Output yang diharapkan:

Subtask started, ID: 1
Creating a new log file...
Listing contents from the disk populated by OSSVP:
1-logs
lost+found
results-2025-04-16T07:48:00Z
...
Subtask completed, ID: 1

Analisis hasil:

• 1-logs: File yang baru ditulis oleh tugas, memverifikasi bahwa volume bersifat baca-tulis dan penyimpanan terisolasi antar tugas paralel.

• results-2025-04-16T07:48:00Z dan file serupa: Data yang diprefill dari OSS ke cloud disk, mengonfirmasi bahwa fitur prefilling berfungsi dengan benar.

• lost+found: Direktori yang dihasilkan secara otomatis setelah pemformatan sistem file. Abaikan.

Panduan pembersihan resource

Setelah menyelesaikan tugas pemrosesan batch, segera lepaskan volume cloud disk terisolasi dan alur kerja terkait yang dibuat secara dinamis oleh Argo Workflow.

Resource yang perlu dilepaskan:

• Instans Argo Workflow

• PVC sementara yang dibuat secara otomatis oleh Workflow

• Resource penyimpanan backend (cloud disk) yang dibuat secara otomatis oleh PVC.

Alur pelepasan:

1. Hapus Argo Workflow:

   Untuk skenario ini, biasanya cukup hapus resource Workflow. Karena workflow menggunakan klaim volume ephemeral, menghapus Workflow secara otomatis menghapus semua PVC yang dibuatnya. StorageClass mengatur reclaimPolicy: Delete, yang selanjutnya memicu penghapusan otomatis cloud disk backend, melepaskan resource dan menghentikan penagihan.

   # Ganti <workflow-name> dengan nama Workflow aktual
   kubectl -n argo delete workflow <workflow-name>

2. Verifikasi pembersihan resource:

   • Verifikasi PVC: Jalankan kubectl -n argo get pvc untuk mengonfirmasi semua PVC terkait workflow ini telah dihapus.

   • Verifikasi resource cloud disk: Buka Konsol ECS - Penyimpanan Blok - Disk dan pastikan tidak ada resource cloud disk yang tersisa dari workflow ini.

   • Verifikasi data sumber OSS: Operasi ini tidak memengaruhi data sumber OSS. Untuk memverifikasi, buka Konsol OSS dan pastikan dataset tetap utuh.

Setelah prefilling selesai, jika saya memperbarui file sumber di OSS, apakah data di volume akan disinkronkan secara otomatis?

Tidak. Prefilling data adalah operasi satu kali selama pembuatan volume. Setelah volume dibuat dan diisi, isinya terpisah dari data sumber OSS. Perubahan selanjutnya pada OSS tidak akan disinkronkan ke volume yang telah dibuat.

Mengapa PVC saya tetap dalam status Pending?

Pending adalah normal selama prefilling data. Jika tetap Pending dalam waktu lama, troubleshooting sebagai berikut.

1. kubectl describe pvc <pvc-name> -n <namespace>: Periksa Event PVC untuk pesan error terkait Populator.

2. kubectl describe ossvp <ossvp-name> -n <namespace>: Periksa Status dan Event OSSVP untuk status, progres, atau alasan kegagalan tugas pengisian.

3. Jika menggunakan mode generic, periksa pod yang gagal di namespace ack-volume-populator dan tinjau log-nya. Penyebab umum termasuk izin OSS tidak mencukupi, masalah jaringan, atau ruang penyimpanan tidak mencukupi.