Container Service for Kubernetes:Isi awal data OSS sesuai permintaan ke volume berkinerja tinggi

Implementasi fitur

Fitur ini menggunakan Volume Populators Kubernetes, yang dikelola oleh storage-operator ACK. Saat Anda membuat PVC yang mereferensikan resource kustom OSSVolumePopulator (OSSVP), storage-operator mencegat permintaan tersebut dan mengisi data.

Mode pengisian bergantung pada tipe volume target:

Setelah pengisian berhasil, status PVC berubah dari Pending menjadi Bound. Pod aplikasi kemudian dapat memasang PVC tersebut dan mengakses data yang telah diisi sebelumnya.

Skenario khas

Fitur ini mendukung dua kasus penggunaan utama.

Alur kerja

Langkah inti VolumePopulator serupa di kedua mode.

Skenario 1: Isi awal data ke volume bersama CPFS for Lingjun

Untuk pelatihan dan inferensi model ber-throughput tinggi yang read-only, gunakan aliran data CPFS for Lingjun untuk pra-ambil model dari OSS sesuai permintaan sehingga beberapa tugas GPU dapat membaca dengan kecepatan tinggi.

apiVersion: storage.alibabacloud.com/v1beta1
kind: OSSVolumePopulator
metadata:
  name: qwen3-32b
  # Harus berada di namespace yang sama dengan aplikasi dan PVC
  namespace: bmcpfs-dataflow-demo 
spec:
  bucket: <your-bucket-name>
  region: cn-hangzhou
  endpoint: oss-cn-hangzhou-internal.aliyuncs.com
  path: /Qwen3-32B/
  # Khusus untuk volume CPFS for Lingjun, memanfaatkan kemampuan aliran datanya
  mode: bmcpfs-dataflow
  
  # Konfigurasi lanjutan opsional untuk mode bmcpfs-dataflow
  # Contoh ini merekomendasikan pengaturan default. Abaikan jika tidak ada kebutuhan khusus.
  # bmcpfsDataflow:
    # Throughput aliran data maksimum (MB/s). Opsi: 600, 1200, 1500. Default: 600
    # throughput: 1200
    # Aktifkan transfer terenkripsi. Default: kosong (dinonaktifkan)
    # sourceSecurityType: SSL
    # Mode pengisian awal data. Default: metadataAndData untuk pengisian penuh.
    # Atur ke metadata untuk pengisian metadata saja.
    # dataType: metadataAndData

apiVersion: storage.k8s.io/v1
kind: StorageClass
metadata:
  name: bmcpfs-dataflow-demo
parameters:
  bmcpfsId: bmcpfs-29000z8xz3xxxxxxxxxxx
  vpcMountTarget: cpfs-29000z8xz3xxxxxxxxxxx-vpc-xxxxxx.cn-wulanchabu.cpfs.aliyuncs.com
  mountpointAutoSwitch: "true"
provisioner: bmcpfsplugin.csi.alibabacloud.com
# Penting: Pastikan FileSet CPFS dan data secara otomatis dibersihkan setelah penghapusan PVC
reclaimPolicy: Delete
# Direkomendasikan: Atur ke Immediate untuk memulai pengisian awal data segera setelah pembuatan PVC
volumeBindingMode: Immediate

apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: qwen3-32b
  namespace: bmcpfs-dataflow-demo
spec:
  accessModes:
    - ReadOnlyMany
  dataSourceRef:
    apiGroup: storage.alibabacloud.com
    kind: OSSVolumePopulator
    # Referensikan nama OSSVP yang dibuat di atas
    name: qwen3-32b
  resources:
    requests:
      # Harus setidaknya sebesar ukuran sumber data OSS yang direferensikan oleh OSSVP
      storage: 80Gi
  storageClassName: bmcpfs-dataflow-demo
  volumeMode: Filesystem

kubectl -n bmcpfs-dataflow-demo describe ossvp qwen3-32b

5. Buat workload dan gunakan data

Setelah PVC berstatus Bound, buat workload yang memasangnya.

Contoh ini menggunakan resource GPU. Untuk verifikasi saja, buat pod CPU dan gunakan kubectl exec untuk memeriksa data.

apiVersion: apps/v1
kind: StatefulSet
metadata:
  name: demo-apply-qwen3-32b
  namespace: bmcpfs-dataflow-demo
spec:
  replicas: 1
  selector:
    matchLabels:
      app: demo-apply-qwen3-32b
  template:
    metadata:
      labels:
        app: demo-apply-qwen3-32b
      # Gunakan tipe instans ACS HPN untuk memasang volume CPFS
      # alibabacloud.com/compute-class: "gpu-hpn"
    spec:
      # Gunakan tipe instans ACS HPN untuk memasang volume CPFS
      # nodeSelector: 
      #   alibabacloud.com/node-type: reserved
      # tolerations:
      # - key: "virtual-kubelet.io/provider" 
      #   operator: "Exists"
      #   effect: "NoSchedule"
      volumes:
        - name: model-storage
          persistentVolumeClaim:
            # Tentukan PVC yang dibuat
            claimName: qwen3-32b
        - name: dshm
          emptyDir:
            medium: Memory
            sizeLimit: 15Gi
      containers:
        - command: ["sh", "-c", "python3 -m sglang.launch_server --model-path /models/Qwen3-32B --tp 2"]
          image: registry.cn-beijing.aliyuncs.com/tool-sys/ossfs-public:demo-env-python3.12.7-sglang0.5.5
          name: sglang
          ports:
            - containerPort: 8000
              name: http
          resources:
            limits:
              nvidia.com/gpu: "2"
            requests:
              nvidia.com/gpu: "2"
          volumeMounts:
            - mountPath: /models/Qwen3-32B
              name: model-storage
            - mountPath: /dev/shm
              name: dshm

Panduan pembersihan resource

Setelah tugas pelatihan atau inferensi AI selesai, lepas volume bersama CPFS for Lingjun dan workload terkait.

Resource yang perlu dilepas:

• Workload yang menggunakan volume bersama (dalam contoh ini, StatefulSet)

• PVC yang digunakan untuk pengisian awal data

• Resource penyimpanan backend (FileSet CPFS for Lingjun) yang dibuat secara otomatis oleh PVC

Langkah pembersihan:

1. Hapus workload

   Hapus StatefulSet yang menggunakan volume untuk melepas PVC.

   kubectl delete statefulset demo-apply-qwen3-32b -n bmcpfs-dataflow-demo

2. Hapus PVC

   Dengan reclaimPolicy: Delete pada StorageClass, penghapusan PVC juga menghapus FileSet CPFS backend, melepas penyimpanan, dan menghentikan penagihan.

   kubectl delete pvc qwen3-32b -n bmcpfs-dataflow-demo

3. Verifikasi pembersihan resource:

   • Di Konsol NAS, pilih File System > File System List dan pastikan FileSet untuk PVC ini telah dihapus serta kapasitas yang digunakan berkurang.

   • Data sumber OSS tidak terpengaruh. Di Konsol OSS, pastikan dataset tetap utuh.

Prasyarat

• Aktifkan VolumePopulatorPodHandler di storage-operator.

  Setelah diaktifkan, sistem memberikan izin RBAC yang diperlukan ke komponen terkait dan pod sementara. Evaluasi risiko keamanan sebelum mengaktifkan.

  Izin RBAC yang dikonfigurasi secara otomatis

  • Memberikan izin operasi pod ke pod storage-operator di namespace ack-volume-populator

    - apiGroups: [""]
      resources: [pods]
      verbs: [get, list, watch, create, delete]

  • Memberikan izin akses tingkat kluster ke pod tugas sementara

    - apiGroups: [""]
      resources: [events]
      verbs: [create, patch, get, list]
    - apiGroups: [volumepopulators.storage.alibabacloud.com]
      resources: [ossvolumepopulators]
      verbs: [get, list, watch]

• Argo Workflows telah diinstal.

  Langkah-langkah detail

  1. Masuk ke Konsol ACK. Di panel navigasi kiri, klik Clusters.

  2. Di halaman Clusters, klik nama kluster Anda. Di panel navigasi kiri, pilih Operations > Add-ons.

  3. Di halaman Add-ons, temukan Argo Workflows dan instal sesuai petunjuk.

• Contoh ini menggunakan komputasi arsitektur tanpa server (ECI) untuk tugas pengisian awal data dan alur kerja. Instal add-on ack-virtual-node . Untuk verifikasi non-arsitektur tanpa server, hapus alibabacloud.com/eci: "true" dari resource.

1. Berikan otorisasi tugas pengisian awal data untuk mengakses OSS

Dalam mode generic, tugas pengisian awal data dijalankan sebagai pod sementara di namespace ack-volume-populator. Berikan pod tersebut akses ke bucket OSS dengan data sumber.

• Metode RRSA: Menetapkan peran RAM sementara yang berotasi otomatis ke pod untuk isolasi izin detail halus dengan keamanan lebih tinggi.

• Metode AccessKey: Menyimpan kredensial statis jangka panjang di Secret. Mudah dikonfigurasi tetapi kurang aman.

2. Buat OSSVolumePopulator (OSSVP)

Buat OSSVolumePopulator di namespace yang sama dengan aplikasi dan PVC Anda. Atur mode ke generic dan konfigurasikan otorisasi.

apiVersion: storage.alibabacloud.com/v1beta1
kind: OSSVolumePopulator
metadata:
  name: generic-demo
  # Harus berada di namespace yang sama dengan aplikasi dan PVC
  namespace: argo 
spec:
  bucket: my-test-bucket
  region: cn-hangzhou
  endpoint: oss-cn-hangzhou-internal.aliyuncs.com
  path: /many-files/
  # Mode generik untuk volume penyimpanan backend apa pun
  mode: generic
  generic:
    # Tambahkan label ke pod tugas pengisian data untuk penjadwalan ke pod ECI
    labels:
      alibabacloud.com/eci: "true"
    # Tambahkan anotasi ke pod tugas pengisian data untuk mengonfigurasi spesifikasi ECI
    annotations:
      k8s.aliyun.com/eci-use-specs: "2-4Gi"
    # Pilih salah satu antara secretRef atau rrsaConfigs
    # secretRef: oss-secret
    rrsaConfigs:
      # ARN peran RAM yang digunakan untuk otorisasi RRSA
      roleArn: "acs:ram::1234567*****:role/oss-populator"
      # ARN Penyedia OIDC kluster
      oidcProviderArn: "acs:ram::1234567*****:oidc-provider/my-oidc-provider"
    # Konfigurasikan afinitas untuk pod tugas pengisian data agar dijadwalkan ke node tertentu
    affinity:
      nodeAffinity:
        requiredDuringSchedulingIgnoredDuringExecution:
          nodeSelectorTerms:
            - matchExpressions:
                - key: "disktype"
                  operator: NotIn
                  values:
                    - "hdd"
    # Konfigurasikan toleransi untuk pod tugas pengisian data
    tolerations:
      - key: "virtual-kubelet.io/provider"
        operator: Equal
        value: "alibabacloud"
        effect: NoSchedule
    # Throughput maksimum (MB/s)
    # throughput: 1000

Parameter:

3. Siapkan StorageClass

Skenario ini memerlukan StorageClass untuk menyediakan cloud disk secara dinamis. ACK menyediakan StorageClass default dan mendukung pembuatan StorageClass secara manual.

• Contoh ini menggunakan alicloud-disk-essd dengan reclaimPolicy diatur ke Delete dan volumeBindingMode diatur ke Immediate, cocok untuk komputasi arsitektur tanpa server tanpa kesadaran zona.

• Untuk alur kerja non-arsitektur tanpa server, gunakan StorageClass dengan volumeBindingMode diatur ke WaitForFirstConsumer (seperti alicloud-disk-topology-alltype) sehingga cloud disk dan pod aplikasi dibuat di zona yang sama.

4. Buat Argo Workflow

Contoh Workflow ini menggunakan volumeClaimTemplate ephemeral untuk membuat cloud disk independen dengan data yang telah diisi sebelumnya untuk setiap tugas paralel.

apiVersion: argoproj.io/v1alpha1
kind: Workflow
metadata:
  generateName: parallel-data-process-with-ossvp-
  namespace: argo
spec:
  # Definisikan parameter input
  arguments:
    parameters:
      - name: number
        value: 2

  entrypoint: main
  # Definisikan templat klaim volume untuk setiap replika konkuren di Workflow
  volumes:
    - name: scratch-volume
      # Deklarasikan sebagai volume sementara, dihapus secara otomatis setelah Workflow selesai
      ephemeral:
        volumeClaimTemplate:
          metadata:
            labels:
              diskType: scratch-volume
          spec:
            accessModes: [ "ReadWriteOnce" ]
            # Untuk komputasi non-arsitektur tanpa server, ganti dengan alicloud-disk-topology-alltype
            storageClassName: "alicloud-disk-essd"
            resources:
              requests:
                # Harus setidaknya sebesar ukuran sumber data OSS yang direferensikan oleh OSSVP
                storage: 20Gi
            # Referensikan OSSVP sebagai sumber data
            dataSourceRef:
              apiGroup: storage.alibabacloud.com
              kind: OSSVolumePopulator
              name: generic-demo

  templates:
    - name: main
      dag:
        tasks:
          # Jalankan beberapa tugas echo secara paralel
          - name: echo-task
            template: echo-template
            arguments:
              parameters:
                - name: index
                  value: "{{item}}"
            withSequence:
              count: "{{workflow.parameters.number}}"

    - name: echo-template
      metadata:
        labels:
          # Jalankan tugas di ECI
          alibabacloud.com/eci: "true" 
      container:
        image: mirrors-ssl.aliyuncs.com/busybox:latest
        command:
          - sh
          - -c
        args:
          - |
            echo "Subtask dimulai, ID: {{inputs.parameters.index}}"
            echo "Membuat file log baru..."
            touch /scratch-volume/"{{inputs.parameters.index}}-logs"
            echo "Menampilkan isi dari disk yang diisi oleh OSSVP:"
            ls /scratch-volume
            echo "Subtask selesai, ID: {{inputs.parameters.index}}"
        volumeMounts:
        - name: scratch-volume
          mountPath: /scratch-volume
        resources:
          limits:
            cpu: '4'
            memory: 16Gi
          requests:
            cpu: '4'
            memory: 16Gi
      inputs:
        parameters:
          - name: index

Setelah membuat Workflow, periksa log dari pod tugas apa pun untuk memastikan pembacaan data yang telah diisi sebelumnya berhasil.

Di produksi, gunakan Artifact Argo Workflows untuk menyimpan hasil komputasi akhir di OSS.

# Ganti <your-workflow-pod-name> dengan nama pod aktual
kubectl -n argo logs <your-workflow-pod-name>

Output yang diharapkan:

Subtask dimulai, ID: 1
Membuat file log baru...
Menampilkan isi dari disk yang diisi oleh OSSVP:
1-logs
lost+found
results-2025-04-16T07:48:00Z
...
Subtask selesai, ID: 1

Analisis hasil:

• 1-logs: File yang ditulis oleh tugas, mengonfirmasi akses baca-tulis dan penyimpanan terisolasi antar tugas paralel.

• results-2025-04-16T07:48:00Z dan file serupa: Data yang telah diisi sebelumnya dari OSS ke cloud disk.

• lost+found: Direktori yang dibuat saat pemformatan sistem file. Abaikan.

Panduan pembersihan resource

Setelah tugas pemrosesan batch selesai, lepas volume cloud disk terisolasi dan instance Argo Workflow.

Resource yang perlu dilepas:

• Instance Argo Workflow

• PVC sementara yang dibuat secara otomatis oleh Workflow

• Resource penyimpanan backend (cloud disk) yang dibuat secara otomatis oleh PVC.

Langkah pelepasan:

1. Hapus Argo Workflow:

   Hapus resource Workflow. Dengan klaim volume ephemeral, penghapusan akan berjenjang ke semua PVC. StorageClass dengan reclaimPolicy: Delete kemudian menghapus cloud disk backend, melepas resource, dan menghentikan penagihan.

   # Ganti <workflow-name> dengan nama Workflow aktual
   kubectl -n argo delete workflow <workflow-name>

2. Verifikasi pembersihan resource:

   • Jalankan kubectl -n argo get pvc untuk memastikan semua PVC terkait workflow telah dihapus.

   • Verifikasi resource cloud disk: Buka Konsol ECS - Penyimpanan Blok - Disk dan pastikan tidak ada resource cloud disk yang tersisa dari workflow ini.

   • Data sumber OSS tidak terpengaruh. Di Konsol OSS, pastikan dataset tetap utuh.

Setelah pengisian awal selesai, jika saya memperbarui file sumber di OSS, apakah data di volume akan disinkronkan secara otomatis?

Tidak. Pengisian awal data dilakukan satu kali saat pembuatan volume. Setelah pengisian, isi volume terpisah dari data sumber OSS, dan perubahan OSS selanjutnya tidak disinkronkan.

Mengapa PVC saya tetap dalam status Pending?

Pending adalah normal selama pengisian awal data. Jika berlangsung lama, troubleshooting sebagai berikut:

1. kubectl describe pvc <pvc-name> -n <namespace>: Periksa event PVC untuk error populator.

2. kubectl describe ossvp <ossvp-name> -n <namespace>: Periksa status dan event OSSVP untuk progres atau kegagalan pengisian.

3. Dalam mode generic, periksa pod yang gagal di namespace ack-volume-populator dan tinjau log. Penyebab umum termasuk izin OSS tidak mencukupi, masalah jaringan, atau ruang penyimpanan tidak mencukupi.