Tüm Ürünler
Search
Belge Merkezi

Container Service for Kubernetes:Accelerate models with Fluid on KServe

Son Güncelleme:Oct 21, 2026

OSS gibi uzak depolama alanlarından çekilen büyük model dosyaları, KServe çıkarım hizmetlerinde uzun gecikme sürelerine ve soğuk başlatmalara neden olabilir. V100 GPU'lar üzerinde Qwen-7B-Chat-Int8 modeli kullanılarak gösterildiği gibi, model verilerini küme düğümlerinde önbelleğe almak ve yüklemeyi hızlandırmak için Fluid'i JindoRuntime ile birlikte kullanın.

Ön koşullar

Aşağıdakilere sahip olduğunuzdan emin olun:

  • Bir ACK Pro kümesi (ContainerOS olmayan, Kubernetes 1.22+, her biri en az 3 GB boş belleğe sahip en az 3 düğüm).

  • ack-fluid dağıtılmış olarak yüklenmiş cloud-native AI paketi.

  • Arena 0.9.15 veya sonraki bir sürümün yüklü olması.

  • ack-kserve bileşeninin yüklü olması.

  • OSS hizmetinin etkinleştirilmiş olması.

Nasıl çalışır?

Fluid, birlikte çalışan iki Kubernetes özel kaynağını sunar:

  • Dataset — Model dosyalarını içeren bir OSS paketi gibi uzak bir depolama yolunu işaret eder.

  • JindoRuntime — Veri kümesi içeriğini OSS yerine yerel okumalar için küme düğümlerindeki bellekte önbelleğe alan bir JindoFS kümesi çalıştırır.

Çıkarım hizmeti veri kümesini bağladığında, vLLM model dosyalarını her başlatmada OSS'den çekmek yerine yerel JindoFS önbelleğinden okur.

Adım 1: Model verilerini hazırlayın ve OSS'e yükleyin

Qwen-7B-Chat-Int8 modelini indirin

  1. Git ve Git LFS'yi yükleyin:

    sudo yum install git
    sudo yum install git-lfs
  2. ModelScope'dan Qwen-7B-Chat-Int8 deposunu klonlayın (klonlama sırasında LFS'yi atlayın):

    GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int8.git
  3. Klonlanan dizine gidin ve LFS model dosyalarını çekin:

    cd Qwen-7B-Chat-Int8
    git lfs pull

Modeli OSS'e yükleyin

  1. OSS konsolu içinde oturum açın ve paket adınızı not edin. Gerekirse bir paket oluşturun.

  2. ossutil'i yükleyin ve yapılandırın.

  3. Pakette bir dizin oluşturun ve model dosyalarını yükleyin:

    ossutil mkdir oss://<your-bucket-name>/Qwen-7B-Chat-Int8
    ossutil cp -r ./Qwen-7B-Chat-Int8 oss://<your-bucket-name>/Qwen-7B-Chat-Int8

Adım 2: Bir veri kümesi ve JindoRuntime oluşturun

OSS kimlik bilgileri için bir Secret oluşturun

OSS AccessKey çifti için bir Secret oluşturun:

kubectl apply -f - <<EOF
apiVersion: v1
kind: Secret
metadata:
  name: oss-secret
stringData:
  fs.oss.accessKeyId: <your-access-key-id>
  fs.oss.accessKeySecret: <your-access-key-secret>
EOF

<your-access-key-id> ve <your-access-key-secret> değerlerini kendi AccessKey çiftinizle değiştirin.

Beklenen çıktı:

secret/oss-secret created

Veri kümesini ve JindoRuntime'ı oluşturun

Aşağıdaki içeriğe sahip resource.yaml dosyasını oluşturun. Ayrıntılar için bkz. OSS'e erişimi hızlandırmak için JindoFS kullanma.

apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
  name: qwen-7b-chat-int8
spec:
  mounts:
    - mountPoint: oss://<oss_bucket>/Qwen-7b-chat-Int8  # Replace with your actual OSS path
      options:
        fs.oss.endpoint: <oss_endpoint>                  # Replace with your OSS bucket endpoint
      name: models
      path: "/"
      encryptOptions:
        - name: fs.oss.accessKeyId
          valueFrom:
            secretKeyRef:
              name: oss-secret
              key: fs.oss.accessKeyId
        - name: fs.oss.accessKeySecret
          valueFrom:
            secretKeyRef:
              name: oss-secret
              key: fs.oss.accessKeySecret
---
apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
  name: qwen-7b-chat-int8  # Must match the dataset name
spec:
  replicas: 3
  tieredstore:
    levels:
      - mediumtype: MEM       # Cache in memory
        volumeType: emptyDir
        path: /dev/shm
        quota: 3Gi            # Cache capacity per replica
        high: "0.95"
        low: "0.7"
  fuse:
    resources:
      requests:
        memory: 2Gi
    properties:
      fs.oss.download.thread.concurrency: "200"
      fs.oss.read.buffer.size: "8388608"
      fs.oss.read.readahead.max.buffer.count: "200"
      fs.oss.read.sequence.ambiguity.range: "2147483647"

Yapılandırmayı uygulayın:

kubectl apply -f resource.yaml

Beklenen çıktı:

dataset.data.fluid.io/qwen-7b-chat-int8 created
jindoruntime.data.fluid.io/qwen-7b-chat-int8 created

Adım 3: Bir vLLM çıkarım hizmeti dağıtın

Qwen-7B-Chat-Int8'i vLLM ile bir KServe çıkarım hizmeti olarak dağıtın. --data bayrağı, modelin JindoFS önbelleğinden okuması için Fluid veri kümesini bağlar.

arena serve kserve \
    --name=qwen-fluid \
    --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:0.4.1 \
    --gpus=1 \
    --cpu=4 \
    --memory=12Gi \
    --data="qwen-7b-chat-int8:/mnt/models/Qwen-7B-Chat-Int8" \
    "python3 -m vllm.entrypoints.openai.api_server --port 8080 --trust-remote-code --served-model-name qwen --model /mnt/models/Qwen-7B-Chat-Int8 --gpu-memory-utilization 0.95 --quantization gptq --max-model-len=6144"

Beklenen çıktı:

inferenceservice.serving.kserve.io/qwen-fluid created
INFO[0002] The Job qwen-fluid has been submitted successfully
INFO[0002] You can run `arena serve get qwen-fluid --type kserve -n default` to check the job status

Adım 4: Hızlandırma sonuçlarını doğrulayın

Veri kümesi önbellek durumunu kontrol edin

kubectl get dataset qwen-7b-chat-int8

Beklenen çıktı:

NAME                UFS TOTAL SIZE   CACHED     CACHE CAPACITY   CACHED PERCENTAGE   PHASE   AGE
qwen-7b-chat-int8   17.01GiB         10.46MiB   18.00GiB         0.1%                Bound   23h

PHASE: Bound durumu, veri kümesinin bağlandığını ve JindoRuntime'ın etkin olduğunu onaylar. Hizmet model dosyalarını okudukça önbelleğe alınan yüzdesi artar.

Sunucu başlatma süresini kontrol edin

Sunucu başlatma süresini ölçün:

# Get the Pod name for the inference service
POD_NAME=$(kubectl get po | grep qwen-fluid | awk -F " " '{print $1}')
# Check how long the server took to become ready
kubectl logs $POD_NAME | grep -i "server ready takes"

Beklenen çıktı:

server ready takes 25.875763 s

Fluid önbellekleme ile sonraki yeniden başlatmalar, model dosyalarını OSS yerine yerel bellekten sunarak başlatma süresini azaltır. Gerçek hızlanma, veri kümesi boyutuna, düğüm belleğine ve ağ koşullarına bağlıdır.

Önbelleğe alınmış ve önbelleğe alınmamış kıyaslamalar için bkz. Adım 3: Veri hızlandırmayı test etmek için uygulamalar oluşturma.

Sorun giderme

JindoRuntime hazır değil

Belirti: resource.yaml uygulandıktan sonra veri kümesi Bound dışı bir aşamada kalır.

Neden: Yetersiz bellek nedeniyle JindoRuntime çalışanları bekliyor olabilir. Her çoğaltma için 3 GiB önbellek + Fuse sidecar için 2 GiB gerekir.

Çözüm: JindoRuntime üzerindeki olayları kontrol edin:

kubectl describe jindoruntime qwen-7b-chat-int8

Düğümlerde yeterli boş bellek yoksa, tieredstore içindeki quota değerini düşürün veya daha fazla kullanılabilir belleğe sahip düğümler ekleyin.

OSS erişim hataları

Belirti: Veri kümesi hatalar gösterir veya JindoRuntime pod'ları erişim reddedildi hatası bildirir.

Neden: oss-secret Secret'ındaki AccessKey ID veya gizli anahtar yanlış veya AccessKey'in paket üzerinde okuma izni yok.

Çözüm: Secret'taki kimlik bilgilerini doğrulayın:

kubectl get secret oss-secret -o yaml

Gerekirse Secret'ı doğru değerlerle yeniden oluşturun ve ardından JindoRuntime'ı yeniden başlatın.

Çıkarım hizmeti Pod'u init durumunda takılı kalıyor

Belirti: qwen-fluid Pod'u Init durumunda kalır.

Neden: Fuse sidecar henüz veri kümesini bağlamamış olabilir veya veri kümesi Bound aşamasında değildir.

Çözüm: Önce veri kümesi aşamasını kontrol edin:

kubectl get dataset qwen-7b-chat-int8

PHASE: Bound durumunu bekleyin. Veri kümesi Bound durumundaysa ancak Pod takılı kalmaya devam ediyorsa Pod olaylarını kontrol edin:

kubectl describe pod $POD_NAME

Sonraki adımlar

Kaynaklar