OSS gibi uzak depolama alanlarından çekilen büyük model dosyaları, KServe çıkarım hizmetlerinde uzun gecikme sürelerine ve soğuk başlatmalara neden olabilir. V100 GPU'lar üzerinde Qwen-7B-Chat-Int8 modeli kullanılarak gösterildiği gibi, model verilerini küme düğümlerinde önbelleğe almak ve yüklemeyi hızlandırmak için Fluid'i JindoRuntime ile birlikte kullanın.
Ön koşullar
Aşağıdakilere sahip olduğunuzdan emin olun:
Bir ACK Pro kümesi (ContainerOS olmayan, Kubernetes 1.22+, her biri en az 3 GB boş belleğe sahip en az 3 düğüm).
ack-fluid dağıtılmış olarak yüklenmiş cloud-native AI paketi.
Arena 0.9.15 veya sonraki bir sürümün yüklü olması.
ack-kserve bileşeninin yüklü olması.
OSS hizmetinin etkinleştirilmiş olması.
Nasıl çalışır?
Fluid, birlikte çalışan iki Kubernetes özel kaynağını sunar:
Dataset — Model dosyalarını içeren bir OSS paketi gibi uzak bir depolama yolunu işaret eder.
JindoRuntime — Veri kümesi içeriğini OSS yerine yerel okumalar için küme düğümlerindeki bellekte önbelleğe alan bir JindoFS kümesi çalıştırır.
Çıkarım hizmeti veri kümesini bağladığında, vLLM model dosyalarını her başlatmada OSS'den çekmek yerine yerel JindoFS önbelleğinden okur.
Adım 1: Model verilerini hazırlayın ve OSS'e yükleyin
Qwen-7B-Chat-Int8 modelini indirin
-
Git ve Git LFS'yi yükleyin:
sudo yum install git sudo yum install git-lfs -
ModelScope'dan Qwen-7B-Chat-Int8 deposunu klonlayın (klonlama sırasında LFS'yi atlayın):
GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int8.git -
Klonlanan dizine gidin ve LFS model dosyalarını çekin:
cd Qwen-7B-Chat-Int8 git lfs pull
Modeli OSS'e yükleyin
OSS konsolu içinde oturum açın ve paket adınızı not edin. Gerekirse bir paket oluşturun.
-
Pakette bir dizin oluşturun ve model dosyalarını yükleyin:
ossutil mkdir oss://<your-bucket-name>/Qwen-7B-Chat-Int8 ossutil cp -r ./Qwen-7B-Chat-Int8 oss://<your-bucket-name>/Qwen-7B-Chat-Int8
Adım 2: Bir veri kümesi ve JindoRuntime oluşturun
OSS kimlik bilgileri için bir Secret oluşturun
OSS AccessKey çifti için bir Secret oluşturun:
kubectl apply -f - <<EOF
apiVersion: v1
kind: Secret
metadata:
name: oss-secret
stringData:
fs.oss.accessKeyId: <your-access-key-id>
fs.oss.accessKeySecret: <your-access-key-secret>
EOF
<your-access-key-id> ve <your-access-key-secret> değerlerini kendi AccessKey çiftinizle değiştirin.
Beklenen çıktı:
secret/oss-secret created
Veri kümesini ve JindoRuntime'ı oluşturun
Aşağıdaki içeriğe sahip resource.yaml dosyasını oluşturun. Ayrıntılar için bkz. OSS'e erişimi hızlandırmak için JindoFS kullanma.
apiVersion: data.fluid.io/v1alpha1
kind: Dataset
metadata:
name: qwen-7b-chat-int8
spec:
mounts:
- mountPoint: oss://<oss_bucket>/Qwen-7b-chat-Int8 # Replace with your actual OSS path
options:
fs.oss.endpoint: <oss_endpoint> # Replace with your OSS bucket endpoint
name: models
path: "/"
encryptOptions:
- name: fs.oss.accessKeyId
valueFrom:
secretKeyRef:
name: oss-secret
key: fs.oss.accessKeyId
- name: fs.oss.accessKeySecret
valueFrom:
secretKeyRef:
name: oss-secret
key: fs.oss.accessKeySecret
---
apiVersion: data.fluid.io/v1alpha1
kind: JindoRuntime
metadata:
name: qwen-7b-chat-int8 # Must match the dataset name
spec:
replicas: 3
tieredstore:
levels:
- mediumtype: MEM # Cache in memory
volumeType: emptyDir
path: /dev/shm
quota: 3Gi # Cache capacity per replica
high: "0.95"
low: "0.7"
fuse:
resources:
requests:
memory: 2Gi
properties:
fs.oss.download.thread.concurrency: "200"
fs.oss.read.buffer.size: "8388608"
fs.oss.read.readahead.max.buffer.count: "200"
fs.oss.read.sequence.ambiguity.range: "2147483647"
Yapılandırmayı uygulayın:
kubectl apply -f resource.yaml
Beklenen çıktı:
dataset.data.fluid.io/qwen-7b-chat-int8 created
jindoruntime.data.fluid.io/qwen-7b-chat-int8 created
Adım 3: Bir vLLM çıkarım hizmeti dağıtın
Qwen-7B-Chat-Int8'i vLLM ile bir KServe çıkarım hizmeti olarak dağıtın. --data bayrağı, modelin JindoFS önbelleğinden okuması için Fluid veri kümesini bağlar.
arena serve kserve \
--name=qwen-fluid \
--image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:0.4.1 \
--gpus=1 \
--cpu=4 \
--memory=12Gi \
--data="qwen-7b-chat-int8:/mnt/models/Qwen-7B-Chat-Int8" \
"python3 -m vllm.entrypoints.openai.api_server --port 8080 --trust-remote-code --served-model-name qwen --model /mnt/models/Qwen-7B-Chat-Int8 --gpu-memory-utilization 0.95 --quantization gptq --max-model-len=6144"
Beklenen çıktı:
inferenceservice.serving.kserve.io/qwen-fluid created
INFO[0002] The Job qwen-fluid has been submitted successfully
INFO[0002] You can run `arena serve get qwen-fluid --type kserve -n default` to check the job status
Adım 4: Hızlandırma sonuçlarını doğrulayın
Veri kümesi önbellek durumunu kontrol edin
kubectl get dataset qwen-7b-chat-int8
Beklenen çıktı:
NAME UFS TOTAL SIZE CACHED CACHE CAPACITY CACHED PERCENTAGE PHASE AGE
qwen-7b-chat-int8 17.01GiB 10.46MiB 18.00GiB 0.1% Bound 23h
PHASE: Bound durumu, veri kümesinin bağlandığını ve JindoRuntime'ın etkin olduğunu onaylar. Hizmet model dosyalarını okudukça önbelleğe alınan yüzdesi artar.
Sunucu başlatma süresini kontrol edin
Sunucu başlatma süresini ölçün:
# Get the Pod name for the inference service
POD_NAME=$(kubectl get po | grep qwen-fluid | awk -F " " '{print $1}')
# Check how long the server took to become ready
kubectl logs $POD_NAME | grep -i "server ready takes"
Beklenen çıktı:
server ready takes 25.875763 s
Fluid önbellekleme ile sonraki yeniden başlatmalar, model dosyalarını OSS yerine yerel bellekten sunarak başlatma süresini azaltır. Gerçek hızlanma, veri kümesi boyutuna, düğüm belleğine ve ağ koşullarına bağlıdır.
Önbelleğe alınmış ve önbelleğe alınmamış kıyaslamalar için bkz. Adım 3: Veri hızlandırmayı test etmek için uygulamalar oluşturma.
Sorun giderme
JindoRuntime hazır değil
Belirti: resource.yaml uygulandıktan sonra veri kümesi Bound dışı bir aşamada kalır.
Neden: Yetersiz bellek nedeniyle JindoRuntime çalışanları bekliyor olabilir. Her çoğaltma için 3 GiB önbellek + Fuse sidecar için 2 GiB gerekir.
Çözüm: JindoRuntime üzerindeki olayları kontrol edin:
kubectl describe jindoruntime qwen-7b-chat-int8
Düğümlerde yeterli boş bellek yoksa, tieredstore içindeki quota değerini düşürün veya daha fazla kullanılabilir belleğe sahip düğümler ekleyin.
OSS erişim hataları
Belirti: Veri kümesi hatalar gösterir veya JindoRuntime pod'ları erişim reddedildi hatası bildirir.
Neden: oss-secret Secret'ındaki AccessKey ID veya gizli anahtar yanlış veya AccessKey'in paket üzerinde okuma izni yok.
Çözüm: Secret'taki kimlik bilgilerini doğrulayın:
kubectl get secret oss-secret -o yaml
Gerekirse Secret'ı doğru değerlerle yeniden oluşturun ve ardından JindoRuntime'ı yeniden başlatın.
Çıkarım hizmeti Pod'u init durumunda takılı kalıyor
Belirti: qwen-fluid Pod'u Init durumunda kalır.
Neden: Fuse sidecar henüz veri kümesini bağlamamış olabilir veya veri kümesi Bound aşamasında değildir.
Çözüm: Önce veri kümesi aşamasını kontrol edin:
kubectl get dataset qwen-7b-chat-int8
PHASE: Bound durumunu bekleyin. Veri kümesi Bound durumundaysa ancak Pod takılı kalmaya devam ediyorsa Pod olaylarını kontrol edin:
kubectl describe pod $POD_NAME
Sonraki adımlar
Fluid veri hızlandırma: Fluid'e genel bakış
Gelişmiş JindoRuntime önbellek yapılandırmaları: OSS'e erişimi hızlandırmak için JindoFS kullanma