vLLM, birden fazla model biçimini ve arka uç hızlandırıcıyı destekleyen büyük dil modelleri için bir çıkarım kütüphanesidir; bu özellik, büyük ölçekli dil modellerinin sunumu için uygun hale getirir. Bu eğitimde, V100 GPU'lar üzerinde Qwen-7B-Chat-Int8 modelini kullanarak HTTP üzerinden sorgulayabileceğiniz bir çıkarım hizmeti oluşturursunuz.
vLLM hakkında daha fazla bilgi için bkz. vllm-project.
Önkoşullar
-
GPU düğümlerine sahip bir ACK yönetilen kümesi veya ACK özel kümesi oluşturun. Küme Kubernetes 1.22 veya üzeri bir sürüm çalıştırmalı ve CUDA sürümü 12,0 veya üzeri olmalıdır. Daha fazla bilgi için bkz. Kümeye GPU düğümleri ekleme veya GPU hızlandırmalı düğümlere sahip bir ACK özel kümesi oluşturma.
(Önerilen) GPU düğümlerinde 525 sürücü sürümünü kullanın. 525.105.17 sürücü sürümünü belirtmek için GPU düğüm havuzuna
ack.aliyun.com/nvidia-driver-version:525.105.17etiketini ekleyin. Daha fazla bilgi için bkz. Bir düğüm için özel GPU sürücü sürümü belirtme. ack-kserve eklentisini yükleyin. Daha fazla bilgi için bkz. ack-kserve eklentisini yükleme.
Cloud-native AI paketini dağıtma işlemini tamamlayın.
Arena istemcisinin 0.9.15 veya üzeri bir sürümünü yükleyin. Daha fazla bilgi için bkz. Arena istemcisini yapılandırma.
Alibaba Cloud Object Storage Service (OSS) hizmetini etkinleştirin.
Adım 1: Model verilerini hazırlama ve kalıcı birimi yapılandırma
Model verilerini OSS veya NAS üzerinde hazırlayabilirsiniz. Daha fazla bilgi için bkz. ossfs 1,0 statik birim kullanma ve Statik NAS birimleri kullanma. Bu eğitimde OSS kullanılır.
Modeli yerel makinenize indirin
Bu eğitimde Qwen-7B-Chat-Int8 modeli kullanılır.
-
Git'i yüklemek için aşağıdaki komutu çalıştırın:
sudo yum install git -
Git LFS (Large File Storage) eklentisini yüklemek için aşağıdaki komutu çalıştırın:
sudo yum install git-lfs -
Qwen-7B-Chat-Int8 deposunu ModelScope'dan yerel makinenize klonlamak için aşağıdaki komutu çalıştırın:
GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen-7B-Chat-Int8.git -
Qwen-7B-Chat-Int8 depo dizinine gitmek için aşağıdaki komutu çalıştırın:
cd Qwen-7B-Chat-Int8 -
LFS tarafından yönetilen büyük dosyaları indirmek için Qwen-7B-Chat-Int8 dizininde aşağıdaki komutu çalıştırın:
git lfs pull
Model dosyalarını OSS'e yükleyin
OSS konsolu üzerinde oturum açın ve oluşturduğunuz paketin adını not edin. Paket oluşturma hakkında daha fazla bilgi için bkz. Paket oluşturma.
ossutil'i yükleyin ve yapılandırın. Daha fazla bilgi için bkz. ossutil yükleme.
-
OSS'te Qwen-7B-Chat-Int8 adlı bir dizin oluşturmak için aşağıdaki komutu çalıştırın:
ossutil mkdir oss://<Your-Bucket-Name>/Qwen-7B-Chat-Int8 -
Model dosyalarını OSS'e yüklemek için aşağıdaki komutu çalıştırın:
ossutil cp -r ./Qwen-7B-Chat-Int8 oss://<Your-Bucket-Name>/Qwen-7B-Chat-Int8
PV ve PVC yapılandırma
Hedef küme için llm-model adlı bir kalıcı birim (PV) ve kalıcı birim talebi (PVC) yapılandırın. Daha fazla bilgi için bkz. ossfs 1,0 statik birim kullanma.
-
PV temel yapılandırmaları:
Yapılandırma öğesi
Açıklama
PV Type
OSS
Volume Name:
llm-model
Access Certificate
OSS'e erişim için kullanılan AccessKey ID ve AccessKey secret değerlerini yapılandırın.
Bucket ID:
Model dosyalarını OSS'e yükleme bölümünde oluşturduğunuz OSS paketini seçin.
OSS Yolu
Modelin depolandığı yolu seçin, örneğin /Qwen-7B-Chat-Int8. -
PVC temel yapılandırmaları:
Yapılandırma öğesi
Açıklama
PVC Type
OSS
Name
llm-model
Allocation Mode
Existing Volumes seçeneğini belirleyin.
Existing VolumesSelect PV seçeneğine tıklayın ve oluşturduğunuz PV'yi seçin.
Adım 2: Çıkarım hizmetini dağıtma
Bu adımda, mevcut GPU kaynaklarını kontrol eder ve ardından vLLM çıkarım hizmetini başlatırsınız.
-
Kümede kullanılabilir olan GPU kaynaklarını kontrol etmek için aşağıdaki komutu çalıştırın:
arena top node -
vllmçıkarım hizmetini başlatmak için aşağıdaki komutu çalıştırın:arena serve kserve \ --name=qwen \ --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/vllm:0.4.1 \ --gpus=1 \ --cpu=4 \ --memory=12Gi \ --data="llm-model:/mnt/models/Qwen-7B-Chat-Int8" \ "python3 -m vllm.entrypoints.openai.api_server --port 8080 --trust-remote-code --served-model-name qwen --model /mnt/models/Qwen-7B-Chat-Int8 --gpu-memory-utilization 0.95 --quantization gptq --max-model-len=6144"
Parametre
Gerekli
Açıklama
--name
Evet
Gönderilen çıkarım hizmetinin adı. Ad genel olarak benzersiz olmalıdır.
--image
Evet
Çıkarım hizmetinin görüntü adresi.
--gpus
Hayır
Çıkarım hizmetinin kullandığı GPU sayısı. Varsayılan değer: 0.
--cpu
Hayır
Çıkarım hizmetinin kullandığı CPU sayısı.
--memory
Hayır
Çıkarım hizmetinin kullandığı bellek miktarı.
--data
Hayır
Hizmetin model adresi. Bu konuda model, konteynerdeki /mnt/models/ dizinine bağlanan llm-model içinde depolanır.Beklenen çıktı:
inferenceservice.serving.kserve.io/qwen created INFO[0006] The Job qwen has been submitted successfully INFO[0006] You can run `arena serve get qwen --type kserve -n default` to check the job status
Adım 3: Çıkarım hizmetini doğrulama
Bu adımda, dağıtım durumunu onaylar ve çıkarım hizmetine bir test isteği gönderirsiniz.
-
KServe çıkarım hizmetinin dağıtım durumunu sorgulamak için aşağıdaki komutu çalıştırın:
arena serve get qwenBeklenen çıktı:
Çıktı, KServe çıkarımının
http://qwen-default.example.comadresinde dağıtıldığını gösterir. -
Nginx Ingress ağ geçidi üzerinden çıkarım hizmetine erişmek için aşağıdaki komutu çalıştırın:
# Obtain the IP address of the Nginx Ingress. NGINX_INGRESS_IP=$(kubectl -n kube-system get svc nginx-ingress-lb -ojsonpath='{.status.loadBalancer.ingress[0].ip}') # Obtain the hostname of the inference service. SERVICE_HOSTNAME=$(kubectl get inferenceservice qwen -o jsonpath='{.status.url}' | cut -d "/" -f 3) # Send a request to access the inference service. curl -H "Host: $SERVICE_HOSTNAME" -H "Content-Type: application/json" http://$NGINX_INGRESS_IP:80/v1/chat/completions -d '{"model": "qwen", "messages": [{"role": "user", "content": "Run a test"}], "max_tokens": 10, "temperature": 0.7, "top_p": 0.9, "seed": 10}'Beklenen çıktı:
Çıktı, isteğin hizmete gönderildiğini ve beklenen JSON yanıtının döndürüldüğünü gösterir.
(İsteğe Bağlı) Adım 4: Çıkarım hizmetini silme
Hizmeti silmeden önce, hizmete ve ilgili kaynaklara artık ihtiyaç duymadığınızdan emin olun.
Çıkarım hizmetini silmek için aşağıdaki komutu çalıştırın:
arena serve delete qwen
Başvurular
Hizmet durumunu izlemek ve sorunları zamanında çözmek için Prometheus izlemeyi yapılandırmak üzere bkz. Prometheus izlemeyi yapılandırma.
KServe tabanlı model yüklemeyi hızlandırma hakkında daha fazla bilgi için bkz. Fluid kullanarak modelleri hızlandırma.