Container Service for Kubernetes:Cepat deploy layanan inferensi model bahasa besar di ACK

Langkah 1: Unduh file model

1. Instal Git dan Git Large File Storage (LFS). macOS

   brew install git
   brew install git-lfs

   Windows Unduh dan instal Git dari situs resmi Git. Git Large File Storage sudah termasuk dalam Git for Windows — unduh versi terbaru. Linux (berbasis Red Hat)

   yum install git
   yum install git-lfs

   Untuk distribusi Linux lainnya, lihat situs resmi Git.

2. Klon repositori model Qwen1.5-4B-Chat dan tarik file besar:

   GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git
   cd Qwen1.5-4B-Chat
   git lfs pull

Langkah 2: Unggah file model ke OSS

1. Instal dan konfigurasikan ossutil.

2. Buat bucket. Untuk mengurangi latensi saat menarik model, buat bucket di wilayah yang sama dengan kluster Anda:

   ossutil mb oss://<your-bucket-name>

3. Buat folder di dalam bucket untuk file model:

   ossutil mkdir oss://<your-bucket-name>/Qwen1.5-4B-Chat

4. Unggah file model:

   ossutil cp -r ./Qwen1.5-4B-Chat oss://<your-bucket-name>/Qwen1.5-4B-Chat

Langkah 3: Konfigurasikan volume persisten (PV)

1. Masuk ke Konsol ACK dan klik kluster target. Di panel navigasi kiri, pilih Volumes > Persistent Volumes.

2. Klik Create. Di kotak dialog Create PV, atur parameter berikut lalu klik Create:

   Parameter	Nilai
   PV type	OSS
   Volume name	llm-model
   Capacity	20Gi
   Access mode	ReadOnlyMany
   Access certificate	Pilih Create Secret
   Optional parameters	-o umask=022 -o max_stat_cache_size=0 -o allow_other
   Bucket ID	Klik Select Bucket dan pilih bucket Anda
   OSS path	/Qwen1.5-4B-Chat
   Endpoint	Pilih Public Endpoint

Langkah 4: Konfigurasikan klaim volume persisten (PVC)

1. Di panel navigasi kiri, pilih Volumes > Persistent Volume Claims.

2. Di halaman Persistent Volume Claims, atur parameter berikut lalu klik Create:

   Parameter	Nilai
   PVC type	OSS
   Name	llm-model
   Allocation mode	Pilih Existing Volumes
   Existing volumes	Pilih PV llm-model yang dibuat pada langkah sebelumnya
   Capacity	20Gi

Langkah 5: Terapkan layanan inferensi

Jalankan perintah Arena untuk menerapkan layanan. Bendera --data memount PVC yang berisi file model yang telah dimuat sebelumnya. Karena model sudah ada di volume yang dimount, pod langsung mulai tanpa perlu mengunduh apa pun:

arena serve custom \
    --name=modelscope \
    --version=v1 \
    --gpus=1 \
    --replicas=1 \
    --restful-port=8000 \
    --readiness-probe-action="tcpSocket" \
    --readiness-probe-action-option="port: 8000" \
    --readiness-probe-option="initialDelaySeconds: 30" \
    --readiness-probe-option="periodSeconds: 30" \
    --data=llm-model:/Qwen1.5-4B-Chat \
    --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
    "MODEL_ID=/Qwen1.5-4B-Chat python3 server.py"

Output berikut mengonfirmasi bahwa layanan inferensi telah diajukan:

service/modelscope-v1 created
deployment.apps/modelscope-v1-custom-serving created
INFO[0001] The Job modelscope has been submitted successfully
INFO[0001] You can run `arena serve get modelscope --type custom-serving -n default` to check the job status

Periksa status layanan:

arena serve get modelscope

Saat status pod menunjukkan Running, layanan inferensi siap digunakan.

Bagaimana cara menarik file model dari Hugging Face alih-alih ModelScope?

Pastikan runtime kontainer dapat mengakses repositori Hugging Face, lalu atur MODEL_SOURCE=Huggingface dalam perintah Arena. Node GPU memerlukan setidaknya 30 GB ruang disk kosong untuk menampung file yang diunduh:

arena serve custom \
    --name=huggingface \
    --version=v1 \
    --gpus=1 \
    --replicas=1 \
    --restful-port=8000 \
    --readiness-probe-action="tcpSocket" \
    --readiness-probe-action-option="port: 8000" \
    --readiness-probe-option="initialDelaySeconds: 30" \
    --readiness-probe-option="periodSeconds: 30" \
    --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
    "MODEL_ID=Qwen/Qwen1.5-4B-Chat MODEL_SOURCE=Huggingface python3 server.py"

Output berikut mengonfirmasi bahwa sumber daya telah dibuat:

service/huggingface-v1 created
deployment.apps/huggingface-v1-custom-serving created
INFO[0003] The Job huggingface has been submitted successfully
INFO[0003] You can run `arena serve get huggingface --type custom-serving -n default` to check the job status

Tarik model dari Hugging Face

1. Pastikan lingkungan runtime kontainer dapat mengakses repositori Hugging Face.

2. Gunakan klien Arena untuk menerapkan layanan kustom dan tentukan gambar kontainer untuk penerapan menggunakan parameter --image. Untuk informasi lebih lanjut tentang parameter, lihat Referensi parameter perintah.

   Metode ini mengunduh file model Hugging Face ke dalam kontainer. Pastikan node GPU Anda memiliki setidaknya 30 GB ruang disk yang tersedia.

   arena serve custom \
       --name=huggingface \
       --version=v1 \
       --gpus=1 \
       --replicas=1 \
       --restful-port=8000 \
       --readiness-probe-action="tcpSocket" \
       --readiness-probe-action-option="port: 8000" \
       --readiness-probe-option="initialDelaySeconds: 30" \
       --readiness-probe-option="periodSeconds: 30" \
       --image=kube-ai-registry.cn-shanghai.cr.aliyuncs.com/kube-ai/quick-deploy-llm:v1 \
       "MODEL_ID=Qwen/Qwen1.5-4B-Chat MODEL_SOURCE=Huggingface python3 server.py"

   Output berikut menunjukkan bahwa sumber daya Kubernetes untuk layanan inferensi huggingface-v1 telah dibuat:

   service/huggingface-v1 created
   deployment.apps/huggingface-v1-custom-serving created
   INFO[0003] The Job huggingface has been submitted successfully 
   INFO[0003] You can run `arena serve get huggingface --type custom-serving -n default` to check the job status