Container Service for Kubernetes:Men-deploy layanan inferensi model KServe dalam mode serverless

Prasyarat

Sebelum memulai, pastikan Anda telah:

• Kluster Container Service for Kubernetes (ACK) dengan node berakselerasi GPU

• Suite AI cloud-native terinstal

• Instans ASM versi 1.17.2.7 atau lebih baru. Untuk informasi selengkapnya, lihat Buat instans ASM atau Tingkatkan instans ASM.

• Komponen KServe terinstal. Untuk informasi selengkapnya, lihat Integrasikan KServe dengan ASM untuk mengimplementasikan layanan inferensi berdasarkan model AI cloud-native.

• Klien Arena versi 0.9.11 atau lebih baru. Untuk informasi selengkapnya, lihat Konfigurasikan klien Arena.

Langkah 1: Siapkan data model

Gunakan NAS atau Object Storage Service (OSS) untuk menyimpan data model. Untuk informasi selengkapnya, lihat Pasang volume NAS yang disediakan secara statis dan Gunakan volume yang disediakan secara statis dengan ossfs 1.0. Topik ini menggunakan NAS sebagai contoh.

Langkah 2: Deploy layanan inferensi

1. Periksa sumber daya GPU yang tersedia di kluster:

   arena top node

   Output yang diharapkan:

   NAME                       IPADDRESS      ROLE    STATUS  GPU(Total)  GPU(Allocated)
   cn-beijing.192.1xx.x.xx   192.1xx.x.xx   <none>  Ready   0           0
   cn-beijing.192.1xx.x.xx   192.1xx.x.xx   <none>  Ready   0           0
   cn-beijing.192.1xx.x.xx   192.1xx.x.xx   <none>  Ready   0           0
   cn-beijing.192.1xx.x.xx   192.1xx.x.xx   <none>  Ready   1           0
   cn-beijing.192.1xx.x.xx   192.1xx.x.xx   <none>  Ready   1           0
   ---------------------------------------------------------------------------------------------------
   Allocated/Total GPUs In Cluster:
   0/2 (0.0%)

   Output menunjukkan dua node berakselerasi GPU tersedia.

2. Jalankan layanan inferensi bernama bloom-560m. PVC training-data dipasang ke /mnt/models di dalam kontainer, yaitu lokasi tempat model diunduh pada langkah 1.3.

   arena serve kserve \
       --name=bloom-560m \
       --image=ghcr.io/huggingface/text-generation-inference:1.0.2 \
       --gpus=1 \
       --cpu=6 \
       --memory=20Gi \
       --port=8080 \
       --env=STORAGE_URI=pvc://training-data \
       "text-generation-launcher --disable-custom-kernels --model-id /mnt/models/bloom-560m --num-shard 1 -p 8080"

   Output yang diharapkan:

   inferenceservice.serving.kserve.io/bloom-560m created
   INFO[0013] The Job bloom-560m has been submitted successfully
   INFO[0013] You can run `arena serve get bloom-560m --type kserve -n default` to check the job status

   Tabel berikut menjelaskan parameter-parameter tersebut.

   Parameter	Wajib	Deskripsi
   --name	Ya	Nama pekerjaan yang dikirimkan. Harus unik secara global.
   --image	Ya	Alamat gambar kontainer untuk layanan inferensi.
   --gpus	Tidak	Jumlah GPU yang dibutuhkan. Nilai default: 0.
   --cpu	Tidak	Jumlah CPU yang dibutuhkan.
   --memory	Tidak	Jumlah memori yang dibutuhkan.
   --port	Tidak	Port yang diekspos untuk akses eksternal.
   --env	Tidak	Variabel lingkungan dalam bentuk pasangan kunci-nilai. Pada contoh ini, STORAGE_URI diatur agar mengarah ke PVC tempat model disimpan.

Langkah 3: Verifikasi layanan inferensi

1. Periksa status penerapan layanan inferensi KServe:

   arena serve get bloom-560m

   Output yang diharapkan:

   Name:       bloom-560m
   Namespace:  default
   Type:       KServe
   Version:    00001
   Desired:    1
   Available:  1
   Age:        9m
   Address:    http://bloom-560m.default.example.com
   Port:       :80
   GPU:        1
   
   LatestRevision:     bloom-560m-predictor-00001
   LatestPrecent:      100
   
   Instances:
     NAME                                                   STATUS   AGE  READY  RESTARTS  GPU  NODE
     ----                                                   ------   ---  -----  --------  ---  ----
     bloom-560m-predictor-00001-deployment-ff4c49bf6-twrlp  Running  9m   2/2    0         1    cn-hongkong.192.1xx.x.xxx

   Output tersebut mengonfirmasi bahwa layanan inferensi telah diterapkan. Alamat akses model adalah http://bloom-560m.default.example.com.

2. Dapatkan alamat IP gerbang masuk ASM. Untuk informasi selengkapnya, lihat Langkah 2: Dapatkan alamat IP gerbang masuk ASM.

3. Kirim permintaan uji ke layanan inferensi menggunakan alamat IP gerbang masuk ASM:

   # Ganti ${ASM_GATEWAY} dengan alamat IP gerbang masuk ASM.
   curl -H "Host: bloom-560m.default.example.com" http://${ASM_GATEWAY}:80/generate \
       -X POST \
       -d '{"inputs":"What is Deep Learning?","parameters":{"max_new_tokens":17}}' \
       -H 'Content-Type: application/json'

   Output yang diharapkan:

   {"generated_text":" Deep Learning is a new type of machine learning that is used to solve complex problems."}

Langkah 4: Perbarui layanan inferensi

Gunakan canary deployment untuk mengalihkan trafik secara bertahap ke versi model baru sebelum beralih sepenuhnya.

1. Buat versi baru model dan salin file model di PVC ke path baru bloom-560m-v2.

2. Deploy versi baru dengan 10% trafik dialihkan ke versi tersebut:

   arena serve update kserve \
       --name bloom-560m \
       --canary-traffic-percent=10 \
       "text-generation-launcher --disable-custom-kernels --model-id /mnt/models/bloom-560m-v2 --num-shard 1 -p 8080"

3. Periksa status layanan inferensi:

   arena serve get bloom-560m

   Output yang diharapkan:

   Name:       bloom-560m
   Namespace:  default
   Type:       KServe
   Version:    00002
   Desired:    2
   Available:  2
   Age:        36m
   Address:    http://bloom-560m.default.example.com
   Port:       :80
   GPU:        2
   
   LatestRevision:     bloom-560m-predictor-00002
   LatestPrecent:      10
   PrevRevision:       bloom-560m-predictor-00001
   PrevPrecent:        90
   
   Instances:
     NAME                                                    STATUS   AGE  READY  RESTARTS  GPU  NODE
     ----                                                    ------   ---  -----  --------  ---  ----
     bloom-560m-predictor-00001-deployment-ff4c49bf6-twrlp   Running  36m  2/2    0         1    cn-hongkong.192.1xx.x.xxx
     bloom-560m-predictor-00002-deployment-5b7bb66cfb-nqprp  Running  6m   2/2    0         1    cn-hongkong.192.1xx.x.xxx

   Output tersebut menunjukkan 10% trafik dialihkan ke bloom-560m-predictor-00002 (versi baru) dan 90% ke bloom-560m-predictor-00001 (versi sebelumnya).

4. Setelah versi baru lolos pengujian, alihkan seluruh trafik ke versi tersebut:

   arena serve update kserve \
       --name bloom-560m \
       --canary-traffic-percent=100

(Opsional) Langkah 5: Hapus layanan inferensi

Hapus layanan inferensi untuk melepaskan semua sumber daya GPU dan komputasi:

arena serve delete bloom-560m