Container Service for Kubernetes：Menyebarkan layanan inferensi SGLang dengan disagregasi prefill-decode

Sebarkan layanan inferensi dengan arsitektur pemisahan Prefill/Decode. Grafik deret waktu berikut menunjukkan interaksi antara SGLang Prefill Server dan Decode Server.

• Saat permintaan inferensi pengguna diterima, Prefill Server membuat objek Sender, dan Decode Server membuat objek Receiver.

• Server Prefill dan Decode membentuk koneksi melalui handshake. Decode Server pertama kali mengalokasikan alamat memori GPU untuk menerima cache KV. Setelah Prefill Server menyelesaikan komputasinya, ia mengirim cache KV ke Decode Server. Decode Server kemudian melanjutkan komputasi token berikutnya hingga permintaan inferensi pengguna selesai.

Langkah 1: Siapkan file model Qwen3-32B

Langkah 2: Sebarkan layanan inferensi SGLang dengan pemisahan Prefill/Decode

Topik ini menggunakan RBG untuk menyebarkan layanan inferensi SGLang 2P1D. Arsitektur penyebarannya ditunjukkan pada gambar berikut.

1. Buat file sglang_pd.yaml.

   Bentangkan untuk melihat contoh kode YAML.

   apiVersion: workloads.x-k8s.io/v1alpha1
   kind: RoleBasedGroup
   metadata:
     name: sglang-pd
   spec:
     roles:
       - name: scheduler
         replicas: 1
         dependencies: [ "decode", "prefill" ]
         template:
           spec:
             volumes:
               - name: model
                 persistentVolumeClaim:
                   claimName: llm-model
             containers:
               - name: scheduler
                 image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/anolis-docker-images/docker-temp:0.3.4.post2-sglang0.4.10.post2-pytorch2.7.1.8-cuda12.8.1-py312-alinux3.2104
                 command:
                   - sh
                   - -c
                   - python3 -m sglang.srt.disaggregation.mini_lb --prefill http://sglang-pd-prefill-0.sglang-pd-prefill:8000 http://sglang-pd-prefill-1.sglang-pd-prefill:8000 --prefill-bootstrap-ports 34000 34000 --decode http://sglang-pd-decode-0.sglang-pd-decode:8000 --host 0.0.0.0 --port 8000
                 volumeMounts:
                   - mountPath: /models/Qwen3-32B/
                     name: model
   
       - name: prefill
         replicas: 2
         template:
           metadata:
             labels:
               alibabacloud.com/inference-workload: sglang-pd-prefill
               alibabacloud.com/inference_backend: sglang
           spec:
             volumes:
               - name: model
                 persistentVolumeClaim:
                   claimName: llm-model
               - name: dshm
                 emptyDir:
                   medium: Memory
                   sizeLimit: 15Gi
             containers:
               - name: sglang-prefill
                 image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/anolis-docker-images/docker-temp:0.3.4.post2-sglang0.4.10.post2-pytorch2.7.1.8-cuda12.8.1-py312-alinux3.2104
                 imagePullPolicy: Always
                 env:
                   - name: POD_IP
                     valueFrom:
                       fieldRef:
                         fieldPath: status.podIP
                 command:
                   - sh
                   - -c
                   - python3 -m sglang.launch_server --tp 2 --model-path /models/Qwen3-32B/ --disaggregation-mode prefill --port 8000 --disaggregation-bootstrap-port 34000 --host $(POD_IP) --enable-metrics
                 ports:
                   - containerPort: 8000
                     name: http
                   - containerPort: 34000
                     name: bootstrap
                 readinessProbe:
                   initialDelaySeconds: 30
                   periodSeconds: 10
                   tcpSocket:
                     port: 8000
                 resources:
                   limits:
                     nvidia.com/gpu: "2"
                     aliyun/erdma: 1
                     memory: "16Gi"
                     cpu: "4"
                   requests:
                     nvidia.com/gpu: "2"
                     aliyun/erdma: 1
                     memory: "16Gi"
                     cpu: "4"
                 volumeMounts:
                   - mountPath: /models/Qwen3-32B/
                     name: model
                   - mountPath: /dev/shm
                     name: dshm
   
       - name: decode
         replicas: 1
         template:
           metadata:
             labels:
               alibabacloud.com/inference-workload: sglang-pd-decode
               alibabacloud.com/inference_backend: sglang
           spec:
             volumes:
               - name: model
                 persistentVolumeClaim:
                   claimName: llm-model
               - name: dshm
                 emptyDir:
                   medium: Memory
                   sizeLimit: 15Gi
             containers:
               - name: sglang-decode
                 image: anolis-registry.cn-zhangjiakou.cr.aliyuncs.com/anolis-docker-images/docker-temp:0.3.4.post2-sglang0.4.10.post2-pytorch2.7.1.8-cuda12.8.1-py312-alinux3.2104
                 imagePullPolicy: Always
                 env:
                   - name: POD_IP
                     valueFrom:
                       fieldRef:
                         fieldPath: status.podIP
                 command:
                   - sh
                   - -c
                   - python3 -m sglang.launch_server --tp 2 --model-path /models/Qwen3-32B/ --disaggregation-mode decode --port 8000 --host $(POD_IP) --enable-metrics
                 ports:
                   - containerPort: 8000
                     name: http
                 readinessProbe:
                   initialDelaySeconds: 30
                   periodSeconds: 10
                   tcpSocket:
                     port: 8000
                 resources:
                   limits:
                     nvidia.com/gpu: "2"
                     aliyun/erdma: 1
                     memory: "16Gi"
                     cpu: "4"
                   requests:
                     nvidia.com/gpu: "2"
                     aliyun/erdma: 1
                     memory: "16Gi"
                     cpu: "4"
                 volumeMounts:
                   - mountPath: /models/Qwen3-32B/
                     name: model
                   - mountPath: /dev/shm
                     name: dshm
   ---
   apiVersion: v1
   kind: Service
   metadata:
     labels:
       app: sglang-pd
     name: sglang-pd
     namespace: default
   spec:
     ports:
       - name: http
         port: 8000
         protocol: TCP
         targetPort: 8000
     selector:
       rolebasedgroup.workloads.x-k8s.io/name: sglang-pd
       rolebasedgroup.workloads.x-k8s.io/role: scheduler
     type: ClusterIP
   

2. Sebarkan layanan inferensi SGLang dengan pemisahan Prefill/Decode.

   kubectl create -f sglang_pd.yaml

Langkah 3: Verifikasi layanan inferensi

1. Jalankan perintah berikut untuk membuat penerusan port antara layanan inferensi dan lingkungan lokal Anda.

   Penting

   Penerusan port yang dibuat oleh kubectl port-forward tidak memiliki keandalan, keamanan, dan skalabilitas tingkat produksi. Ini hanya cocok untuk tujuan pengembangan dan debugging, dan tidak boleh digunakan di lingkungan produksi. Untuk solusi jaringan siap produksi di kluster Kubernetes, lihat Manajemen Ingress.

   kubectl port-forward svc/sglang-pd 8000:8000

   Output yang diharapkan:

   Forwarding from 127.0.0.1:8000 -> 8000
   Forwarding from [::1]:8000 -> 8000

2. Anda dapat menjalankan perintah berikut untuk mengirim permintaan inferensi contoh ke layanan inferensi model.

   curl http://localhost:8000/v1/chat/completions -H "Content-Type: application/json"  -d '{"model": "/models/Qwen3-32B", "messages": [{"role": "user", "content": "test"}], "max_tokens": 30, "temperature": 0.7, "top_p": 0.9, "seed": 10}'

   Output yang diharapkan:

   {"id":"29f3fdac693540bfa7808fc1a8701758","object":"chat.completion","created":1753695366,"model":"/models/Qwen3-32B","choices":[{"index":0,"message":{"role":"assistant","content":"<think>\nOkay, the user wants me to do a test. I need to first confirm their specific needs. Maybe they want to test my functions, such as answering questions or generating content.","reasoning_content":null,"tool_calls":null},"logprobs":null,"finish_reason":"length","matched_stop":null}],"usage":{"prompt_tokens":10,"total_tokens":40,"completion_tokens":30,"prompt_tokens_details":null}}

   Output tersebut menunjukkan bahwa model dapat menghasilkan tanggapan berdasarkan pesan uji input.