Container Service for Kubernetes：Sebarkan Layanan Inferensi Dynamo dengan Penguraian PD

Diagram urutan berikut menunjukkan siklus hidup permintaan dalam arsitektur penguraian PD Dynamo:

• Ingesti Permintaan: Permintaan pengguna pertama kali dikirim ke komponen processor. router di dalam processor memilih decode worker yang tersedia dan meneruskan permintaan kepadanya.

• Keputusan Prefill: Decode worker menentukan apakah komputasi prefill harus dilakukan secara lokal atau didelegasikan ke prefill worker jarak jauh. Jika komputasi jarak jauh diperlukan, ia mengirim permintaan prefill ke prefill queue.

• Ekseskusi Prefill: Sebuah prefill worker mengambil permintaan dari antrian dan mengeksekusi komputasi prefill.

• Transfer KV Cache: Setelah komputasi selesai, prefill worker mentransfer KV cache yang dihasilkan ke decode worker yang ditentukan, yang kemudian melanjutkan dengan tahap decode.

Langkah 1: Siapkan file model Qwen3-32B

Langkah 2: Instal layanan etcd dan NATS

Kerangka kerja Dynamo bergantung pada dua layanan eksternal utama: etcd untuk penemuan layanan dan NATS untuk perpesanan. Secara khusus, Dynamo menggunakan NIXL untuk komunikasi lintas node, yang mendaftarkan ke etcd untuk menemukan node lain. NATS digunakan sebagai bus pesan antara pekerja prefill dan decode. Oleh karena itu, baik etcd maupun NATS harus diterapkan sebelum memulai layanan inferensi.

1. Buat file bernama etcd.yaml.

   Template YAML

   apiVersion: v1
   kind: Service
   metadata:
     name: etcd
     labels:
       app: etcd
   spec:
     ports:
       - port: 2379
         name: client
       - port: 2380
         name: peer
     clusterIP: None # Mengaktifkan mode layanan headless
     selector:
       app: etcd
   ---
   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: etcd
     labels:
       app: etcd
   spec:
     selector:
       matchLabels:
         app: etcd
     serviceName: "etcd"
     replicas: 1
     template:
       metadata:
         labels:
           app: etcd
       spec:
         containers:
           - name: etcd
             # image: bitnami/etcd:3.5.19
             image: ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/etcd:3.6.1
             volumeMounts:
               - name: data
                 mountPath: /var/lib/etcd
             env:
               - name: ETCDCTL_API
                 value: "3"
               - name: ALLOW_NONE_AUTHENTICATION
                 value: "yes"
         volumes:
           - name: data
             emptyDir: {}

   Sebarkan layanan etcd.

   kubectl apply -f etcd.yaml

2. Buat file bernama nats.yaml.

   Template YAML

   apiVersion: v1
   kind: Service
   metadata:
     name: nats
     labels:
       app: nats
   spec:
     ports:
       - port: 4222
         name: client
       - port: 8222
         name: management
       - port: 6222
         name: cluster
     selector:
       app: nats
     type: ClusterIP
   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: nats
     labels:
       app: nats
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: nats
     template:
       metadata:
         labels:
           app: nats
       spec:
         containers:
           - name: nats
             # image: nats:latest
             image: ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/nats:2.11.5
             args:
               - -js
               - --trace
               - -m
               - "8222"
             ports:
               - containerPort: 4222
               - containerPort: 8222
               - containerPort: 6222

   Sebarkan layanan NATS.

   kubectl apply -f nats.yaml

Langkah 3: Sebarkan layanan inferensi Dynamo PD-disagregasi

Topik ini menggunakan RBG untuk menyebarkan layanan Dynamo 2 prefill, 1 decode (2P1D). Baik peran prefill maupun decode akan menggunakan ukuran Tensor Parallelism (TP) sebesar 2. Arsitektur penyebaran:

1. Buat ConfigMap bernama dynamo-configs.yaml untuk menyimpan konfigurasi Dynamo dan model qwen3.

   Template YAML

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: dynamo-configs
   data:
     pd_disagg.py: |
       from components.frontend import Frontend
       from components.kv_router import Router
       from components.processor import Processor
   
       Frontend.link(Processor).link(Router)
   
     qwen3.yaml: |
       Common:
         model: /models/Qwen3-32B/
         kv-transfer-config: '{"kv_connector":"DynamoNixlConnector"}'
         router: round-robin
         # Jumlah token dalam batch untuk transfer chunk yang lebih efisien ke GPU.
         block-size: 128
         max-model-len: 2048
         max-num-batched-tokens: 2048
         disable-log-requests: true
   
       Frontend:
         served_model_name: qwen
         endpoint: dynamo.Processor.chat/completions
         port: 8000
   
       Processor:
         common-configs: [ model, router ]
   
       VllmWorker:
         common-configs: [ model, kv-transfer-config, router, block-size, max-model-len, disable-log-requests ]
         # Aktifkan prefill di pekerja yang berbeda.
         remote-prefill: true
         # Nonaktifkan prefill lokal sehingga hanya prefill disagregasi yang digunakan.
         conditional-disagg: false
         gpu-memory-utilization: 0.95
         tensor-parallel-size: 1
         ServiceArgs:
           workers: 1
           resources:
             gpu: 1
   
       PrefillWorker:
         common-configs: [ model, kv-transfer-config, block-size, max-model-len, max-num-batched-tokens, gpu-memory-utilization, disable-log-requests ]
         tensor-parallel-size: 1
         gpu-memory-utilization: 0.95
         ServiceArgs:
           workers: 1
           resources:
             gpu: 1
   

   kubectl apply -f dynamo-configs.yaml

2. Siapkan runtime image Dynamo.

   Ikuti instruksi di Komunitas Dynamo untuk membangun atau menarik image dengan vLLM sebagai kerangka kerja inferensi.

3. Buat file bernama dynamo.yaml untuk mendefinisikan RBG. Pastikan Anda mengganti placeholder dengan alamat runtime image Dynamo Anda.

   Template YAML

   apiVersion: workloads.x-k8s.io/v1alpha1
   kind: RoleBasedGroup
   metadata:
     name: dynamo-pd
     namespace: default
   spec:
     roles:
       - name: processor
         replicas: 1
         template:
           spec:
             containers:
               - command:
                   - sh
                   - -c
                   - cd /workspace/examples/llm; dynamo serve graphs.pd_disagg:Frontend -f ./configs/qwen3.yaml
                 env:
                   - name: DYNAMO_NAME
                     value: dynamo
                   - name: DYNAMO_NAMESPACE
                     value: default
                   - name: ETCD_ENDPOINTS
                     value: http://etcd:2379
                   - name: NATS_SERVER
                     value: nats://nats:4222
                   - name: DYNAMO_RP_TIMEOUT
                     value: "60"
                 image: # Alamat runtime image Dynamo yang dibangun pada Langkah 2
                 name: processor
                 ports:
                   - containerPort: 8000
                     name: health
                     protocol: TCP
                   - containerPort: 9345
                     name: request
                     protocol: TCP
                   - containerPort: 443
                     name: api
                     protocol: TCP
                   - containerPort: 9347
                     name: metrics
                     protocol: TCP
                 readinessProbe:
                   initialDelaySeconds: 30
                   periodSeconds: 30
                   tcpSocket:
                     port: 8000
                 resources:
                   limits:
                     cpu: "8"
                     memory: 12Gi
                   requests:
                     cpu: "8"
                     memory: 12Gi
                 volumeMounts:
                   - mountPath: /models/Qwen3-32B/
                     name: model
                   - mountPath: /workspace/examples/llm/configs/qwen3.yaml
                     name: dynamo-configs
                     subPath: qwen3.yaml
                   - mountPath: /workspace/examples/llm/graphs/pd_disagg.py
                     name: dynamo-configs
                     subPath: pd_disagg.py
             volumes:
               - name: model
                 persistentVolumeClaim:
                   claimName: llm-model
               - configMap:
                   name: dynamo-configs
                 name: dynamo-configs
       - name: prefill
         replicas: 2
         template:
           spec:
             containers:
               - command:
                   - sh
                   - -c
                   - cd /workspace/examples/llm; dynamo serve components.prefill_worker:PrefillWorker -f ./configs/qwen3.yaml
                 env:
                   - name: DYNAMO_NAME
                     value: dynamo
                   - name: DYNAMO_NAMESPACE
                     value: default
                   - name: ETCD_ENDPOINTS
                     value: http://etcd:2379
                   - name: NATS_SERVER
                     value: nats://nats:4222
                   - name: DYNAMO_RP_TIMEOUT
                     value: "60"
                 image: # Alamat runtime image Dynamo yang dibangun pada Langkah 2
                 name: prefill-worker
                 resources:
                   limits:
                     cpu: "12"
                     memory: 50Gi
                     nvidia.com/gpu: "2"
                   requests:
                     cpu: "12"
                     memory: 50Gi
                     nvidia.com/gpu: "2"
                 volumeMounts:
                   - mountPath: /models/Qwen3-32B/
                     name: model
                   - mountPath: /workspace/examples/llm/configs/qwen3.yaml
                     name: dynamo-configs
                     subPath: qwen3.yaml
             volumes:
               - name: model
                 persistentVolumeClaim:
                   claimName: llm-model
               - configMap:
                   name: dynamo-configs
                 name: dynamo-configs
       - name: decoder
         replicas: 1
         template:
           spec:
             containers:
               - command:
                   - sh
                   - -c
                   - cd /workspace/examples/llm; dynamo serve components.worker:VllmWorker -f ./configs/qwen3.yaml --service-name VllmWorker
                 env:
                   - name: DYNAMO_NAME
                     value: dynamo
                   - name: DYNAMO_NAMESPACE
                     value: default
                   - name: ETCD_ENDPOINTS
                     value: http://etcd:2379
                   - name: NATS_SERVER
                     value: nats://nats:4222
                   - name: DYNAMO_RP_TIMEOUT
                     value: "60"
                 image: # Alamat runtime image Dynamo yang dibangun pada Langkah 2
                 name: vllm-worker
                 resources:
                   limits:
                     cpu: "12"
                     memory: 50Gi
                     nvidia.com/gpu: "2"
                   requests:
                     cpu: "12"
                     memory: 50Gi
                     nvidia.com/gpu: "2"
                 volumeMounts:
                   - mountPath: /models/Qwen3-32B/
                     name: model
                   - mountPath: /workspace/examples/llm/configs/qwen3.yaml
                     name: dynamo-configs
                     subPath: qwen3.yaml
             volumes:
               - name: model
                 persistentVolumeClaim:
                   claimName: llm-model
               - configMap:
                   name: dynamo-configs
                 name: dynamo-configs
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: dynamo-service
   spec:
     type: ClusterIP
     ports:
       - port: 8000
         protocol: TCP
         targetPort: 8000
     selector:
       rolebasedgroup.workloads.x-k8s.io/name: dynamo-pd
       rolebasedgroup.workloads.x-k8s.io/role: processor

   Sebarkan layanan tersebut.

   kubectl apply -f ./dynamo.yaml

Langkah 4: Validasi layanan inferensi

1. Buat penerusan port antara layanan inferensi dan lingkungan lokal Anda untuk pengujian.

   Penting

   Penerusan port yang dibuat oleh kubectl port-forward tidak memiliki reliabilitas, keamanan, dan skalabilitas tingkat produksi. Ini cocok untuk tujuan pengembangan dan debugging saja dan tidak boleh digunakan di lingkungan produksi. Untuk solusi jaringan siap produksi dalam kluster Kubernetes, lihat Manajemen Ingress.

   kubectl port-forward svc/dynamo-service 8000:8000

   Keluaran yang Diharapkan:

   Forwarding from 127.0.0.1:8000 -> 8000
   Forwarding from [::1]:8000 -> 8000

2. Kirim permintaan sampel ke layanan inferensi model.

   curl http://localhost:8000/v1/chat/completions   -H "Content-Type: application/json"   -d '{"model": "qwen","messages": [{"role": "user","content": "Mari kita uji"}],"stream":false,"max_tokens": 30}'

   Keluaran yang Diharapkan:

   {"id":"31ac3203-c5f9-4b06-a4cd-4435a78d3b35","choices":[{"index":0,"message":{"content":"<think>\nBaiklah, pengguna mengirim 'Mari kita uji'. Saya perlu mengonfirmasi maksud mereka terlebih dahulu. Mereka mungkin sedang menguji kecepatan respons saya atau fungsionalitasnya, atau mungkin mereka ingin","refusal":null,"tool_calls":null,"role":"assistant","function_call":null,"audio":null},"finish_reason":"length","logprobs":null}],"created":1753702438,"model":"qwen","service_tier":null,"system_fingerprint":null,"object":"chat.completion","usage":null}

   Respon JSON yang berhasil menunjukkan bahwa layanan inferensi Dynamo PD Anda berjalan dengan benar.