Container Service for Kubernetes:PD 分離を使用して Dynamo 推論サービスをデプロイする

次のシーケンス図は、Dynamo PD 分離アーキテクチャにおけるリクエストのライフサイクルを示しています:

• リクエストの取り込み: ユーザーのリクエストは、まず processor コンポーネントに送信されます。processor 内の router は、利用可能な decode worker を選択し、リクエストを転送します。

• Prefill の決定: decode worker は、prefill 計算をローカルで実行するか、リモートの prefill worker に委任するかを決定します。リモート計算が必要な場合、prefill リクエストを prefill queue に送信します。

• Prefill の実行: prefill worker はキューからリクエストを取得し、prefill 計算を実行します。

• KV キャッシュの転送: 計算が完了すると、prefill worker は結果の KV キャッシュを指定された decode worker に転送し、decode worker は decode ステージに進みます。

ステップ 1: Qwen3-32B モデルファイルの準備

ステップ 2: etcd および NATS サービスのインストール

Dynamo フレームワークは、サービス検出のための etcd とメッセージングのための NATS という 2 つの主要な外部サービスに依存しています。具体的には、Dynamo はノード間通信に NIXL を使用し、NIXL は etcd に登録して他のノードを検出します。NATS は、prefill worker と decode worker の間のメッセージバスとして使用されます。したがって、推論サービスを開始する前に、etcd と NATS の両方をデプロイする必要があります。

1. etcd.yaml という名前のファイルを作成します。

   YAML テンプレート

   apiVersion: v1
   kind: Service
   metadata:
     name: etcd
     labels:
       app: etcd
   spec:
     ports:
       - port: 2379
         name: client
       - port: 2380
         name: peer
     clusterIP: None # ヘッドレスサービスモードを有効にします
     selector:
       app: etcd
   ---
   apiVersion: apps/v1
   kind: StatefulSet
   metadata:
     name: etcd
     labels:
       app: etcd
   spec:
     selector:
       matchLabels:
         app: etcd
     serviceName: "etcd"
     replicas: 1
     template:
       metadata:
         labels:
           app: etcd
       spec:
         containers:
           - name: etcd
             # image: bitnami/etcd:3.5.19
             image: ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/etcd:3.6.1
             volumeMounts:
               - name: data
                 mountPath: /var/lib/etcd
             env:
               - name: ETCDCTL_API
                 value: "3"
               - name: ALLOW_NONE_AUTHENTICATION
                 value: "yes"
         volumes:
           - name: data
             emptyDir: {}

   etcd サービスをデプロイします。

   kubectl apply -f etcd.yaml

2. nats.yaml という名前のファイルを作成します。

   YAML テンプレート

   apiVersion: v1
   kind: Service
   metadata:
     name: nats
     labels:
       app: nats
   spec:
     ports:
       - port: 4222
         name: client
       - port: 8222
         name: management
       - port: 6222
         name: cluster
     selector:
       app: nats
     type: ClusterIP
   ---
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: nats
     labels:
       app: nats
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: nats
     template:
       metadata:
         labels:
           app: nats
       spec:
         containers:
           - name: nats
             # image: nats:latest
             image: ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/nats:2.11.5
             args:
               - -js
               - --trace
               - -m
               - "8222"
             ports:
               - containerPort: 4222
               - containerPort: 8222
               - containerPort: 6222

   NATS サービスをデプロイします。

   kubectl apply -f nats.yaml

ステップ 3: Dynamo PD 分離推論サービスのデプロイ

このトピックでは、RBG を使用して 2 つの prefill、1 つの decode (2P1D) の Dynamo サービスをデプロイします。prefill ロールと decode ロールの両方で、テンソル並列 (TP) サイズ 2 を使用します。デプロイアーキテクチャ:

1. Dynamo と qwen3 モデルの設定を保存するために、dynamo-configs.yaml という名前の ConfigMap を作成します。

   YAML テンプレート

   apiVersion: v1
   kind: ConfigMap
   metadata:
     name: dynamo-configs
   data:
     pd_disagg.py: |
       from components.frontend import Frontend
       from components.kv_router import Router
       from components.processor import Processor
   
       Frontend.link(Processor).link(Router)
   
     qwen3.yaml: |
       Common:
         model: /models/Qwen3-32B/
         kv-transfer-config: '{"kv_connector":"DynamoNixlConnector"}'
         router: round-robin
         # GPU へのより効率的なチャンク転送のためのバッチ内のトークン数。
         block-size: 128
         max-model-len: 2048
         max-num-batched-tokens: 2048
         disable-log-requests: true
   
       Frontend:
         served_model_name: qwen
         endpoint: dynamo.Processor.chat/completions
         port: 8000
   
       Processor:
         common-configs: [ model, router ]
   
       VllmWorker:
         common-configs: [ model, kv-transfer-config, router, block-size, max-model-len, disable-log-requests ]
         # 異なる worker での prefill を有効にします。
         remote-prefill: true
         # ローカルの prefill を無効にして、分離された prefill のみを使用するようにします。
         conditional-disagg: false
         gpu-memory-utilization: 0.95
         tensor-parallel-size: 1
         ServiceArgs:
           workers: 1
           resources:
             gpu: 1
   
       PrefillWorker:
         common-configs: [ model, kv-transfer-config, block-size, max-model-len, max-num-batched-tokens, gpu-memory-utilization, disable-log-requests ]
         tensor-parallel-size: 1
         gpu-memory-utilization: 0.95
         ServiceArgs:
           workers: 1
           resources:
             gpu: 1
   

   kubectl apply -f dynamo-configs.yaml

2. Dynamo ランタイムイメージを準備します。

   Dynamo コミュニティの手順に従って、vLLM を推論フレームワークとして使用するイメージをビルドまたはプルします。

3. RBG を定義するために dynamo.yaml という名前のファイルを作成します。プレースホルダーを Dynamo ランタイムイメージのアドレスに置き換えてください。

   YAML テンプレート

   apiVersion: workloads.x-k8s.io/v1alpha1
   kind: RoleBasedGroup
   metadata:
     name: dynamo-pd
     namespace: default
   spec:
     roles:
       - name: processor
         replicas: 1
         template:
           spec:
             containers:
               - command:
                   - sh
                   - -c
                   - cd /workspace/examples/llm; dynamo serve graphs.pd_disagg:Frontend -f ./configs/qwen3.yaml
                 env:
                   - name: DYNAMO_NAME
                     value: dynamo
                   - name: DYNAMO_NAMESPACE
                     value: default
                   - name: ETCD_ENDPOINTS
                     value: http://etcd:2379
                   - name: NATS_SERVER
                     value: nats://nats:4222
                   - name: DYNAMO_RP_TIMEOUT
                     value: "60"
                 image: # ステップ 2 でビルドした Dynamo ランタイムイメージのアドレス
                 name: processor
                 ports:
                   - containerPort: 8000
                     name: health
                     protocol: TCP
                   - containerPort: 9345
                     name: request
                     protocol: TCP
                   - containerPort: 443
                     name: api
                     protocol: TCP
                   - containerPort: 9347
                     name: metrics
                     protocol: TCP
                 readinessProbe:
                   initialDelaySeconds: 30
                   periodSeconds: 30
                   tcpSocket:
                     port: 8000
                 resources:
                   limits:
                     cpu: "8"
                     memory: 12Gi
                   requests:
                     cpu: "8"
                     memory: 12Gi
                 volumeMounts:
                   - mountPath: /models/Qwen3-32B/
                     name: model
                   - mountPath: /workspace/examples/llm/configs/qwen3.yaml
                     name: dynamo-configs
                     subPath: qwen3.yaml
                   - mountPath: /workspace/examples/llm/graphs/pd_disagg.py
                     name: dynamo-configs
                     subPath: pd_disagg.py
             volumes:
               - name: model
                 persistentVolumeClaim:
                   claimName: llm-model
               - configMap:
                   name: dynamo-configs
                 name: dynamo-configs
       - name: prefill
         replicas: 2
         template:
           spec:
             containers:
               - command:
                   - sh
                   - -c
                   - cd /workspace/examples/llm; dynamo serve components.prefill_worker:PrefillWorker -f ./configs/qwen3.yaml
                 env:
                   - name: DYNAMO_NAME
                     value: dynamo
                   - name: DYNAMO_NAMESPACE
                     value: default
                   - name: ETCD_ENDPOINTS
                     value: http://etcd:2379
                   - name: NATS_SERVER
                     value: nats://nats:4222
                   - name: DYNAMO_RP_TIMEOUT
                     value: "60"
                 image: # ステップ 2 でビルドした Dynamo ランタイムイメージのアドレス
                 name: prefill-worker
                 resources:
                   limits:
                     cpu: "12"
                     memory: 50Gi
                     nvidia.com/gpu: "2"
                   requests:
                     cpu: "12"
                     memory: 50Gi
                     nvidia.com/gpu: "2"
                 volumeMounts:
                   - mountPath: /models/Qwen3-32B/
                     name: model
                   - mountPath: /workspace/examples/llm/configs/qwen3.yaml
                     name: dynamo-configs
                     subPath: qwen3.yaml
             volumes:
               - name: model
                 persistentVolumeClaim:
                   claimName: llm-model
               - configMap:
                   name: dynamo-configs
                 name: dynamo-configs
       - name: decoder
         replicas: 1
         template:
           spec:
             containers:
               - command:
                   - sh
                   - -c
                   - cd /workspace/examples/llm; dynamo serve components.worker:VllmWorker -f ./configs/qwen3.yaml --service-name VllmWorker
                 env:
                   - name: DYNAMO_NAME
                     value: dynamo
                   - name: DYNAMO_NAMESPACE
                     value: default
                   - name: ETCD_ENDPOINTS
                     value: http://etcd:2379
                   - name: NATS_SERVER
                     value: nats://nats:4222
                   - name: DYNAMO_RP_TIMEOUT
                     value: "60"
                 image: # ステップ 2 でビルドした Dynamo ランタイムイメージのアドレス
                 name: vllm-worker
                 resources:
                   limits:
                     cpu: "12"
                     memory: 50Gi
                     nvidia.com/gpu: "2"
                   requests:
                     cpu: "12"
                     memory: 50Gi
                     nvidia.com/gpu: "2"
                 volumeMounts:
                   - mountPath: /models/Qwen3-32B/
                     name: model
                   - mountPath: /workspace/examples/llm/configs/qwen3.yaml
                     name: dynamo-configs
                     subPath: qwen3.yaml
             volumes:
               - name: model
                 persistentVolumeClaim:
                   claimName: llm-model
               - configMap:
                   name: dynamo-configs
                 name: dynamo-configs
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: dynamo-service
   spec:
     type: ClusterIP
     ports:
       - port: 8000
         protocol: TCP
         targetPort: 8000
     selector:
       rolebasedgroup.workloads.x-k8s.io/name: dynamo-pd
       rolebasedgroup.workloads.x-k8s.io/role: processor

   サービスをデプロイします。

   kubectl apply -f ./dynamo.yaml

ステップ 4: 推論サービスの検証

1. テストのために、推論サービスとローカル環境の間でポートフォワーディングを確立します。

   重要

   kubectl port-forward によって確立されたポートフォワーディングには、本番環境レベルの信頼性、セキュリティ、スケーラビリティがありません。開発およびデバッグ目的でのみ適しており、本番環境では使用しないでください。Kubernetes クラスターでの本番環境に対応したネットワークソリューションについては、「Ingress 管理」をご参照ください。

   kubectl port-forward svc/dynamo-service 8000:8000

   期待される出力:

   Forwarding from 127.0.0.1:8000 -> 8000
   Forwarding from [::1]:8000 -> 8000

2. モデル推論サービスにサンプルリクエストを送信します。

   curl http://localhost:8000/v1/chat/completions   -H "Content-Type: application/json"   -d '{"model": "qwen","messages": [{"role": "user","content": "Let's test it"}],"stream":false,"max_tokens": 30}'

   期待される出力:

   {"id":"31ac3203-c5f9-4b06-a4cd-4435a78d3b35","choices":[{"index":0,"message":{"content":"<think>\nOkay, the user sent 'Let's test it'. I need to confirm their intent first. They might be testing my response speed or functionality, or maybe they want to","refusal":null,"tool_calls":null,"role":"assistant","function_call":null,"audio":null},"finish_reason":"length","logprobs":null}],"created":1753702438,"model":"qwen","service_tier":null,"system_fingerprint":null,"object":"chat.completion","usage":null}

   JSON 応答が成功すると、Dynamo PD 推論サービスが正しく実行されていることを示します。