Knative での LLM サービスのデプロイとインテリジェントなルーティングの実装 - Container Service for Kubernetes

Kubernetes Gateway API と Inference Extension 仕様に基づいて構築された Gateway with Inference Extension コンポーネントは、Knative サーバーレスアーキテクチャと連携し、生成 AI 推論サービスの管理を簡素化します。複数の推論サービスワークロードに対して効率的なレイヤー 7 ルーティングと負荷分散を提供し、リクエスト同時実行数に基づく GPU リソースのオートスケーリングを実現します。

仕組み

Gateway with Inference Extension は、次の CustomResourceDefinition (CRD) を使用して、AI 推論シナリオ向けに Gateway API を拡張します。

InferencePool：AI モデルサービス向けのリソースを論理的にグループ化します。同一のコンピュート構成、アクセラレーター種別、ベースモデル、モデルサーバーを共有する Pod のセットを表します。InferencePool は高可用性を実現するために複数のノードにまたがることができます。
InferenceObjective：モデルサービスの目標を定義し、InferencePool 内の Pod が提供するモデル名と重要度レベルを指定します。Critical としてマークされたワークロードには、より高い処理優先度が付与されます。

Knative では、AI ゲートウェイのアノテーションを有効にすると、Knative Service がこれらの CRD を自動的に使用してインテリジェントなトラフィックスケジューリングを行います。

前提条件

以下の要件を満たす ACK Managed Pro クラスターを作成しました：
- Knative がデプロイされています。詳細については、「Knative コンポーネントをデプロイおよび管理する」をご参照ください。
- Gateway API コンポーネントがインストールされていること。
- Gateway with Inference Extension コンポーネント (v1.4.0-apsara.4 以降) がインストールされており、インストール時に [Enable Gateway API Inference Extension] を選択していること。
- クラスターに GPU ノードが含まれており、各ノードに 32 GiB 以上のメモリがあること (このトピックでは Qwen1.5-4B を例に使用します)。ドライバーバージョンを指定するために、ノードに特定の [ノードラベル (Labels)] が必要です。[キー] を ack.aliyun.com/nvidia-driver-version、[値] を 550.144.03 に設定します。
  GPU ノードドライバーバージョンは 550.144.03 以降を推奨します。詳細については、「バージョン番号を指定してノードの GPU ドライバーバージョンをカスタマイズする」をご参照ください。
OSS バケットを作成済みであること。
クロスリージョンのデータ転送料金を回避し、レイテンシを低減するため、クラスターと同一リージョンを選択することを推奨します。

手順1：Knative で Gateway API サポートを有効化

Knative のネットワーク設定を変更し、Ingress コントローラーとして Gateway API を指定します。

config-network ConfigMap を編集します。

kubectl edit configmap config-network -n knative-serving

data フィールドで ingress.class を変更し、変更を保存します。

apiVersion: v1
data:
  ...
  # Ingress コントローラーとして Gateway API を使用するように ingress.class を変更します。
  ingress.class: gateway-api.ingress.networking.knative.dev 
  ...
kind: ConfigMap
metadata:
  name: config-network
  namespace: knative-serving
  ...

変更が反映されていることを確認します。

kubectl get configmap config-network -n knative-serving -o yaml | grep "ingress.class"

想定される出力：

  ingress.class: gateway-api.ingress.networking.knative.dev

手順2：推論ゲートウェイの Gateway リソースの作成

外部リクエストをリッスンする Gateway リソースを作成します。この例では、ポート 8888 でリッスンするようにゲートウェイを設定します。

ゲートウェイ設定ファイル knative-gateway.yaml を作成します。

kind: Gateway
apiVersion: gateway.networking.k8s.io/v1
metadata:
  name: knative-gateway
  namespace: knative-serving
spec:
  gatewayClassName: ack-gateway
  listeners:
  - name: default
    port: 80
    protocol: HTTP
    allowedRoutes:
      namespaces:
        from: All
  - name: llm-gw
    protocol: HTTP
    # 推論サービスがリッスンするポート。
    port: 8888  
    allowedRoutes:
      namespaces:
        from: All

Gateway リソースをデプロイします。
```
kubectl apply -f knative-gateway.yaml
```
ゲートウェイのステータスを確認します。
```
kubectl get gateway knative-gateway -n knative-serving
```
出力で、PROGRAMMED が True であり、ADDRESS フィールドに IP アドレスが割り当てられていることを確認します。
```
NAME              CLASS         ADDRESS        PROGRAMMED   AGE
knative-gateway   ack-gateway   47.XX.XX.198   True         22s
```

手順3：モデルデータの準備とストレージの設定

コンテナ起動のたびにモデルを再ダウンロードしないようにするため、モデルデータを保存してマウントする OSS 静的ボリュームの使用を推奨します。

1. モデルのダウンロードと OSS へのアップロード

この手順では、Qwen1.5-4B-Chat モデルを例に使用します。モデルデータの準備のために一時的にECS インスタンスを購入し、完了後にリリースできます。

モデルをローカルディレクトリにダウンロードします。

# Git LFS をインストールします。
sudo yum install -y git git-lfs
git lfs install
# モデルリポジトリをクローンします (速度向上のため smudge をスキップします)。
GIT_LFS_SKIP_SMUDGE=1 git clone https://www.modelscope.cn/qwen/Qwen1.5-4B-Chat.git
# 実際の大容量ファイルをダウンロードします。
cd Qwen1.5-4B-Chat
git lfs pull

ossutil を使用して、モデルを OSS バケットにアップロードします。

<Bucket-Name> を実際の OSS バケット名に置き換えてください。

詳細については、「ossutil をインストールする」をご参照ください。

# ディレクトリを作成します。
ossutil mkdir oss://<Bucket-Name>/models/Qwen1.5-4B-Chat
# ファイルを再帰的にアップロードします (-r は再帰アップロードを示します)。
ossutil cp -r ./ oss://<Bucket-Name>/models/Qwen1.5-4B-Chat

2. PV と PVC の設定

モデルのロード性能を向上させるため、この例では OSS 静的ボリュームを作成します。詳細な手順については、「Use an ossfs 1.0 static volume」または「」をご参照ください。

OSS のアクセス認証情報 (Secret) を作成します。

<AccessKey-ID> と <AccessKey-Secret> を実際の情報に置き換えてください。

kubectl create secret generic oss-secret \
  --from-literal=akId='<AccessKey-ID>' \
  --from-literal=akSecret='<AccessKey-Secret>' \
  --namespace default

oss-storage.yaml ファイルを作成します。

apiVersion: v1
kind: PersistentVolume
metadata:
  name: llm-model
  labels:
    alicloud-pvname: llm-model
spec:
  capacity:
    storage: 30Gi
  # アクセスモード
  accessModes:
    - ReadWriteMany            
  persistentVolumeReclaimPolicy: Retain
  storageClassName: oss
  csi:
    driver: ossplugin.csi.alibabacloud.com
    volumeHandle: llm-model
    # Secret オブジェクトから AccessKey 情報を取得します。
    nodePublishSecretRef:
      name: oss-secret
      namespace: default
    volumeAttributes:
      # 実際の OSS バケット名に置き換えてください。
      bucket: "<Your-Bucket-Name>"         
      # バケットのリージョンに対応する内部エンドポイント。
      url: "http://oss-cn-hangzhou-internal.aliyuncs.com" 
      # OSS 内の相対パス。
      path: "/models/Qwen1.5-4B-Chat"     
---
apiVersion: v1
kind: PersistentVolumeClaim
metadata:
  name: llm-model
  namespace: default
spec:
  accessModes:
    - ReadWriteMany
  storageClassName: oss
  resources:
    requests:
      # リクエストするストレージサイズ (ボリュームの総容量を超えることはできません)。
      storage: 30Gi
  selector:
    matchLabels:
      # このラベルを使用して PV を選択します。
      alicloud-pvname: llm-model

PV と PVC をデプロイします。
```
kubectl apply -f oss-storage.yaml
```

手順4：Knative 推論サービスのデプロイ

Knative Service を作成し、AI ゲートウェイ機能を有効化して、推論向けに vLLM エンジンを設定します。

サービス設定ファイル qwen-service.yaml を作成します。

主要な設定：

knative.aliyun.com/ai-gateway: inference：推論ゲートウェイ拡張を有効にします。
autoscaling.knative.dev/metric: "concurrency"：同時実行数に基づいてオートスケーリングします。

apiVersion: serving.knative.dev/v1
kind: Service
metadata:
  name: qwen
  namespace: default
  annotations:
    # AI 推論ゲートウェイを有効にします。
    knative.aliyun.com/ai-gateway: inference          
    knative.aliyun.com/ai-gateway-inference-priority: "1"
  labels:
    release: qwen
spec:
  template:
    metadata:
      annotations:
        # オートスケーリング指標：concurrency。
        autoscaling.knative.dev/metric: "concurrency" 
        # ターゲット同時実行数。
        autoscaling.knative.dev/target: "2"           
        # インスタンスの最大数。
        autoscaling.knative.dev/max-scale: "3"        
        # インスタンスの最小数。大規模モデルの場合は、インスタンスをウォーム状態に保ち、コールドスタート時のリクエストタイムアウトを回避するため、最小数を 1 にすることを推奨します。
        autoscaling.knative.dev/min-scale: "1"        
      labels:
        release: qwen
    spec:
      containers:
      - name: vllm-container
        image: ac2-registry.cn-hangzhou.cr.aliyuncs.com/ac2/vllm:0.4.1-ubuntu22.04
        command:
        - sh
        - -c
        - python3 -m vllm.entrypoints.openai.api_server --port 8080 --trust-remote-code --model /models/Qwen1.5-4B-Chat/ --gpu-memory-utilization 0.95 --max-model-len 8192 --dtype half
        ports:
        - containerPort: 8080
        readinessProbe:
          tcpSocket:
            port: 8080
          initialDelaySeconds: 15
          periodSeconds: 5
        resources:
          limits:
            cpu: "32"
            memory: 64Gi
            # GPU リソースをリクエストします。
            nvidia.com/gpu: "1" 
          requests:
            cpu: "8"
            memory: 32Gi
            nvidia.com/gpu: "1"
        volumeMounts:
        # マウントパスは、起動コマンドの model パラメーターと一致させる必要があります。
        - mountPath: /models/Qwen1.5-4B-Chat 
          name: llm-model
      volumes:
      - name: llm-model
        persistentVolumeClaim:
          claimName: llm-model

Service をデプロイします。
```
kubectl apply -f qwen-service.yaml
```
デプロイの進捗を確認します (Ready が True になるまで待機します)。
```
kubectl get ksvc qwen -n default
```

手順5：推論サービスの検証

Service のデプロイ後、ゲートウェイの IP アドレスを使用して推論 API にアクセスします。

ゲートウェイの IP アドレスを取得します。

export GATEWAY_HOST=$(kubectl -n knative-serving get gateway/knative-gateway -o jsonpath='{.status.addresses[0].value}')
echo "Gateway IP address: $GATEWAY_HOST"

テストリクエストを送信します。
この手順では、OpenAI 形式のチャットリクエストをシミュレートします。
model の値は、手順4の起動コマンドにおける --model パスおよび volumeMounts.mountPath の値と一致させる必要があります。mountPath をカスタマイズした場合は、この値もそれに合わせて更新してください。
```
curl http://${GATEWAY_HOST}:8888/v1/chat/completions \
  -H "Host: qwen.default.example.com" \
  -H "Content-Type: application/json" \
  -d '{
    "model": "/models/Qwen1.5-4B-Chat",
    "messages": [
      {"role": "user", "content": "Explain Kubernetes in one sentence."}
    ],
    "max_tokens": 50
  }'
```
ターミナルには choices フィールドを含む JSON データが返され、content にモデルの応答が含まれます。

課金

Knative コンポーネント自体に追加料金は発生しません。ただし、コンピュート、ネットワーク、ストレージなど、サービスが使用するクラウドリソースに対して課金されます。

GPU instances：GPU インスタンスは高額です。コストを抑えるため、ノードスケーリングと併用することを推奨します。
OSS：課金には OSS のストレージ料金とリクエスト料金が含まれます。パブリックアクセスが含まれる場合は、エグレストラフィック料金も発生します。
Classic Load Balancer (CLB)：ゲートウェイにバインドされたインターネット向けロードバランサーインスタンスに対して、トラフィック料金が発生します。

詳細については、「Cloud product resource fees」または「」をご参照ください。

Container Service for Kubernetes:Knative での LLM サービスのデプロイとインテリジェントなルーティングの実装

仕組み