Container Service for Kubernetes:カスタム推論拡張機能の設定

設定方法の概要

推論拡張機能付きゲートウェイは InferencePool リソースに関連付けられており、AI モデルサービスのリソースを論理的にグループ化して管理します。InferencePool のルーティングポリシーは、次の 2 つの方法でカスタマイズできます。

1. アノテーションの使用： 特定のアノテーションを InferencePool リソースに直接適用します。

2. ConfigMap の使用： カスタム ConfigMap を作成し、InferencePool にリンクします。

次の表は、これら 2 つの方法を比較したものです。

推奨事項： 負荷分散ポリシーやサポートされている推論フレームワークの更新など、単純な変更にはアノテーションを使用します。より高度で包括的なカスタマイズには ConfigMap を使用します。

方法 1：アノテーションによるカスタマイズ

inference.networking.x-k8s.io/routing-strategy アノテーションを InferencePool リソースに追加することで、ルーティングポリシーを変更できます。たとえば、次のアノテーションは、負荷分散ポリシーをプレフィックス認識に変更します。

apiVersion: inference.networking.x-k8s.io/v1alpha2
kind: InferencePool
metadata:
  name: vllm-app-pool
  annotations:
    # 負荷分散ポリシーをプレフィックス認識に設定
    inference.networking.x-k8s.io/routing-strategy: "PREFIX_CACHE" 
spec:
  targetPortNumber: 8000
  selector:
    app: vllm-app
  extensionRef:
    name: inference-gateway-ext-proc

方法 2：ConfigMap によるカスタマイズ

推論拡張機能とゲートウェイは、envoy-gateway-system 名前空間にデプロイされます。ラベルセレクターを使用して、関連するリソースを見つけることができます。たとえば、default 名前空間にある qwen-pool という名前の InferencePool の推論拡張機能 deployment を見つけるには、次のコマンドを実行します。

kubectl get deployments -n envoy-gateway-system -l inference-pool=qwen-pool,inference-pool-namespace=default

ConfigMap を使用してカスタム設定を適用するには、次の手順に従います。

1. ConfigMap を作成してデプロイします。

   次の ConfigMap は、デフォルトのコンテナーリソース設定をオーバーライドし、podAntiAffinity ルールを追加します。

   apiVersion: v1
   data:
     deployment: |- 
       spec:
         replicas: 1
         template:
           spec:
             affinity:
               podAntiAffinity:
                 preferredDuringSchedulingIgnoredDuringExecution:
                 - weight: 100
                   podAffinityTerm:
                     labelSelector:
                       matchLabels:
                         inference-pool: qwen-pool
                         inference-pool-namespace: default
                     topologyKey: kubernetes.io/hostname
             containers:
               - name: inference-gateway-ext-proc
                 resources:
                   limits:
                     cpu: '4'
                     memory: 4G
                   requests:
                     cpu: 500m
                     memory: 1G
   kind: ConfigMap
   metadata:
     name: custom-epp

2. カスタム設定を含む ConfigMap の名前を指定するために、InferencePool にアノテーションを追加します。

   apiVersion: inference.networking.x-k8s.io/v1alpha2
   kind: InferencePool
   metadata:
     annotations:
       inference.networking.x-k8s.io/epp-overlay: custom-epp # 推論拡張機能のオーバーライド設定を指定
     name: qwen-pool
   spec:
     extensionRef:
       group: ''
       kind: Service
       name: qwen-ext-proc
     selector:
       app: qwen
     targetPortNumber: 8000