Container Service for Kubernetes:KServe を使用した推論サービスのデプロイ

1. KServe アドオンをインストールします。

   1. ACKコンソールにログインします。 左側のナビゲーションウィンドウで、[クラスター] をクリックします。

   2. [クラスター] ページで、管理するクラスターの名前をクリックします。 左側のナビゲーションウィンドウで、[アプリケーション] > [ネイティブ] を選択します。

   3. アドオン管理 タブの アドオンコンポーネント セクションで、KServe アドオンを見つけてデプロイします。

2. Istio VirtualService の作成を無効にします。

   inferenceservice-config ConfigMap を編集し、disableIstioVirtualHost を true に設定します。

   kubectl get configmap inferenceservice-config -n kserve -o yaml \
   | sed 's/"disableIstioVirtualHost": false/"disableIstioVirtualHost": true/g' \
   | kubectl apply -f -

   想定される出力:

   configmap/inferenceservice-config configured

3. 設定を確認します。

   kubectl get configmap inferenceservice-config -n kserve -o yaml \
   | grep '"disableIstioVirtualHost":' \
   | tail -n1 \
   | awk -F':' '{gsub(/[ ,]/,"",$2); print $2}'

   出力が true であれば、設定が更新されたことを示します。

4. KServe コントローラーを再起動して、設定変更を適用します。

   kubectl rollout restart deployment kserve-controller-manager -n kserve

InferenceService が Not Ready 状態の場合

問題をトラブルシューティングするには：

1. kubectl describe inferenceservice <yourServiceName> を実行し、イベントでエラーメッセージを確認します。

2. kubectl get pods を実行して、サービスに関連付けられた Pod が Error または CrashLoopBackOff 状態になっていないか確認します。これらの Pod の名前は通常、サービス名で始まります。

3. Pod が異常な状態の場合は、kubectl logs <pod-name> -c kserve-container を実行してモデルサービスコンテナのログを表示し、ネットワークエラーやモデルファイル形式の誤りなどによるモデルの読み込み失敗がないか確認します。

カスタムモデルのデプロイ

モデルファイルを OSS バケットにアップロードできます。InferenceService を作成する際、spec.predictor.model.storageUri フィールドの値をモデルファイルの URI に置き換えます。また、modelFormat パラメータを、モデルフレームワークに基づいて tensorflow、pytorch、onnx などの有効な値に設定する必要があります。

GPU リソースの設定

モデルの推論に GPU が必要な場合は、resources フィールドを InferenceService YAML ファイルの predictor セクションに追加して、GPU リソースをリクエストできます。例：

Knative で GPU リソースを使用する方法の詳細については、「GPU リソースを使用する」をご参照ください。

spec:
  predictor:
    resources:
      requests:
        nvidia.com/gpu: "1"
      limits:
        nvidia.com/gpu: "1"