Alibaba Cloud Service Mesh:ASM および Fluid 上の KServe による AI モデルサービングの高速化

仕組み

この統合では、以下の 3 つのコンポーネントが連携します。

1. Fluid は、OSS バケットからモデルファイルをクラスターノードのローカル SSD ストレージにキャッシュします。JindoRuntime カスタムリソース (CR) が分散キャッシュを管理し、DataLoad CR が推論 Pod の起動前にデータをプリフェッチします。

2. KServe on ASM は、永続ボリューム要求 (PVC) を介してキャッシュ済みデータを参照する InferenceService CR をデプロイします。推論コンテナは、OSS からダウンロードする代わりに、Fluid が管理するマウントポイントからモデルをロードします。

3. Service Mesh (ASM) は、イングレスゲートウェイ経由でトラフィックを KServe 推論サービスにルーティングします。Knative Serving が自動スケーリングおよびスケールトゥーゼロを処理します。

リクエストが到着し、Knative がゼロから Pod をスケーリングする際、モデルはすでにローカルにキャッシュされています。そのため、Pod はリモートからのダウンロードなしに起動し、予測を提供できます。

前提条件

作業を開始する前に、以下の要件を満たしていることを確認してください。

• バージョン 1.17 以降の ASM インスタンスがあり、Kubernetes クラスターが追加されていること。詳細については、「ASM インスタンスの作成」および「ASM インスタンスへのクラスターの追加」をご参照ください。

• 以下のいずれかの Kubernetes クラスターが ASM インスタンスに追加されていること。

  • バージョン 1.22 以降の Container Service for Kubernetes (ACK) クラスター。GPU を使用した推論を行う場合は、ecs.gn6i-c16g1.4xlarge などの GPU アクセラレータ搭載ノードを含む必要があります。詳細については、「ACK マネージドクラスターの作成」または「ACK クラスターの更新」をご参照ください。

  • バージョン 1.18 以降の ACK Serverless クラスターで、CoreDNS コンポーネントがインストール済みであること。詳細については、「ACK Serverless クラスターの作成」および「システムコンポーネントの管理」をご参照ください。

• ASM インスタンスで、Istio リソースへの Kubernetes API アクセスが有効になっていること。詳細については、「データプレーンのクラスターの Kubernetes API を使用した Istio リソースへのアクセス」をご参照ください。

• ingressgateway という名前の ASM イングレスゲートウェイがあり、ポート 80 および 443 が公開されていること。詳細については、「イングレスゲートウェイの作成」をご参照ください。

• クラスターに Knative Serving コンポーネントがデプロイされており、「Knative on ASM」機能が有効になっていること。詳細については、「Knative on ASM を使用したサーバーレスアプリケーションのデプロイ」をご参照ください。

• アクティブな OSS サブスクリプションがあり、少なくとも 1 つのバケットが作成済みであること。詳細については、「OSS の有効化」および「バケットの作成」をご参照ください。

ステップ 1：KServe on ASM の有効化

1. ASM コンソールにログインします。左側のナビゲーションウィンドウで、Service Mesh > メッシュ管理 を選択します。

2. メッシュ管理 ページで、ASM インスタンスの名前をクリックします。左側のナビゲーションウィンドウで、エコシステム > KServe on ASM を選択します。

3. KServe on ASM ページで、CertManager オプションを設定し、KServe on ASM の有効化 をクリックします。KServe は証明書のライフサイクル管理のために cert-manager に依存しています。CertManager コンポーネントは、KServe とともに自動的にインストールされます。

   • クラスターに CertManager がインストールされていない場合は、クラスターに CertManager コンポーネントを自動インストールする をオンにします。

   • クラスターに CertManager がすでにインストールされている場合は、クラスターに CertManager コンポーネントを自動インストールする をオフにします。

ステップ 2：Fluid のインストールとモデルキャッシュの設定

ステップ 3：推論サービスのデプロイ

1. ご利用のクラスタータイプに応じた InferenceService 構成で oss-fluid-isvc.yaml という名前のファイルを作成します。

   ACK クラスター

      apiVersion: "serving.kserve.io/v1beta1"
      kind: "InferenceService"
      metadata:
        name: "fluid-bloom"
      spec:
        predictor:
          timeout: 600
          minReplicas: 0
          containers:
            - name: kserve-container
              image: registry.cn-hangzhou.aliyuncs.com/acs/kserve-fluid:bloom-gpu
              resources:
                limits:
                  cpu: "12"
                  memory: 48Gi
                  nvidia.com/gpu: 1  # 必要な GPU 数。GPU を使用しない場合はこの行を削除してください。
                requests:
                  cpu: "12"
                  memory: 48Gi
              env:
                - name: STORAGE_URI
                  value: "pvc://oss-data/bloom-560m"
                - name: MODEL_NAME
                  value: "bloom"
                - name: GPU_ENABLED
                  value: "True"  # GPU を使用しない場合は "False" に設定してください。

   ACK Serverless クラスター

      apiVersion: "serving.kserve.io/v1beta1"
      kind: "InferenceService"
      metadata:
        name: "fluid-bloom"
        labels:
          alibabacloud.com/fluid-sidecar-target: "eci"
        annotations:
          k8s.aliyun.com/eci-use-specs: "ecs.gn6i-c16g1.4xlarge"  # ECS インスタンスタイプ
          knative.aliyun.com/reserve-instance-eci-use-specs: "ecs.gn6i-c16g1.4xlarge"  # ECS インスタンスタイプ
      spec:
        predictor:
          timeout: 600
          minReplicas: 0
          containers:
            - name: kserve-container
              image: registry.cn-hangzhou.aliyuncs.com/acs/kserve-fluid:bloom-gpu
              resources:
                limits:
                  cpu: "12"
                  memory: 48Gi
                requests:
                  cpu: "12"
                  memory: 48Gi
              env:
                - name: STORAGE_URI
                  value: "pvc://oss-data/bloom-560m"
                - name: MODEL_NAME
                  value: "bloom"
                - name: GPU_ENABLED
                  value: "True"  # GPU を使用しない場合は "False" に設定してください。

   以下の表は、InferenceService パラメーターの説明です。

   パラメーター	値	説明
   image	registry.cn-hangzhou.aliyuncs.com/acs/kserve-fluid:bloom-gpu	モデルロードおよび推論インターフェイスを備えたサンプルイメージ。カスタマイズする場合は、「KServe Fluid Docker サンプル
   STORAGE_URI	pvc://oss-data/bloom-560m	Fluid 管理キャッシュを指す PVC ベースのストレージ URI
   MODEL_NAME	bloom	予測 API エンドポイントで使用されるモデル名
   GPU_ENABLED	True	GPU を使用しない場合は False に設定します。
   resources	12 CPU、48 GiB メモリ	BLOOM-560m モデル用のリソース割り当て。モデルサイズおよびクラスター容量に応じて調整してください。

2. 推論サービスをデプロイします。

      kubectl create -f oss-fluid-isvc.yaml -n kserve-fluid-demo

3. デプロイメントを確認します。

      kubectl get inferenceservice -n kserve-fluid-demo

   期待される出力：

      NAME          URL                                                READY   PREV   LATEST   PREVROLLEDOUTREVISION   LATESTREADYREVISION           AGE
      fluid-bloom   http://fluid-bloom.kserve-fluid-demo.example.com   True           100                              fluid-bloom-predictor-00001   2d

   READY が True と表示されれば、推論サービスが正常に動作しています。

ステップ 4：予測リクエストの送信

1. ASM イングレスゲートウェイのアドレスを取得します。

   1. ASM コンソールにログインします。左側のナビゲーションウィンドウで、Service Mesh > メッシュ管理 を選択します。

   2. メッシュ管理 ページで、ASM インスタンスの名前をクリックします。左側のナビゲーションウィンドウで、ASM ゲートウェイ > イングレスゲートウェイ を選択します。

   3. ingressgateway の サービスアドレス セクションで、サービスアドレスをコピーします。

2. テストリクエストを送信します。以下のコマンド中の <gateway-address> を、前のステップで取得したアドレスに置き換えてください。

      curl -v \
        -H "Content-Type: application/json" \
        -H "Host: fluid-bloom.kserve-fluid-demo.example.com" \
        "http://<gateway-address>:80/v1/models/bloom:predict" \
        -d '{"prompt": "It was a dark and stormy night", "result_length": 50}'

   期待される出力：

      *   Trying xxx.xx.xx.xx:80...
      * Connected to xxx.xx.xx.xx (xxx.xx.xx.xx) port 80 (#0)
      > POST /v1/models/bloom:predict HTTP/1.1
      > Host: fluid-bloom-predictor.kserve-fluid-demo.example.com
      > Content-Type: application/json
      >
      < HTTP/1.1 200 OK
      < content-type: application/json
      < server: istio-envoy
      <
      {
        "result": "It was a dark and stormy night, and the wind was blowing in the\ndirection of the west. The wind was blowing in the direction of the\nwest, and the wind was blowing in the direction of the west. The\nwind was"
      }

   200 OK 応答とともに生成されたテキストが返されれば、推論サービスが正常に動作しています。

クリーンアップ

このチュートリアルで作成したすべてのリソースを削除するには、以下のコマンドを順番に実行します。

kubectl delete inferenceservice fluid-bloom -n kserve-fluid-demo
kubectl delete dataload oss-dataload -n kserve-fluid-demo
kubectl delete dataset oss-data -n kserve-fluid-demo
kubectl delete jindoruntime oss-data -n kserve-fluid-demo
kubectl delete secret access-key -n kserve-fluid-demo
kubectl delete ns kserve-fluid-demo

次のステップ

• Fluid の概要

• Knative on ASM の概要

• Knative on ASM を使用したサーバーレスアプリケーションのデプロイ

• クラウドネイティブ推論サービス KServe と ASM の統合