Platform For AI:TensorFlow Serving イメージを用いたサービスデプロイ

前提条件

model_config_list {
  config {
    name: 'modelA'
    base_path: '/models/modelA/'
    model_platform: 'tensorflow'
    model_version_policy{
        all: {}
    }
  }
  config {
    name: 'modelB'
    base_path: '/models/modelB/'
    model_platform: 'tensorflow'
    model_version_policy{
        specific {
            versions: 1
            versions: 2
        }
    }
    version_labels {
      	key: 'stable'
      	value: 1
    }
    version_labels {
      	key: 'canary'
      	value: 2
    }
  }
  config {
    name: 'modelC'
    base_path: '/models/modelC/'
    model_platform: 'tensorflow'
    model_version_policy{
        latest {
            num_versions: 2
        }
    }
  }
}

サービスのデプロイ

TensorFlow Serving イメージは、以下の 2 つの方法のいずれかでデプロイできます。

• シナリオベースのモデルデプロイ：基本的なデプロイシナリオに適しています。数個のパラメーターを設定するだけで、TensorFlow Serving モデルサービスをワンクリックでデプロイできます。

• カスタムモデルデプロイ：ポートの変更やモデルファイルのポーリング期間の設定など、より多くの構成オプションを調整できます。

サービスリクエストの送信

サービスは、サービスデプロイ時の実行コマンドで設定されたポート番号に応じて、HTTP および gRPC の両方のリクエストプロトコルをサポートします。以下では、modelA に対するサービスリクエストの例を示します。

1. テストデータの準備

   modelA は画像分類モデルです。トレーニングデータセットは Fashion-MNIST であり、サンプルは 28×28 のグレースケール画像です。モデルの出力は、サンプルが 10 クラスのいずれかに属する確率です。テスト目的で、modelA サービスリクエストのテストデータとして [[[[1.0]] * 28] * 28] を使用します。

2. リクエストの例

   HTTP リクエスト

   ポート番号を 8501 に設定した場合、サービスは HTTP リクエストをサポートします。以下の表に、単一モデルおよびマルチモデルデプロイにおける HTTP リクエストパスをまとめます。

   単一モデル	マルチモデル
   パス形式：<service_url>/v1/models/<モデル名>:predict 以下： シナリオベースのデプロイ： <モデル名> はカスタマイズできず、デフォルトで model になります。 カスタムデプロイ：<モデル名> は、Command to Run で設定されたモデル名です。モデル名が設定されていない場合、デフォルトは model です。	バージョンを指定しないリクエストおよびモデルバージョンを指定するリクエストの両方がサポートされています。パス形式は以下のとおりです。 バージョンを指定しない場合（デフォルトで最新バージョンが読み込まれます）： <service_url>/v1/models/<モデル名>:predict モデルバージョンを指定する場合： <service_url>/v1/models/<モデル名>/versions/<バージョン番号>:predict version_labels が設定されている場合： <service_url>/v1/models/<モデル名>/labels/<バージョンラベル>:predict ここで、<モデル名> はモデル構成ファイルで設定されたモデル名です。

   <service_url> パラメーターは、デプロイ済みサービスのエンドポイントです。エンドポイントを確認するには、Elastic Algorithm Service (EAS) ページに移動し、対象サービスの Service Type 列で Invocation Information をクリックします。コンソールでオンラインデバッグを実行する場合、このパスは自動的に入力されます。

   単一モデル modelA のシナリオベースデプロイを例にとると、HTTP リクエストパスは <service_url>/v1/models/model:predict となります。

   以下に、コンソールでのオンラインデバッグおよび Python コードを用いたサービスリクエスト送信の例を示します。

   オンラインデバッグ

   サービスがデプロイされた後、サービスの Actions 列をクリックし、Online Debugging をクリックします。Request Parameter Online Tuning には、すでに <service_url> が入力されています。アドレスにパス /v1/models/model:predict を追加し、本文 にサービスリクエストデータを設定します。

   {"signature_name": "serving_default", "instances": [[[[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0......, [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]]]]}

   パラメーターを設定した後、Send Request をクリックすると、以下のような出力が得られます。

   

   Python コードを用いた HTTP リクエストの送信

   以下に Python コードのサンプルを示します。

   from urllib import request
   import json
   
   # ご利用のサービスエンドポイントとトークンに置き換えてください。
   # これらは、呼び出し情報ページの共有ゲートウェイ - インターネットエンドポイントタブで確認できます。
   service_url = '<service_url>'
   token = '<token>'
   # シナリオベースの単一モデルデプロイの場合、モデル名は 'model' です。その他のケースについては、上記のパス説明表をご参照ください。
   model_name = "model"
   url = "{}/v1/models/{}:predict".format(service_url, model_name)
   
   # HTTP リクエストを作成します。
   req = request.Request(url, method="POST")
   req.add_header('authorization', token)
   data = {
       'signature_name': 'serving_default',
       'instances': [[[[1.0]] * 28] * 28]
   }
   
   # サービスを呼び出します。
   response = request.urlopen(req, data=json.dumps(data).encode('utf-8')).read()
   
   # 結果を表示します。
   response = json.loads(response)
   print(response)

   gRPC リクエスト

   ポート番号が 8500 に設定され、gRPC 関連の構成が追加されている場合、サービスは gRPC リクエストをサポートします。以下に Python コードのサンプルを示します。

   import grpc
   import tensorflow as tf
   from tensorflow_serving.apis import predict_pb2
   from tensorflow_serving.apis import prediction_service_pb2_grpc
   from tensorflow.core.framework import tensor_shape_pb2
   
   # サービスエンドポイントです。フォーマットについては、以下の host パラメーターの説明をご参照ください。
   host = "tf-serving-multi-grpc-test.166233998075****.cn-hangzhou.pai-eas.aliyuncs.com:80"
   # <token> をサービストークンに置き換えてください。トークンは、共有ゲートウェイ - インターネットエンドポイントタブで確認できます。
   token = "<token>"
   
   # モデル名です。以下の name パラメーターの説明をご参照ください。
   name = "<model_name>"
   signature_name = "serving_default"
   # モデルのバージョン番号に設定します。一度にリクエストを送信できるのは、単一のモデルバージョンのみです。
   version = "<version_num>"
   
   # gRPC リクエストを作成します。
   request = predict_pb2.PredictRequest()
   request.model_spec.name = name
   request.model_spec.signature_name = signature_name
   request.model_spec.version.value = version
   request.inputs["keras_tensor"].CopyFrom(tf.make_tensor_proto([[[[1.0]] * 28] * 28]))
   
   # サービスを呼び出します。
   channel = grpc.insecure_channel(host)
   stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
   metadata = (("authorization", token),)
   response, _ = stub.Predict.with_call(request, metadata=metadata)
   
   print(response)

   主なパラメーターは以下のように設定します。

   パラメーター	説明
   host	サービスエンドポイントとして設定する必要があります。エンドポイントは http:// を省略し、:80 で終わる必要があります。エンドポイントは、Elastic Algorithm Service (EAS) ページで、呼び出したいサービスの Service Type 列にある Invocation Information をクリックすることで確認できます。
   name	単一モデルの gRPC リクエストを送信する場合： シナリオベースのデプロイ：model に設定します。 カスタムデプロイ：Command to Run 構成で指定されたモデル名として設定します。実行コマンドでモデル名が指定されていない場合、デフォルトで model になります。 複数モデルの gRPC リクエストを送信する場合： モデル構成ファイルで設定されたモデル名に設定します。
   version	モデルのバージョン番号に設定します。一度にリクエストを送信できるのは、単一のモデルバージョンのみです。
   metadata	サービスのトークンです。Invocation Information ページでトークンを確認できます。

参照

• Triton Inference Server エンジンに基づく Elastic Algorithm Service (EAS) サービスのデプロイ方法については、「Triton Inference Server イメージを用いたサービスデプロイ」をご参照ください。

• カスタムイメージを開発し、それを使用して EAS サービスをデプロイすることもできます。詳細については、「カスタムイメージ」をご参照ください。