Platform For AI:モデルサービスのウォームアップ

Python SDK の使用

#!/usr/bin/env python

from eas_prediction import TFRequest

# 本番リクエストと完全に一致するウォームアップリクエストを作成します。
# 入力と出力は、サービス公開後に使用されるものと同一でなければなりません。
req = TFRequest('serving_default')
req.add_feed('sentence1', [200, 15], TFRequest.DT_INT32, [1] * 200 * 15)
req.add_feed('sentence2', [200, 15], TFRequest.DT_INT32, [1] * 200 * 15)
req.add_feed('y', [200, 2], TFRequest.DT_INT32, [2] * 200 * 2)
req.add_feed('keep_rate', [], TFRequest.DT_FLOAT, [0.2])
req.add_feed('images', [1, 784], TFRequest.DT_FLOAT, [1] * 784)
req.add_fetch('sorted_labels')
req.add_fetch('sorted_probs')

# ウォームアップリクエストをバイナリファイルに保存します。
with open("warm_up.bin", "wb") as fw:
    fw.write(req.to_string())

Java SDK の使用

eas-sdk 依存関係を pom.xml に追加します：

<dependency>
  <groupId>com.aliyun.openservices.eas</groupId>
  <artifactId>eas-sdk</artifactId>
  <version>2.0.13</version>
</dependency>

最新バージョンについては、Maven リポジトリで確認してください。

import java.io.File;
import com.aliyun.openservices.eas.predict.request.TFDataType;
import com.aliyun.openservices.eas.predict.request.TFRequest;
import org.apache.commons.io.FileUtils;

public class TestTf {

    public static void main(String[] args) throws Exception {
        // 本番リクエストと完全に一致するウォームアップリクエストを作成します。
        TFRequest request = new TFRequest();
        request.setSignatureName("predict_images");

        float[] content = new float[784];
        for (int i = 0; i < content.length; i++) {
            content[i] = (float) 0.0;
        }
        request.addFeed("images", TFDataType.DT_FLOAT, new long[]{1, 784}, content);
        request.addFetch("scores");

        // リクエストをバイナリファイルに書き込みます。
        File writename = new File("/path/to/warm_up1.bin");
        FileUtils.writeByteArrayToFile(writename, request.getRequest().toByteArray());
    }
}

/path/to/warm_up1.bin を、ファイルを保存したい実際のパスに置き換えてください。

curl を使用したテストリクエストの送信

curl --data-binary @"</path/to/warmup.bin>" \
  -H 'Authorization: <your-token>' \
  <service-address>

応答が大きすぎてターミナルに表示できない場合は、--output <file-path> を追加してファイルに保存します。

ファイルの直接解析

このメソッドを使用して、実行中のサービスなしでリクエストの内容を検査します。

Python

from eas_prediction import TFRequest

req = TFRequest()
with open('/path/to/warm_up1.bin', 'rb') as wm:
    req.request_data.ParseFromString(wm.read())
    print(req.request_data)

Java

import com.aliyun.openservices.eas.predict.proto.PredictProtos;
import org.apache.commons.io.FileUtils;
import java.io.File;

public class Test {

    public static void main(String[] args) throws Exception {
        File refile = new File("/path/to/warm_up1.bin");
        byte[] data = FileUtils.readFileToByteArray(refile);
        PredictProtos.PredictRequest pb = PredictProtos.PredictRequest.parseFrom(data);
        System.out.println(pb);
    }
}

ウォームアップ後も TensorFlow モデルがファイルを再読み込みするのはなぜですか？

問題

実際のビジネスシナリオでは、TensorFlow モデルを更新すると、サービスが不安定になる可能性があります。プロセッサにウォームアップ機能を追加しても、この問題が解決しないことがあります。これは、個別の入出力シグネチャごとに、モデルがウォームアップのためにファイルを再読み込みする可能性があるためです。

原因

この問題は、TensorFlow の関数 session->Run(inputs, output_tensor_names, {}, &outputs) が、入力と output_tensor_names に対してハッシュ検証を実行するために発生します。入力または出力に変更があると、再読み込みがトリガーされます。

例えば、以下の入出力を持つ TensorFlow モデルを考えます：

Inputs:
  threshold: []; DT_FLOAT
  model_id: []; DT_STRING
  input_holder: [-1]; DT_STRING

Outputs:
  model_version_id: []; DT_STRING
  sorted_labels: [-1, 3]; DT_STRING
  sorted_probs: [-1, 3]; DT_FLOAT

ウォームアップリクエストが sorted_labels と sorted_probs のみをフェッチする場合：

request.addFeed("input_holder", TFDataType.DT_STRING, new long[]{1}, input);
request.addFeed("threshold", TFDataType.DT_FLOAT, new long[] {}, th);
request.addFeed("model_id", TFDataType.DT_STRING, new long[]{}, model_name);

request.addFetch("sorted_labels");
request.addFetch("sorted_probs");

しかし、本番リクエストでは model_version_id もフェッチする場合：

request.addFeed("input_holder", TFDataType.DT_STRING, new long[]{1}, input);
request.addFeed("threshold", TFDataType.DT_FLOAT, new long[] {}, th);
request.addFeed("model_id", TFDataType.DT_STRING, new long[]{}, model_name);

request.addFetch("sorted_labels");
request.addFetch("sorted_probs");
request.addFetch("model_version_id"); // An additional output is fetched.

この追加の出力がハッシュ値を変更するため、ウォームアップ後でも再読み込みが発生します。

解決策

各サービスは、ウォームアップに実際のビジネスリクエストを使用する必要があります。実際の本番リクエストから作成され、入力と出力が完全に一致するウォームアップファイルをアップロードしてください。session->Run が一致するリクエストで一度正常に実行されれば十分です。つまり、ウォームアップファイルは 1 つだけで済みます。