Platform For AI:Penerapan layanan model menggunakan gambar TensorFlow Serving

Prasyarat

model_config_list {
  config {
    name: 'modelA'
    base_path: '/models/modelA/'
    model_platform: 'tensorflow'
    model_version_policy{
        all: {}
    }
  }
  config {
    name: 'modelB'
    base_path: '/models/modelB/'
    model_platform: 'tensorflow'
    model_version_policy{
        specific {
            versions: 1
            versions: 2
        }
    }
    version_labels {
      	key: 'stable'
      	value: 1
    }
    version_labels {
      	key: 'canary'
      	value: 2
    }
  }
  config {
    name: 'modelC'
    base_path: '/models/modelC/'
    model_platform: 'tensorflow'
    model_version_policy{
        latest {
            num_versions: 2
        }
    }
  }
}

Penerapan layanan

Terapkan layanan TensorFlow Serving menggunakan salah satu metode penerapan berbasis gambar berikut:

• Penerapan berbasis skenario: Metode ini ideal untuk skenario dasar dan hanya memerlukan konfigurasi beberapa parameter.

• Penerapan kustom: Metode ini menawarkan fleksibilitas lebih tinggi untuk mengonfigurasi opsi, seperti mengubah port atau mengatur interval polling untuk file model.

Permintaan layanan

Protokol permintaan (HTTP atau gRPC) bergantung pada port yang dikonfigurasi selama penerapan layanan. Contoh berikut menggunakan modelA.

1. Siapkan data uji

   modelA adalah model klasifikasi gambar yang dilatih pada dataset Fashion-MNIST. Setiap sampel adalah gambar grayscale berukuran 28×28. Model menghasilkan probabilitas sampel termasuk dalam masing-masing dari 10 kelas. Untuk pengujian, gunakan [[[[1.0]] * 28] * 28] sebagai data masukan untuk permintaan layanan modelA.

2. Contoh permintaan

   Permintaan HTTP

   Saat nomor port diatur ke 8501, layanan mendukung permintaan HTTP. Tabel berikut merangkum jalur permintaan HTTP untuk penerapan satu model dan multi-model.

   Satu model

   Beberapa model

   Format jalur: <service_url>/v1/models/<model_name>:predict Di mana: Penerapan berbasis skenario: <model_name> tidak dapat dikustomisasi dan secara default bernilai model. Penerapan kustom: <model_name> adalah nama model yang dikonfigurasi di bidang Command to Run. Jika nama model tidak ditentukan, nilai default-nya adalah model.

   Anda dapat mengirim permintaan tanpa menentukan versi atau dengan menentukan versi model. Format jalurnya adalah sebagai berikut: Tanpa menentukan versi (versi terbaru dimuat secara default): <service_url>/v1/models/<model_name>:predict Dengan menentukan versi model: <service_url>/v1/models/<model_name>/versions/<version_num>:predict Jika label versi telah ditetapkan: <service_url>/v1/models/<model_name>/labels/<version label>:predict Dalam kasus ini, <model_name> adalah nama model yang ditentukan dalam file konfigurasi model.

   <service_url> adalah URL layanan yang telah diterapkan. Di halaman Elastic Algorithm Service (EAS), klik Invocation Information di kolom Service Type untuk layanan tersebut guna melihat URL layanan. Saat menggunakan debugging online, konsol secara otomatis mengisi bagian jalur ini.

   Untuk penerapan berbasis skenario model tunggal modelA, jalur permintaan HTTP-nya adalah <service_url>/v1/models/model:predict.

   Contoh berikut menunjukkan cara mengirim permintaan layanan menggunakan fitur debugging online di konsol dan menggunakan kode Python.

   Debugging online

   Setelah layanan diterapkan, klik Online Debugging di kolom Actions untuk layanan tersebut. Di bagian Request Parameter Online Tuning, URL layanan telah diisi sebelumnya. Tambahkan jalur /v1/models/model:predict ke URL tersebut dan konfigurasikan data permintaan di bidang Body:

   {"signature_name": "serving_default", "instances": [[[[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0]], [[1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0], [1.0......

   Setelah parameter dikonfigurasi, klik Send Request. Output-nya mirip dengan berikut.

   Status Code: 200
   Connection: Keep-Alive
   Content-Length: 158
   Content-Type: application/json
   Date: Fri, 08 Nov 2024 02:28:08 GMT
   Body: {
       "predictions": [[-9.40927601, -5.41267443, -15.9157038, -15.7119455, -16.194952, -42.5621414, -7.23207045, -43.1042442, 4.25585461, -31.3991375]
       ]
   }

   Kirim permintaan HTTP dengan Python

   Berikut adalah contoh kode Python:

   from urllib import request
   import json
   # Ganti placeholder berikut dengan URL layanan dan token Anda.
   # Untuk mendapatkan informasi ini, klik Invocation Information di daftar layanan inferensi dan buka tab Public Endpoint.
   service_url = '<service_url>'
   token = '<test-token>'
   # Untuk penerapan satu model berbasis skenario, atur model_name menjadi "model".
   # Untuk skenario lain, lihat tabel deskripsi jalur di atas.
   model_name = "model"
   url = "{}/v1/models/{}:predict".format(service_url, model_name)
   # Buat permintaan HTTP.
   req = request.Request(url, method="POST")
   req.add_header('authorization', token)
   data = {
       'signature_name': 'serving_default',
       'instances': [[[[1.0]] * 28] * 28]
   }
   # Kirim permintaan ke layanan.
   response = request.urlopen(req, data=json.dumps(data).encode('utf-8')).read()
   # Lihat respons.
   response = json.loads(response)
   print(response)

   Permintaan gRPC

   Setelah Anda mengatur nomor port ke 8500 dan menambahkan konfigurasi gRPC, layanan mendukung permintaan gRPC. Kode Python berikut memberikan contohnya:

   import grpc
   import tensorflow as tf
   from tensorflow_serving.apis import predict_pb2
   from tensorflow_serving.apis import prediction_service_pb2_grpc
   from tensorflow.core.framework import tensor_shape_pb2
   # URL layanan. Untuk formatnya, lihat deskripsi parameter host di bawah.
   host = "tf-serving-multi-grpc-test.166233998075****.cn-hangzhou.pai-eas.aliyuncs.com:80"
   # Ganti <test-token> dengan token layanan. Anda dapat menemukan token di tab Public Endpoint.
   token = "<test-token>"
   # Nama model. Untuk informasi lebih lanjut, lihat deskripsi parameter name di bawah.
   name = "<model_name>"
   signature_name = "serving_default"
   # Nomor versi model. Anda hanya dapat mengirim permintaan ke satu versi model dalam satu waktu.
   version = "<version_num>"
   # Buat permintaan gRPC.
   request = predict_pb2.PredictRequest()
   request.model_spec.name = name
   request.model_spec.signature_name = signature_name
   request.model_spec.version.value = version
   request.inputs["keras_tensor"].CopyFrom(tf.make_tensor_proto([[[[1.0]] * 28] * 28]))
   # Kirim permintaan ke layanan.
   channel = grpc.insecure_channel(host)
   stub = prediction_service_pb2_grpc.PredictionServiceStub(channel)
   metadata = (("authorization", token),)
   response, _ = stub.Predict.with_call(request, metadata=metadata)
   print(response)

   Parameter utama dijelaskan sebagai berikut:

   Parameter	Deskripsi
   host	Atur parameter ini ke URL layanan. Hilangkan http:// dari URL dan tambahkan :80 di akhir. Untuk menemukan URL layanan, buka halaman Elastic Algorithm Service (EAS). Lalu, temukan layanan yang ingin Anda panggil dan klik Invocation Information di kolom Service Type.
   name	Untuk mengirim permintaan gRPC untuk satu model: Untuk penerapan berbasis skenario, atur parameter ini menjadi model. Untuk penerapan kustom, atur parameter ini menjadi nama model yang ditentukan di Command to Run. Jika nama model tidak ditentukan dalam perintah, nilai default-nya adalah model. Untuk mengirim permintaan gRPC untuk beberapa model: Atur parameter ini menjadi nama model yang ditentukan dalam file konfigurasi model.
   version	Atur parameter ini ke nomor versi model. Anda hanya dapat mengirim permintaan ke satu versi model dalam satu waktu.
   metadata	Atur parameter ini ke token layanan. Anda dapat menemukan token di halaman Invocation Information.

Dokumen terkait

• Untuk menerapkan layanan EAS menggunakan mesin inferensi Triton Server, lihat Penerapan berbasis gambar Triton Inference Server.

• Anda juga dapat menerapkan layanan EAS menggunakan gambar kustom. Untuk informasi lebih lanjut, lihat Gambar kustom.