Artificial Intelligence Recommendation:Menghubungkan mesin rekomendasi dengan prosesor EasyRec ketika EAS dari PAI digunakan untuk inferensi model tetapi EasyRec tidak digunakan untuk pelatihan model

Topik ini menjelaskan cara menggunakan Elastic Algorithm Service (EAS) dari Platform for AI (PAI) untuk inferensi model ketika EasyRec tidak digunakan untuk pelatihan model. Untuk informasi lebih lanjut, lihat Prosesor EasyRec.

Informasi latar belakang

Dalam beberapa kasus, pengguna mungkin telah menyelesaikan pelatihan model di lingkungan lain, tetapi mereka tetap ingin memanfaatkan layanan berperforma tinggi yang disediakan oleh EAS untuk inferensi model.

Langkah 1: Siapkan model

Pastikan Anda telah mengekspor model TensorFlow dalam format SavedModel dan mengunggahnya ke lokasi penyimpanan yang dapat diakses, seperti bucket dari Object Storage Service (OSS) Alibaba Cloud.

Langkah 2: Konfigurasikan file konfigurasi layanan

Buat file konfigurasi layanan, seperti echo.json, dan konfigurasikan parameter terkait. Kode berikut memberikan contoh file konfigurasi.

bizdate=$1
cat << EOF > echo.json
{
  "name":"ali_rec_rnk_no_fg",
  "metadata": {
    "instance": 2,
    "rpc": {
      "enable_jemalloc": 1,
      "max_queue_size": 100
    }
  },
  "cloud": {
    "computing": {
      "instance_type": "ecs.g7.large"",
      "instances": null
    }
  },
  "model_config": {
    "fg_mode": "bypass"
  },
  "processor": "easyrec-1.9",
  "processor_envs": [
    {
      "name": "INPUT_TILE",
      "value": "2"
    }
  ],
  "storage": [
    {
      "mount_path": "/home/admin/docker_ml/workspace/model/",
      "oss": {
        "path": "oss://easyrec/ali_rec_sln_acc_rnk/20221122/export/final/"
      }
    }
  ],
  "warm_up_data_path": "oss://easyrec/ali_rec_sln_acc_rnk/rnk_warm_up.bin"
}

EOF

Dalam contoh ini, nilai bidang fg_mode diatur ke bypass, yang menunjukkan bahwa pembangkitan fitur (FG) tidak diaktifkan dan hanya model TensorFlow yang diterapkan.

Tabel berikut menjelaskan parameter utama. Untuk informasi tentang parameter lainnya, lihat Parameter untuk Penyebaran JSON.

Langkah 3: Terapkan layanan

Gunakan EASCMD untuk menerapkan file konfigurasi layanan yang dibuat pada langkah sebelumnya.

# Jalankan perintah penyebaran.
eascmd  create echo.json
# eascmd -i <AccessKeyID>  -k  <AccessKeySecret>   -e <endpoint> create echo.json
# Jalankan perintah pembaruan.
eascmd modify ali_rec_rnk_no_fg -s echo.json

Periksa log keluaran untuk memastikan layanan berhasil diterapkan. Setelah layanan diterapkan, Anda dapat memperoleh alamat akses layanan.

Langkah 4: Panggil layanan

Panggil Layanan Model EasyRec

Jika Anda menggunakan mode bypass, Anda dapat menggunakan Java SDK atau Python SDK untuk memanggil layanan model berdasarkan format permintaan prosesor EasyRec.

Contoh Menggunakan Java SDK

Sebelum menggunakan Java SDK, Anda harus mengonfigurasi lingkungan Maven. Untuk informasi tentang cara mengonfigurasi lingkungan Maven, lihat SDK untuk Java. Contoh kode untuk memanggil layanan ali_rec_rnk_no_fg:

import java.util.List;

import com.aliyun.openservices.eas.predict.http.PredictClient;
import com.aliyun.openservices.eas.predict.http.HttpConfig;
import com.aliyun.openservices.eas.predict.request.TFDataType;
import com.aliyun.openservices.eas.predict.request.TFRequest;
import com.aliyun.openservices.eas.predict.response.TFResponse;

public class TestEasyRec {
    public static TFRequest buildPredictRequest() {
        TFRequest request = new TFRequest();
 
        request.addFeed("user_id", TFDataType.DT_STRING, 
                        new long[]{5}, new String []{ "u0001", "u0001", "u0001"});
      	request.addFeed("age", TFDataType.DT_FLOAT, 
                        new long[]{5}, new float []{ 18.0f, 18.0f, 18.0f});
        // Catatan: Jika Anda mengatur parameter INPUT_TILE ke 2, Anda dapat menyederhanakan kode dengan cara berikut:
        //    request.addFeed("user_id", TFDataType.DT_STRING,
        //            new long[]{1}, new String []{ "u0001" });
        //    request.addFeed("age", TFDataType.DT_FLOAT, 
        //            new long[]{1}, new float []{ 18.0f});
      	request.addFeed("item_id", TFDataType.DT_STRING, 
                        new long[]{5}, new String []{ "i0001", "i0002", "i0003"});  
        request.addFetch("probs");
      	return request;
    }

    public static void main(String[] args) throws Exception {
        PredictClient client = new PredictClient(new HttpConfig());

        // Panggil setDirectEndpoint untuk mengakses layanan menggunakan saluran koneksi langsung virtual private cloud (VPC).
        //   client.setDirectEndpoint("pai-eas-vpc.cn-shanghai.aliyuncs.com");
        // Anda perlu membuat saluran koneksi langsung VPC di halaman EAS dari konsol PAI.
        // Dibandingkan dengan menggunakan gateway, menggunakan saluran koneksi langsung meningkatkan stabilitas dan performa.
        client.setEndpoint("yourAccessKeySecretx.vpc.cn-hangzhou.pai-eas.aliyuncs.com");
        client.setModelName("ali_rec_rnk_no_fg");
        client.setToken("");
        long startTime = System.currentTimeMillis();
        for (int i = 0; i < 100; i++) {
            try {
                TFResponse response = client.predict(buildPredictRequest());
                // probs: nama bidang keluaran. Anda dapat menjalankan perintah cURL untuk melihat masukan dan keluaran model.
                //   curl yourAccessKeySecretx.vpc.cn-hangzhou.pai-eas.aliyuncs.com -H "Authorization:{token}"
                List<Float> result = response.getFloatVals("probs");
                System.out.print("Hasil Prediksi: [");
                for (int j = 0; j < result.size(); j++) {
                    System.out.print(result.get(j).floatValue());
                    if (j != result.size() - 1) {
                        System.out.print(", ");
                    }
                }
                System.out.print("]\n");
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        long endTime = System.currentTimeMillis();
        System.out.println("Waktu yang Dihabiskan: " + (endTime - startTime) + "ms");
        client.shutdown();
    }
}

Contoh Menggunakan Python SDK

Untuk informasi lebih lanjut tentang cara menggunakan Python SDK, lihat SDK untuk Python. Karena performanya terbatas, kami sarankan Anda menggunakan Python SDK hanya untuk tujuan debugging. Contoh kode untuk memanggil layanan ali_rec_rnk_no_fg:

#!/usr/bin/env python

from eas_prediction import PredictClient
from eas_prediction import StringRequest
from eas_prediction.tf_request_pb2 import TFRequest

if __name__ == '__main__':
    client = PredictClient('http://yourAccessKeySecretx.vpc.cn-hangzhou.pai-eas.aliyuncs.com', 'ali_rec_rnk_no_fg')
    client.set_token('')
    client.init()

    req = TFRequest()
    req.add_feed('user_id', [3], TFRequest.DT_STRING, ['u0001'] * 3)
    req.add_feed('age', [3], TFRequest.DT_FLOAT, [18.0] * 3)
    # Catatan: Jika Anda mengatur parameter INPUT_TILE ke 2, Anda dapat menyederhanakan kode dengan cara berikut:
    #   req.add_feed('user_id', [1], TFRequest.DT_STRING, ['u0001'])
    #   req.add_feed('age', [1], TFRequest.DT_FLOAT, [18.0])
    req.add_feed('item_id', [5], TFRequest.DT_STRING, 
        ['i0001', 'i0002', 'i0003'])
    for x in range(0, 100):
        resp = client.predict(req)
        print(resp)

Anda juga dapat membuat permintaan layanan kustom. Untuk informasi lebih lanjut, lihat Sintaks Permintaan.

Langkah 5: Pantau dan optimalkan performa layanan

Setelah layanan diterapkan, kami sarankan Anda menguji performa layanan dan mengoptimalkan performa serta stabilitas layanan berdasarkan hasil pengujian.

Ringkasan

Dengan mengikuti langkah-langkah di atas, Anda dapat menggunakan EAS untuk inferensi model tanpa menggunakan EasyRec untuk pelatihan model.