Artificial Intelligence Recommendation：如果不用EasyRec訓練，只用EAS推理，如何對接

此文檔指導使用者在不使用EasyRec訓練的情況下，僅使用EAS進行模型推理的具體步驟。詳細內容基於EasyRec Processor。

背景

在某些情況下，使用者可能已經在其他環境完成了模型訓練，但希望使用EAS提供的高效能服務進行模型推理。

步驟一：準備模型

確保你的模型已經以TensorFlow的SavedModel格式匯出，並上傳到一個可訪問的儲存位置，如OSS（阿里雲Object Storage Service服務）。

步驟二：佈建服務部署檔案

建立一個服務組態檔，例如echo.json，並按照以下格式填寫相關參數：

bizdate=$1
cat << EOF > echo.json
{
  "name":"ali_rec_rnk_no_fg",
  "metadata": {
    "instance": 2,
    "rpc": {
      "enable_jemalloc": 1,
      "max_queue_size": 100
    }
  },
  "cloud": {
    "computing": {
      "instance_type": "ecs.g7.large"",
      "instances": null
    }
  },
  "model_config": {
    "fg_mode": "bypass"
  },
  "processor": "easyrec-1.9",
  "processor_envs": [
    {
      "name": "INPUT_TILE",
      "value": "2"
    }
  ],
  "storage": [
    {
      "mount_path": "/home/admin/docker_ml/workspace/model/",
      "oss": {
        "path": "oss://easyrec/ali_rec_sln_acc_rnk/20221122/export/final/"
      }
    }
  ],
  "warm_up_data_path": "oss://easyrec/ali_rec_sln_acc_rnk/rnk_warm_up.bin"
}

EOF

在fg_mode欄位中設定為bypass，表示不使用FG，僅部署TensorFlow模型。

其中關鍵參數說明如下，其他參數說明，請參見JSON部署參數說明。

• easyrec-1.3及其以上版本支援該最佳化。

• fg_mode=tf時，已自動開啟該最佳化，不需要再單獨設定該環境變數。

步驟三：部署服務

使用eascmd工具部署上一步建立的服務組態檔。

# 執行部署命令。
eascmd  create echo.json
# eascmd -i <AccessKeyID>  -k  <AccessKeySecret>   -e <endpoint> create echo.json
# 執行更新命令
eascmd modify ali_rec_rnk_no_fg -s echo.json

根據輸出日誌確保服務部署成功。服務成功部署後，你會獲得服務的訪問地址。

步驟四：調用服務

EasyRec模型服務的調用

在bypass模式下，根據EasyRec Processor的請求格式，使用Java或Python進行服務調用。

對於Java的樣本

Maven環境配置請參考Java SDK使用說明，請求服務ali_rec_rnk_no_fg的範例程式碼如下：

import java.util.List;

import com.aliyun.openservices.eas.predict.http.PredictClient;
import com.aliyun.openservices.eas.predict.http.HttpConfig;
import com.aliyun.openservices.eas.predict.request.TFDataType;
import com.aliyun.openservices.eas.predict.request.TFRequest;
import com.aliyun.openservices.eas.predict.response.TFResponse;

public class TestEasyRec {
    public static TFRequest buildPredictRequest() {
        TFRequest request = new TFRequest();
 
        request.addFeed("user_id", TFDataType.DT_STRING, 
                        new long[]{5}, new String []{ "u0001", "u0001", "u0001"});
      	request.addFeed("age", TFDataType.DT_FLOAT, 
                        new long[]{5}, new float []{ 18.0f, 18.0f, 18.0f});
        // 注意: 如果設定了INPUT_TILE=2，那麼上述值都相同的feature可以只傳一次:
        //    request.addFeed("user_id", TFDataType.DT_STRING,
        //            new long[]{1}, new String []{ "u0001" });
        //    request.addFeed("age", TFDataType.DT_FLOAT, 
        //            new long[]{1}, new float []{ 18.0f});
      	request.addFeed("item_id", TFDataType.DT_STRING, 
                        new long[]{5}, new String []{ "i0001", "i0002", "i0003"});  
        request.addFetch("probs");
      	return request;
    }

    public static void main(String[] args) throws Exception {
        PredictClient client = new PredictClient(new HttpConfig());

        // 如果要使用網路直連功能，需使用setDirectEndpoint方法, 如: 
        //   client.setDirectEndpoint("pai-eas-vpc.cn-shanghai.aliyuncs.com");
        // 網路直連需打通在EAS控制台開通，提供用於訪問EAS服務的源vswitch，
        // 網路直連具有更好的穩定性和效能。
        client.setEndpoint("yourAccessKeySecretx.vpc.cn-hangzhou.pai-eas.aliyuncs.com");
        client.setModelName("ali_rec_rnk_no_fg");
        client.setToken("");
        long startTime = System.currentTimeMillis();
        for (int i = 0; i < 100; i++) {
            try {
                TFResponse response = client.predict(buildPredictRequest());
                // probs為模型的輸出的欄位名, 可以使用curl命令查看模型的輸入輸出:
                //   curl yourAccessKeySecretx.vpc.cn-hangzhou.pai-eas.aliyuncs.com -H "Authorization:{token}"
                List<Float> result = response.getFloatVals("probs");
                System.out.print("Predict Result: [");
                for (int j = 0; j < result.size(); j++) {
                    System.out.print(result.get(j).floatValue());
                    if (j != result.size() - 1) {
                        System.out.print(", ");
                    }
                }
                System.out.print("]\n");
            } catch (Exception e) {
                e.printStackTrace();
            }
        }
        long endTime = System.currentTimeMillis();
        System.out.println("Spend Time: " + (endTime - startTime) + "ms");
        client.shutdown();
    }
}

對於Python的樣本

請參考Python SDK使用說明。由於python效能比較差，建議僅在調試服務時使用，在生產環境中應使用Java SDK。請求服務ali_rec_rnk_no_fg的範例程式碼如下：

#!/usr/bin/env python

from eas_prediction import PredictClient
from eas_prediction import StringRequest
from eas_prediction.tf_request_pb2 import TFRequest

if __name__ == '__main__':
    client = PredictClient('http://yourAccessKeySecretx.vpc.cn-hangzhou.pai-eas.aliyuncs.com', 'ali_rec_rnk_no_fg')
    client.set_token('')
    client.init()

    req = TFRequest()
    req.add_feed('user_id', [3], TFRequest.DT_STRING, ['u0001'] * 3)
    req.add_feed('age', [3], TFRequest.DT_FLOAT, [18.0] * 3)
    # 注意: 開啟INPUT_TILE=2的最佳化之後, 上述特徵可以只傳一個值
    #   req.add_feed('user_id', [1], TFRequest.DT_STRING, ['u0001'])
    #   req.add_feed('age', [1], TFRequest.DT_FLOAT, [18.0])
    req.add_feed('item_id', [5], TFRequest.DT_STRING, 
        ['i0001', 'i0002', 'i0003'])
    for x in range(0, 100):
        resp = client.predict(req)
        print(resp)

您也可以自行構建服務要求，詳情請參見請求格式。

步驟五：監控和最佳化

部署服務後，建議進行效能測試，並根據反饋最佳化服務效能和穩定性。

結語

通過以上步驟，你將能夠在不使用EasyRec訓練的情況下，使用EAS進行模型推理。