TensorFlow Serving启动成功后,您可以将数据发送到运行在vSGX机密计算环境中的推理服务。推理完成后,得到返回结果。

操作步骤

  1. 登录客户端ECS实例。
    具体操作,请参见连接方式概述
    说明 本示例将客户端作为远端进行访问。
  2. 配置TensorFlow Serving服务域名。
    vSGX_ip_addr=192.168.XX.XX    #vSGX_ip_addr为vSGX实例的IP,请替换为实际的IP地址。
    service_domain_name=grpc.tf-serving.service.com
    echo "${vSGX_ip_addr} ${service_domain_name}" >> /etc/hosts
  3. 运行远端请求。

    远端请求会将数据发送到运行在SGX机密计算环境中的推理服务。推理完成后,得到返回结果。

    cd /home/tf/confidential-computing/Tensorflow_Serving/client
    python3 ./resnet_client_grpc.py --url ${service_domain_name}:8500 --crt `pwd -P`/ssl_configure/server.crt --batch 1 --cnum 1 --loop 50