自动安装AIACC-Inference（AIACC推理加速） - GPU 云服务器

AIACC-Inference（AIACC推理加速）支持优化基于TensorFlow和可导出ONNX格式的框架搭建的模型，能显著提升推理性能。本文介绍如何自动安装AIACC-Inference（AIACC推理加速）并测试demo。

背景信息

Conda是一款开源跨平台的软件包和环境管理系统，Miniconda是一款小巧的Conda环境部署工具。创建GPU实例时支持自动安装包含AIACC-Inference（AIACC推理加速）的Conda环境，您可以使用Miniconda快速选择不同的Conda环境，并通过AIACC-Inference（AIACC推理加速）显著提升推理性能。

ONNX是一种开放式的文件格式，用于存储训练好的模型。通过ONNX可以将不同框架（例如Pytorch、MXNet）的模型数据存储成统一的格式，便于在同一环境下测试不同框架的模型。

自动安装AIACC-Inference

AIACC-Inference（AIACC推理加速）依赖GPU驱动、CUDA和cuDNN，请在创建GPU实例时，选中安装GPU驱动和AIACC推理加速，然后选择CUDA、Driver和cuDNN的版本。GPU实例创建完成后，您可以根据CUDA版本快速配置包含AIACC-Inference（AIACC推理加速）的Conda环境。 aiacc-推理

测试demo

远程连接实例。
选择Conda环境。
1. 初始化Miniconda。
```
. /root/miniconda/etc/profile.d/conda.sh
```
2. 查看已有的Conda环境列表。
```
conda env list
```
  示例如下图所示。
3. 选择Conda环境。
```
conda activate [environments_name]
```
  示例如下图所示。
测试demo。
demo文件aiacc_inference_demo.tgz默认位于/root下，本文以测试ONNX的demo为例。
1. 解压demo测试包。
```
tar -xvf aiacc_inference_demo.tgz
```
2. 进入ONNX的demo目录。
```
cd /root/aiacc_inference_demo/aiacc_inference_onnx/resnet50v1
```
3. 执行目录下的测试脚本。
  示例命令如下：
```
python3 test.py
```
  该测试脚本基于ResNet50模型执行推理任务，随机生成一张图像并分类，将推理耗时从6.4 ms降低至1.5 ms以内。推理结果示例如下图所示。

删除Miniconda

如果您不需要使用AIACC-Inference（AIACC推理加速），可以删除Miniconda。系统默认为root用户安装Miniconda，您可以先使用root用户清除相关环境变量，然后再删除Miniconda文件夹即可。

以下步骤以普通用户为例。

执行以下命令切换到root用户。
说明如果您使用的是root用户，可跳过此步骤。
```
 su - root
```
删除相关环境变量和回显。
1. 修改文件/root/.bash_profile，注释Miniconda的回显信息。
  示例如下图所示：
2. 可选：如果已经启动了Conda环境，请您删除当前环境下Conda相关的环境变量。
```
conda deactivate
unset conda
export PATH=`echo $PATH | tr ":" "\n" | grep -v "conda" | tr "\n" ":"`
export LD_LIBRARY_PATH=`echo $LD_LIBRARY_PATH | tr ":" "\n" | grep -v "conda" | tr "\n" ":"`
```
执行以下命令，删除Miniconda文件夹。
```
rm -rf /root/miniconda
```