如何将Yolov5模型部署到OpenVINO
相关标签：1.PyTorch
2. Alluxio深度学习实践 - 1：在HDFS上运行PyTorch框架
摘要：OpenVINO是Intel推出的AI工具套件，可用于快速部署AI应用和解决方案。支持超过150种CNN网络结构，覆盖计算机视觉领域。
简介：OpenVINO是Intel推出的AI工具套件，可用于快速部署AI应用和解决方案。支持超过150种CNN网络结构，覆盖计算机视觉领域。兼容PyTorch、TensorFlow、Keras、MXNet、Caffe和ONNX等多种主流开源框架，可通过工具将上述框架训练的模型轻松转换为OpenVINO格式，并支持将预训练模型部署到Intel的CPU、GPU和VPU上。
据百度百科等资料介绍，OpenVINO是Intel推出的AI工具套件，可用于快速部署AI应用和解决方案。支持超过150种CNN网络结构，覆盖计算机视觉领域。兼容PyTorch、TensorFlow、Keras、MXNet、Caffe和ONNX等多种主流开源框架，可通过工具将上述框架训练的模型轻松转换为OpenVINO格式，并支持将预训练模型部署到Intel的CPU、GPU和VPU上。
对于初次体验的开发者来说，OpenVINO将AI模型部署到Intel CPU上非常便捷。OpenVINO套件还包括图像处理包OpenCV和视频处理工具包Media SDK，用于处理图像和视频解码、推理结果的预处理和后处理。通常在进行模型推理时，大多数情况下需要进行预处理和后处理。预处理包括通道变换、尺寸调整、均值化和归一化等；后处理则需要将目标检测框等特征绘制到图像上，这些操作均可使用OpenVINO和OpenCV完成。
此外，需要注意不同硬件环境支持的模型和输入输出精度各不相同，以下给出不同硬件支持的模型格式。
从上图中可以看出，VPU目前仅支持FP16模型格式。并在以下硬件上进行了优化（Optimized for processors）：
• 第6代至第12代Intel® Core™处理器和Intel® Xeon®处理器
• 第三代Intel® Xeon® Scalable处理器（代号Cooper Lake）
• Intel® Xeon® Scalable处理器（代号Skylake和Cascade Lake）
• 支持Intel® Streaming SIMD Extensions 4.1（Intel® SSE4.1）的Intel Atom®处理器
• Intel Pentium®处理器N4200/5、N3350/5或N3450/5，配备Intel® HD Graphics
• Intel® Iris® Xe MAX Graphics
• Intel® Neural Compute Stick 2
• 采用Intel® Movidius™ VPU的Intel® Vision Accelerator Design
Yolov5是YOLO算法（You Only Look Once）的第五个版本。YOLO可以说是当前实时目标检测算法中的佼佼者，由Redmon等人在2016年的论文中提出，目前广泛应用于各类AI目标检测场景，可便捷地检测图像中的目标类别，如人、车、动物等。虽然yolov4在某些场景下的推理精度优于yolov5，但yolov5的一些新特性更具吸引力。例如，yolov5在不降低平均检测精度的前提下，具有推理模型文件更小、训练时间更短、推理速度更快的特点。因此，在精度要求不高的场景下，yolov5在模型构建和模型部署等方面更加便捷，推理速度也更快。
官方网站源地址路径为： ，官网还提供了yolov5（6.0版本）的不同预训练权重模型（YOLOv5s、YOLOv5m、YOLOv5n等）。为适配OpenVINO，此处选择yolov5 v5.0版本。可从 https://github.com/ultralytics/yolov5/releases/tag/v5.0 下载权重模型文件和源代码yolov5-5.0。
• 操作系统：Windows 10（Intel CPU）
• Python版本：Python 3.7.7
• OpenVINO Python Package：openvino 2021.4.2
• Yolov：yolov5-5.0
• netron 5.5.3
• onnx 1.10.2
• opencv-python：4.5.4.60
关于OpenVINO套件，可从官方网站下载。
此外，openvino_toolkit还需安装其他依赖（C++环境），其中需安装cmake-3.22.1-windows-x86_64.msi和带有MSBuild的Visual Studio 2019，可通过安装Visual Studio Community Edition完成，需勾选C++桌面开发环境等组件。详情请参阅OpenVINO官方文档：
https://docs.openvino.ai/latest/openvino_docs_install_guides_installing_openvino_windows.html。环境搭建完成后，可执行以下CMD命令验证C++环境是否搭建成功：
#临时设置环境变量
#切换目录
#安装依赖
install_prerequisites.bat
#编译运行Demo
demo_security_barrier_camera.bat
2. Alluxio深度学习实践 - 1：在HDFS上运行PyTorch框架
摘要：OpenVINO是Intel推出的AI工具套件，可用于快速部署AI应用和解决方案。支持超过150种CNN网络结构，覆盖计算机视觉领域。
简介：OpenVINO是Intel推出的AI工具套件，可用于快速部署AI应用和解决方案。支持超过150种CNN网络结构，覆盖计算机视觉领域。兼容PyTorch、TensorFlow、Keras、MXNet、Caffe和ONNX等多种主流开源框架，可通过工具将上述框架训练的模型轻松转换为OpenVINO格式，并支持将预训练模型部署到Intel的CPU、GPU和VPU上。
1：OpenVINO概述
据百度百科等资料介绍，OpenVINO是Intel推出的AI工具套件，可用于快速部署AI应用和解决方案。支持超过150种CNN网络结构，覆盖计算机视觉领域。兼容PyTorch、TensorFlow、Keras、MXNet、Caffe和ONNX等多种主流开源框架，可通过工具将上述框架训练的模型轻松转换为OpenVINO格式，并支持将预训练模型部署到Intel的CPU、GPU和VPU上。
对于初次体验的开发者来说，OpenVINO将AI模型部署到Intel CPU上非常便捷。OpenVINO套件还包括图像处理包OpenCV和视频处理工具包Media SDK，用于处理图像和视频解码、推理结果的预处理和后处理。通常在进行模型推理时，大多数情况下需要进行预处理和后处理。预处理包括通道变换、尺寸调整、均值化和归一化等；后处理则需要将目标检测框等特征绘制到图像上，这些操作均可使用OpenVINO和OpenCV完成。
此外，需要注意不同硬件环境支持的模型和输入输出精度各不相同，以下给出不同硬件支持的模型格式。
从上图中可以看出，VPU目前仅支持FP16模型格式。并在以下硬件上进行了优化（Optimized for processors）：
• 第6代至第12代Intel® Core™处理器和Intel® Xeon®处理器
• 第三代Intel® Xeon® Scalable处理器（代号Cooper Lake）
• Intel® Xeon® Scalable处理器（代号Skylake和Cascade Lake）
• 支持Intel® Streaming SIMD Extensions 4.1（Intel® SSE4.1）的Intel Atom®处理器
• Intel Pentium®处理器N4200/5、N3350/5或N3450/5，配备Intel® HD Graphics
• Intel® Iris® Xe MAX Graphics
• Intel® Neural Compute Stick 2
• 采用Intel® Movidius™ VPU的Intel® Vision Accelerator Design
2：Yolov5概述
Yolov5是YOLO算法（You Only Look Once）的第五个版本。YOLO可以说是当前实时目标检测算法中的佼佼者，由Redmon等人在2016年的论文中提出，目前广泛应用于各类AI目标检测场景，可便捷地检测图像中的目标类别，如人、车、动物等。虽然yolov4在某些场景下的推理精度优于yolov5，但yolov5的一些新特性更具吸引力。例如，yolov5在不降低平均检测精度的前提下，具有推理模型文件更小、训练时间更短、推理速度更快的特点。因此，在精度要求不高的场景下，yolov5在模型构建和模型部署等方面更加便捷，推理速度也更快。
官方网站源地址路径为： ，官网还提供了yolov5（6.0版本）的不同预训练权重模型（YOLOv5s、YOLOv5m、YOLOv5n等）。为适配OpenVINO，此处选择yolov5 v5.0版本。可从 https://github.com/ultralytics/yolov5/releases/tag/v5.0 下载权重模型文件和源代码yolov5-5.0。
3：适配环境概述
• 操作系统：Windows 10（Intel CPU）
• Python版本：Python 3.7.7
• OpenVINO Python Package：openvino 2021.4.2
• Yolov：yolov5-5.0
• netron 5.5.3
• onnx 1.10.2
• opencv-python：4.5.4.60
关于OpenVINO套件，可从官方网站下载。
此外，openvino_toolkit还需安装其他依赖（C++环境），其中需安装cmake-3.22.1-windows-x86_64.msi和带有MSBuild的Visual Studio 2019，可通过安装Visual Studio Community Edition完成，需勾选C++桌面开发环境等组件。详情请参阅OpenVINO官方文档：
https://docs.openvino.ai/latest/openvino_docs_install_guides_installing_openvino_windows.html。环境搭建完成后，可执行以下CMD命令验证C++环境是否搭建成功：
#临时设置环境变量
#切换目录
#安装依赖
install_prerequisites.bat
#编译运行Demo
demo_security_barrier_camera.bat
