如何將Yolov5模型部署到OpenVINO
相關標籤：1.PyTorch
2. Alluxio深度學習實踐 - 1：在HDFS上運行PyTorch架構
摘要：OpenVINO是Intel推出的AI工具套件，可用於快速部署AI應用和解決方案。支援超過150種CNN網路結構，覆蓋電腦視覺領域。
簡介：OpenVINO是Intel推出的AI工具套件，可用於快速部署AI應用和解決方案。支援超過150種CNN網路結構，覆蓋電腦視覺領域。相容PyTorch、TensorFlow、Keras、MXNet、Caffe和ONNX等多種主流開源架構，可通過工具將上述架構訓練的模型輕鬆轉換為OpenVINO格式，並支援將預訓練模型部署到Intel的CPU、GPU和VPU上。
據百度百科等資料介紹，OpenVINO是Intel推出的AI工具套件，可用於快速部署AI應用和解決方案。支援超過150種CNN網路結構，覆蓋電腦視覺領域。相容PyTorch、TensorFlow、Keras、MXNet、Caffe和ONNX等多種主流開源架構，可通過工具將上述架構訓練的模型輕鬆轉換為OpenVINO格式，並支援將預訓練模型部署到Intel的CPU、GPU和VPU上。
對於初次體驗的開發人員來說，OpenVINO將AI模型部署到Intel CPU上非常便捷。OpenVINO套件還包括影像處理包OpenCV和視頻處理工具包Media SDK，用於處理映像和視頻解碼、推理結果的預先處理和後處理。通常在進行模型推理時，大多數情況下需要進行預先處理和後處理。預先處理包括通道變換、尺寸調整、均值化和歸一化等；後處理則需要將目標檢測框等特徵繪製到映像上，這些操作均可使用OpenVINO和OpenCV完成。
此外，需要注意不同硬體環境支援的模型和輸入輸出精度各不相同，以下給出不同硬體支援的模型格式。
從上圖中可以看出，VPU目前僅支援FP16模型格式。並在以下硬體上進行了最佳化（Optimized for processors）：
• 第6代至第12代Intel® Core™處理器和Intel® Xeon®處理器
• 第三代Intel® Xeon® Scalable處理器（代號Cooper Lake）
• Intel® Xeon® Scalable處理器（代號Skylake和Cascade Lake）
• 支援Intel® Streaming SIMD Extensions 4.1（Intel® SSE4.1）的Intel Atom®處理器
• Intel Pentium®處理器N4200/5、N3350/5或N3450/5，配備Intel® HD Graphics
• Intel® Iris® Xe MAX Graphics
• Intel® Neural Compute Stick 2
• 採用Intel® Movidius™ VPU的Intel® Vision Accelerator Design
Yolov5是YOLO演算法（You Only Look Once）的第五個版本。YOLO可以說是當前即時目標檢測演算法中的佼佼者，由Redmon等人在2016年的論文中提出，目前廣泛應用於各類AI目標檢測情境，可便捷地檢測映像中的目標類別，如人、車、動物等。雖然yolov4在某些情境下的推理精度優於yolov5，但yolov5的一些新特性更具吸引力。例如，yolov5在不降低平均檢測精度的前提下，具有推理模型檔案更小、訓練時間更短、推理速度更快的特點。因此，在精度要求不高的情境下，yolov5在模型構建和模型部署等方面更加便捷，推理速度也更快。
官方網站源地址路徑為： ，官網還提供了yolov5（6.0版本）的不同預訓練權重模型（YOLOv5s、YOLOv5m、YOLOv5n等）。為適配OpenVINO，此處選擇yolov5 v5.0版本。可從 https://github.com/ultralytics/yolov5/releases/tag/v5.0 下載權重模型檔案和原始碼yolov5-5.0。
• 作業系統：Windows 10（Intel CPU）
• Python版本：Python 3.7.7
• OpenVINO Python Package：openvino 2021.4.2
• Yolov：yolov5-5.0
• netron 5.5.3
• onnx 1.10.2
• opencv-python：4.5.4.60
關於OpenVINO套件，可從官方網站下載。
此外，openvino_toolkit還需安裝其他依賴（C++環境），其中需安裝cmake-3.22.1-windows-x86_64.msi和帶有MSBuild的Visual Studio 2019，可通過安裝Visual Studio Community Edition完成，需勾選C++案頭開發環境等組件。詳情請參閱OpenVINO官方文檔：
https://docs.openvino.ai/latest/openvino_docs_install_guides_installing_openvino_windows.html。環境搭建完成後，可執行以下CMD命令驗證C++環境是否搭建成功：
#臨時設定環境變數
#切換目錄
#安裝依賴
install_prerequisites.bat
#編譯運行Demo
demo_security_barrier_camera.bat
2. Alluxio深度學習實踐 - 1：在HDFS上運行PyTorch架構
摘要：OpenVINO是Intel推出的AI工具套件，可用於快速部署AI應用和解決方案。支援超過150種CNN網路結構，覆蓋電腦視覺領域。
簡介：OpenVINO是Intel推出的AI工具套件，可用於快速部署AI應用和解決方案。支援超過150種CNN網路結構，覆蓋電腦視覺領域。相容PyTorch、TensorFlow、Keras、MXNet、Caffe和ONNX等多種主流開源架構，可通過工具將上述架構訓練的模型輕鬆轉換為OpenVINO格式，並支援將預訓練模型部署到Intel的CPU、GPU和VPU上。
1：OpenVINO概述
據百度百科等資料介紹，OpenVINO是Intel推出的AI工具套件，可用於快速部署AI應用和解決方案。支援超過150種CNN網路結構，覆蓋電腦視覺領域。相容PyTorch、TensorFlow、Keras、MXNet、Caffe和ONNX等多種主流開源架構，可通過工具將上述架構訓練的模型輕鬆轉換為OpenVINO格式，並支援將預訓練模型部署到Intel的CPU、GPU和VPU上。
對於初次體驗的開發人員來說，OpenVINO將AI模型部署到Intel CPU上非常便捷。OpenVINO套件還包括影像處理包OpenCV和視頻處理工具包Media SDK，用於處理映像和視頻解碼、推理結果的預先處理和後處理。通常在進行模型推理時，大多數情況下需要進行預先處理和後處理。預先處理包括通道變換、尺寸調整、均值化和歸一化等；後處理則需要將目標檢測框等特徵繪製到映像上，這些操作均可使用OpenVINO和OpenCV完成。
此外，需要注意不同硬體環境支援的模型和輸入輸出精度各不相同，以下給出不同硬體支援的模型格式。
從上圖中可以看出，VPU目前僅支援FP16模型格式。並在以下硬體上進行了最佳化（Optimized for processors）：
• 第6代至第12代Intel® Core™處理器和Intel® Xeon®處理器
• 第三代Intel® Xeon® Scalable處理器（代號Cooper Lake）
• Intel® Xeon® Scalable處理器（代號Skylake和Cascade Lake）
• 支援Intel® Streaming SIMD Extensions 4.1（Intel® SSE4.1）的Intel Atom®處理器
• Intel Pentium®處理器N4200/5、N3350/5或N3450/5，配備Intel® HD Graphics
• Intel® Iris® Xe MAX Graphics
• Intel® Neural Compute Stick 2
• 採用Intel® Movidius™ VPU的Intel® Vision Accelerator Design
2：Yolov5概述
Yolov5是YOLO演算法（You Only Look Once）的第五個版本。YOLO可以說是當前即時目標檢測演算法中的佼佼者，由Redmon等人在2016年的論文中提出，目前廣泛應用於各類AI目標檢測情境，可便捷地檢測映像中的目標類別，如人、車、動物等。雖然yolov4在某些情境下的推理精度優於yolov5，但yolov5的一些新特性更具吸引力。例如，yolov5在不降低平均檢測精度的前提下，具有推理模型檔案更小、訓練時間更短、推理速度更快的特點。因此，在精度要求不高的情境下，yolov5在模型構建和模型部署等方面更加便捷，推理速度也更快。
官方網站源地址路徑為： ，官網還提供了yolov5（6.0版本）的不同預訓練權重模型（YOLOv5s、YOLOv5m、YOLOv5n等）。為適配OpenVINO，此處選擇yolov5 v5.0版本。可從 https://github.com/ultralytics/yolov5/releases/tag/v5.0 下載權重模型檔案和原始碼yolov5-5.0。
3：適配環境概述
• 作業系統：Windows 10（Intel CPU）
• Python版本：Python 3.7.7
• OpenVINO Python Package：openvino 2021.4.2
• Yolov：yolov5-5.0
• netron 5.5.3
• onnx 1.10.2
• opencv-python：4.5.4.60
關於OpenVINO套件，可從官方網站下載。
此外，openvino_toolkit還需安裝其他依賴（C++環境），其中需安裝cmake-3.22.1-windows-x86_64.msi和帶有MSBuild的Visual Studio 2019，可通過安裝Visual Studio Community Edition完成，需勾選C++案頭開發環境等組件。詳情請參閱OpenVINO官方文檔：
https://docs.openvino.ai/latest/openvino_docs_install_guides_installing_openvino_windows.html。環境搭建完成後，可執行以下CMD命令驗證C++環境是否搭建成功：
#臨時設定環境變數
#切換目錄
#安裝依賴
install_prerequisites.bat
#編譯運行Demo
demo_security_barrier_camera.bat
