Cara Mendeploy Model Yolov5 ke OpenVINO

Tag Terkait：1.PyTorch
2. Praktik Deep Learning Alluxio - 1: Menjalankan Framework PyTorch di Apsara File Storage for HDFS


Abstrak: OpenVINO adalah rangkaian alat AI yang diluncurkan oleh Intel, yang dapat digunakan untuk mendeploy aplikasi dan solusi AI dengan cepat. Terdapat lebih dari 150 struktur jaringan CNN yang mendukung computer vision.

Pendahuluan: OpenVINO adalah rangkaian alat AI yang diluncurkan oleh Intel, yang dapat digunakan untuk mendeploy aplikasi dan solusi AI dengan cepat. Terdapat lebih dari 150 struktur jaringan CNN yang mendukung computer vision. Alat ini kompatibel dengan berbagai framework open source utama seperti PyTorch, Tensorflow, Keras, mxnet, Caffe, dan ONNX, serta dapat dengan mudah mengonversi model yang dilatih oleh framework open source tersebut ke framework OpenVINO melalui alat bantu, dan mendukung deployment model pra-latih ke CPU, GPU, dan VPU Intel.

1:Ringkasan OpenVINO

Menurut Baidu Encyclopedia dan informasi lainnya, OpenVINO adalah rangkaian alat AI yang diluncurkan oleh Intel, yang dapat digunakan untuk mendeploy aplikasi dan solusi AI dengan cepat. Terdapat lebih dari 150 struktur jaringan CNN yang mendukung computer vision. Alat ini kompatibel dengan berbagai framework open source utama seperti PyTorch, Tensorflow, Keras, mxnet, Caffe, dan ONNX, serta dapat dengan mudah mengonversi model yang dilatih oleh framework open source tersebut ke framework OpenVINO melalui alat bantu, dan mendukung deployment model pra-latih ke CPU, GPU, dan VPU Intel.

Bagi developer yang ingin mencobanya pertama kali, OpenVINO sangat memudahkan deployment model AI ke CPU Intel. Rangkaian OpenVINO juga mencakup paket pemrosesan gambar OpenCV dan toolkit pemrosesan video Media SDK, yang digunakan untuk memproses decoding gambar dan video, pra-pemrosesan, dan pasca-pemrosesan hasil inference. Secara umum, saat melakukan inference model, pra-pemrosesan dan pasca-pemrosesan diperlukan dalam sebagian besar kasus. Pra-pemrosesan mencakup transformasi channel, perubahan ukuran, rata-rata, dan normalisasi, dll.; sedangkan pasca-pemrosesan perlu menggambar fitur seperti frame deteksi target pada gambar, operasi ini dapat dilakukan menggunakan OpenVINO dan OpenCV.

Selain itu, perlu diperhatikan bahwa lingkungan hardware yang berbeda, model yang didukung, serta presisi input dan output berbeda-beda, dan format model yang didukung oleh hardware yang berbeda diberikan di bawah ini.

Seperti terlihat pada gambar di atas, VPU saat ini hanya mendukung format model FP16. Dan dioptimalkan pada hardware berikut (Dioptimalkan untuk prosesor):
• Prosesor Intel® Core™ generasi ke-6 hingga ke-12 dan prosesor Intel® Xeon®
• Prosesor Intel® Xeon® Scalable generasi ke-3 (sebelumnya bernama kode Cooper Lake)
• Prosesor Intel® Xeon® Scalable (sebelumnya Skylake dan Cascade Lake)
• Prosesor Intel Atom® dengan dukungan Intel® Streaming SIMD Extensions 4.1 (Intel® SSE4.1)
• Prosesor Intel Pentium® N4200/5, N3350/5, atau N3450/5 dengan Intel® HD Graphics
• Intel® Iris® Xe MAX Graphics
• Intel® Neural Compute Stick 2
• Intel® Vision Accelerator Design dengan Intel® Movidius™ VPU

2: Ringkasan Yolov5

Yolov5 adalah versi kelima dari algoritma YOLO (You Only Look Once). YOLO dapat dikatakan sebagai pemimpin dalam algoritma deteksi objek real-time saat ini. Algoritma ini dinamai oleh Redmon dkk. dalam sebuah makalah pada tahun 2016 dan saat ini banyak digunakan dalam berbagai skenario deteksi objek target AI, sangat memudahkan deteksi kategori objek dalam gambar, seperti manusia, mobil, hewan, dll. Meskipun akurasi inference yolov4 lebih baik daripada yolov5 saat ini dalam beberapa skenario, beberapa fitur baru yolov5 lebih menarik. Misalnya, yolov5 memiliki karakteristik file model inference yang lebih kecil, waktu pelatihan yang lebih singkat, dan kecepatan inference tanpa mengurangi akurasi rata-rata deteksi. Dengan demikian, dalam kasus persyaratan akurasi rendah, penggunaan yolov5 dalam konstruksi model dan deployment model akan lebih mudah, dan kecepatan inference akan lebih cepat.

Alamat sumber dari situs web resmi adalah: , dan berbagai model bobot pra-latih (YOLOv5s, YOLOv5m, YOLOv5n, dll.) dari yolov5 (rilis 6.0) juga tersedia di situs web resmi. Untuk beradaptasi dengan OpenVINO, pilih versi yolov5 v5.0 di sini. Anda dapat mengunduh file model bobot dan kode sumber yolov5-5.0 dari https://github.com/ultralytics/yolov5/releases/tag/v5.0.

3:Ringkasan lingkungan adaptasi

• Sistem Operasi: Windows 10 (CPU Intel)
• Versi Python: Python 3.7.7
• Paket Python OpenVINO: openvino 2021.4.2
• Yolov: yolov5-5.0
• netron 5.5.3
• onnx 1.10.2
• opencv-python: 4.5.4.60
Mengenai rangkaian OpenVINO, Anda dapat mengunduhnya dari situs web resmi.

Selain itu, openvino_toolkit juga perlu menginstal dependensi lainnya (lingkungan C++), di mana cmake-3.22.1-windows-x86_64.msi dan Visual Studio 2019 dengan MSBuild diinstal, yang dapat dilakukan dengan menginstal Visual Studio Community Edition, yang perlu mencentang lingkungan pengembangan desktop C++ dan komponen lainnya. Untuk detailnya, silakan merujuk ke dokumentasi situs web resmi OpenVINO:
https://docs.openvino.ai/latest/openvino_docs_install_guides_installing_openvino_windows.html. Setelah lingkungan disiapkan, Anda dapat menjalankan perintah CMD berikut untuk memverifikasi apakah lingkungan C++ telah berhasil disiapkan:

#Setel variabel lingkungan sementara
# ganti direktori
# instal dependensi
install_prerequisites.bat
#Kompilasi dan jalankan Demo
demo_security_barrier_camera.bat