盤點在使用openvino過程中遇到的一些問題,如何解決的-第1篇

1. 問題：跑前向推斷的時候都沒有報錯，跑到這一步ie_exec_network_create_infer_request(exe_network, &infer_request);的時候，也不報錯，也沒有l(wèi)og，直接就退出了，可能是什么原因？

建議：在推理的輸入階段報錯的話，建議查看是否是openvino環(huán)境沒有配置好，導致IEplugin加載失??？或者推理硬件比如cpu沒有指定？

2. 問題：不知道infer_request->Infer();這一步為啥執(zhí)行這么久

onnx用yolov5自帶的detect檢測0.1s，轉(zhuǎn)了IR后用C++ openvino推理就3s多了

建議：有可能是模型轉(zhuǎn)換過程中層的問題，可以用openvino直接推理onnx來對比下推理延遲

回復：和IR文件的推理差別大不大

回復：還是不太熟vino的api，C++推理自己的模型寫起來很吃力

3. 問題：檢測框很多可能是啥原因啊

建議：你的blob輸出有問題，是人臉檢測嗎？你查看下代碼，檢測到再繪矩形框

回復：不是人臉，就是簡單的5分類目標檢測
       結(jié)論：我看了blob，和yolo預訓練的還真不一樣，yolov5s的blob

我自己的模型

4. 問題：請教個大家個問題，使用opencv模板匹配（ matchTemplate）除了肉眼看有匹配上，還有沒有別的方式來判斷匹配上還是沒有匹配上，需要一個返回值

建議：printf大法

5. 問題：這兩天被openvino折磨的不行了

答：是安裝嗎

回復：不是，主要還是model optimizer, 經(jīng)常導出錯誤, 還有推理的時候的設(shè)置, 目前在11代nuc上, 部署yolov5s，幀率在70-50浮動，也不知道怎么穩(wěn)定

答：你做邊緣計算用nuc嗎

為了兼容其他環(huán)境,英偉達那套cpu確實不夠用, 包也少

nuc拿來搞這個真的性價比真的一言難盡

回復：確實,核顯也就那樣

6. 問題：amd cpu 能用OpenVINO嗎？

答：其實openvino可以用，但是加速沒那么明顯，我5800h推理yolov5s用openvino感覺只有20fps不到，i7 1165g7卻有30fps

答：cpu amd核顯性能其實很好的，但是沒有配套軟件，真要cpu，建議試試tf

答：openvino基于oneapi，oneapi是intel自己的硬件統(tǒng)一平臺，所以使用intel硬件能帶來不小的性能提升

答：據(jù)說現(xiàn)在都是建議amd處理器配nv的ai單元或xilinx fpga，讓這兩個跑ai去，amd適配ai軟件還有些不足

7. 問題：有人遇到過這個問題嗎？

答：我遇過，后面降版本就沒報錯了

8. 問題：我把這個代碼在ubuntu下和win下跑，win下耗時比ubuntu多得多，這是為什么？操作系統(tǒng)不一樣也有差異嗎

同一臺電腦裝的雙系統(tǒng)

答：有一臺沒有用核顯

9. 問題：運行demo_security_barrier_camera demo的時候報錯 CMake Error: Could not create named generator Visual Studio，有知道怎么解決的嗎，網(wǎng)上搜了一下修改bat路徑，但是沒有解決

建議：如果別的demo也無法正常運行的話，問題可能出在你的配置環(huán)境有問題，https://www.bilibili.com/video/BV1Wy4y1m7wg?spm_id_from=333.999.0.0，這是Dylan錄制的windows系統(tǒng)openvino安裝教程，可以看看哪一步出錯了

10. 問題：我這里按照官方文檔安裝工具包，到這一步并沒有文檔里的目錄路徑。是我安裝少了什么嗎？我最終的目的就是想用download.py下載一些模型用，不用來開發(fā)，只下載模型跑自己的性能測試

建議：出現(xiàn)這個問題，應該是安裝沒成功。建議刪除opt里邊的ov相關(guān)目錄，重新安裝試試

11. 問題：請問有人知道程序卡在LoadNetwork是什么原因嗎

建議：Openvino的demo執(zhí)行推理可以運行成功嗎？如果可以說明環(huán)境配置是沒有問題的，問題可能出在你的代碼上，建議先排查一下這個，定位一下問題

12. 問題：openvino能直接下載onnx模型嗎

建議：可以的。你可以在github或者gitee搜索openvino倉庫，找到open-model-zoo，然后下來該源碼，就可以執(zhí)行相關(guān)操作了

13. 問題：我這Release缺少幾個lib，網(wǎng)上沒找到解決方案，你們可以發(fā)一下lib文件嗎

建議：去官網(wǎng)下載

14. 問題：請問 open-model中的模型文件要怎么調(diào)用啊，要轉(zhuǎn)換為IR模型才可以嗎？
建議：是的，要轉(zhuǎn)換為IR文件才能使用，轉(zhuǎn)換也比較簡單。

這樣就可以完成轉(zhuǎn)換

回復：謝謝，我大致明白了。先要把模型文件下載下來，下載后可以直接用。測試了它自己帶的語音識別的例子，C++的可以，PYTHON的用的時候，老是說ASR啟動有問題?？赡躊YTHON解析DLL的時候有問題，但路徑啥的都是對的?？赡苁侨盌LL依賴的別的動態(tài)庫

15. 問題：推理報錯，什么原因？

建議：看報錯應該是opencv的環(huán)境有問題，檢查一下環(huán)境，openvino自帶的demo可以運行嗎？

16. 問題：那個 openvino的項目編譯完，exe和部署腳本生成的文件搬到另一臺沒裝框架的windows電腦，有辦法調(diào)用集顯加速嗎
建議：環(huán)境遷移的話理論上如果你把所有的編譯生成的相關(guān)動態(tài)文件都拷貝過去是可以的。不過你如果不太清楚環(huán)境配置的話，是比較復雜的。建議你可以采取一個更方便安全的方式，就是使用openvino的container版本，這樣可以不同機器上無縫遷移。

17. 問題：我在使用openvino+c++部署onnx時，release能編譯通過且能運行，在debug下編譯不能通過，有遇到同樣問題的嗎？

建議：可能是ov環(huán)境變量初始化的問題，建議你查看下openvino的自帶的build腳本，看它怎么寫的

18. 問題：win10環(huán)境下安裝好CUDA，環(huán)境也配置好了，命令行輸入nvcc -V，結(jié)果輸出nvcc不是內(nèi)部或外部命令，有沒有大佬知道該怎么解決嗎？

建議：其實CUDA不算openvino的問題。如果環(huán)境配置確定沒問題，重啟一下應該就可以了。windows一般都需要重啟才能加載到環(huán)境。