推理速度快YOLOV4五倍的YOLObile：通過壓縮編譯在移動端實時檢測

目標檢測技術的迅速發(fā)展和廣泛應用，引起了人們對目標檢測器的精度和速度的關注。然而，目前最先進的目標檢測工作要么是精度導向使用大模型，但導致高延遲，要么是速度導向使用輕量級模型，但犧牲精度。在這項工作中，作者提出了YOLObile框架，通過壓縮編譯協(xié)同設計在移動設備上實時檢測對象。提出了一種適用于任意核大小的塊穿孔剪枝方案。為提高移動設備上的計算效率，采用GPU-CPU協(xié)同方案，并輔以高級編譯器輔助優(yōu)化。實驗結果表明，新提出的剪枝方案在49.0 mAP的情況下，可以實現(xiàn)YOLOv4的14倍壓縮率。在YOLObile框架下，使用三星Galaxy S20的GPU實現(xiàn)了17 FPS的推理速度。通過加入新提出的GPU-CPU協(xié)同方案，推理速度提高到19.1幀/秒，比原來的YOLOv4加速5倍。

總結

在本次工作中，提出了一個基于壓縮編譯協(xié)同設計的移動設備實時目標檢測框架YOLObile。此外，還提出了一種新的剪枝方案——區(qū)塊剪枝，該方案適用于任意核大小的卷積層和全連接層。為了提高移動設備上DNNs的計算效率，除了新提出的編譯器優(yōu)化之外，提出的YOLObile還提供了一個GPU-CPU協(xié)同計算方案。經過實驗證明，新提出的YOLObile框架展現(xiàn)出了高準確性、高效率，并同時實現(xiàn)了高硬件并行性！