基于FPGA+DSP技術的Bayer格式圖像預處理

高分辨率圖像實時處理在通信、醫(yī)學、軍事、航天航空、信息安全等領域有著廣泛的應用和發(fā)展。在圖像實時處理的過程中，下層圖像預處理的數(shù)據(jù)量大，運算簡單，但是要求運算速率高，可以用FPGA硬件來處理，上層所處理的數(shù)據(jù)量少，算法結構復雜，適于運算速度快，尋址靈活的DSP數(shù)字信號處理器進行處理。這里提出了一種FPGA+DSP相結合的實時圖像處理系統(tǒng)，并應用于傳像光線束傳遞圖像。CMOS實際采集的是光線束的出端圖像，FPGA將CMOS采集的Bayer格式的圖像轉(zhuǎn)換為RGB格式的亮度信號。由于光纖出、入端結構不同，需要DSP準確每根光纖的中心位置，重新排序才能輸出正確的圖像信息。該系統(tǒng)充分發(fā)揮了FPGA和DSP各自的優(yōu)勢，能更好地提高圖像處理的實時性，降低成本。

1 Bayer圖像格式
CMOS圖像傳感器作為一種基礎器件可以實現(xiàn)信息的采集、轉(zhuǎn)換以及視覺功能的擴展，并能直觀真實地給出可視圖像信息。系統(tǒng)中CMOS圖像傳感器輸出2 592x1 944x12 bit的Bayer格式的圖像(該格式的圖像本身就是數(shù)字信號，因此無需對圖像進行模數(shù)轉(zhuǎn)換)，Bayer圖像格式如圖1所示。在圖l中，每個方格代表一個像素，并且只含有R、G、B中的一種顏色分量，奇數(shù)行由G、R像素交替構成，偶數(shù)行由B、G像素交替進行，其中G像素分量占所有像素的一半，R像素和G像素占另一半。因為G像素分量是R、B像素分量的2倍，所以如果G像素分量采用好的插值方法，不僅可以提高G像素分量的質(zhì)量，也能提高R和B像素分量的質(zhì)量。由于TMS320DM642的video port capture接口的數(shù)據(jù)總線是8位或者16位(該系統(tǒng)采用了更適合DSP處理的8位數(shù)據(jù))，所以為了后續(xù)的DSP能夠更好的處理數(shù)據(jù)并減少DSP的運算量，需要使用FPGA先將輸出的圖像數(shù)據(jù)取高8位，然后依據(jù)每個像素點與相鄰8個像素點之間的關系，使用雙線性插值法將Bayer圖像格式轉(zhuǎn)換成24位的RGB圖像格式和亮度信號，然后將處理后的數(shù)據(jù)發(fā)送給DSP。

2 圖像數(shù)據(jù)處理的工作原理
2．1 Bayer圖像的格式轉(zhuǎn)換
雙線性插值法具有算法計算量少，算法結構簡單，易于實現(xiàn)，占硬件資源少等優(yōu)點，本系統(tǒng)中更適合FPGA實現(xiàn)。雙線性插值法的基本原理是將每個像素位置上缺少的另外兩種色彩分量通過該像素本身為中心的領域內(nèi)具有相同分量的像素平均獲得，即將每個像素的RGB分量都以該點像素為中心的3x3像素矩陣進行線性插值而成。按照這種思路可以將圖像中的3x3矩陣分成4類，如表1所示。

每種圖像矩陣中間的像素點為待插值的數(shù)據(jù)源，設R(x,y)、G(x,y)、B(x,y)為插值計算后該點紅、綠、藍像素分量。當像素位于奇數(shù)行奇數(shù)列計算公式為：