開發(fā)中的列并行視頻系統(tǒng)

當(dāng)今，在生產(chǎn)、物流、交通、信息通信、娛樂等各種領(lǐng)域中，高速視覺信息處理正成為重要的技術(shù)。但是，目前許多圖像處理系統(tǒng)由于圖像的獲取都使用CCD攝像機(jī)，處理速度受到視頻速率(30幀/秒)的限制。換句話說，即使利用多高速的計(jì)算機(jī)，實(shí)時處理都會受到圖像獲取速度的限制。

另一方面，生產(chǎn)自動化機(jī)器人等傳動機(jī)構(gòu)的工作速度按ms級控制是可能的，因此，與CCD攝像機(jī)結(jié)合的機(jī)器人控制系統(tǒng)，未能充分發(fā)揮其傳動機(jī)構(gòu)的能力。

近年來，作為解決這一課題的辦法，提出了從傳感器到運(yùn)算裝置集成化的、采用CMOS半導(dǎo)體工藝的各種功能傳感器。它的結(jié)構(gòu)有圖1示出的3種典型情況。

圖中PD（光二極管）是受光單元，PE（處理單元）是數(shù)字運(yùn)算單元。圖(a)為以往基于計(jì)算機(jī)技術(shù)的結(jié)構(gòu)，來自多個受光單元的信號通過二維順序掃描讀出，一個A/D交換器(ADC)進(jìn)行模數(shù)變換，其圖像數(shù)據(jù)由DSP及CPU等進(jìn)行圖像處理運(yùn)算。

圖(b)為提高圖像獲取速度及運(yùn)算速度，在每一列都備有ADC和PE的結(jié)構(gòu)。它以各列的并行性實(shí)現(xiàn)高速化。所有組件均有市售。

圖?是基于完全并行的結(jié)構(gòu)，每個PD都一對一地對應(yīng)一個ADC和PE，能實(shí)現(xiàn)超高速的圖像獲取與運(yùn)算處理。

這三種方式從集成性及運(yùn)算能力看各有長短。圖(a)的結(jié)構(gòu)由于用一個ADC和一個DSP進(jìn)行處理，在圖像獲取速度與運(yùn)算速度兩方面都有限制。

圖(b)從集成性與高速性兩方面看可說是一種中庸的結(jié)構(gòu)，但對通信處理包含的許多相鄰運(yùn)算的能力是個課題。圖?從高速性看可說是理想的結(jié)構(gòu)，但從受光單元的靈敏度及ADC的精度看，對集成化要求很高的技術(shù)。

遵循這些結(jié)構(gòu)不同的特性，開發(fā)了具有列并行傳送方式與完全并行運(yùn)算相結(jié)合結(jié)構(gòu)的列并行視覺系統(tǒng)CPV。本文介紹CPV的技術(shù)概要及其利用高速運(yùn)算特性的視覺反饋系統(tǒng)的應(yīng)用。

本系統(tǒng)的構(gòu)成如圖2示出。對于高幀速與高分辨率的相悖要求，為同時滿足產(chǎn)業(yè)應(yīng)用所需的128×128像素、8位灰度等級、ms級的運(yùn)算處理，對128×128像素的PD陣列和PE陣列的數(shù)據(jù)傳送，采用了位串行、列并行傳送方式。此即圖1(b)的列并行傳送功能與?完全并行運(yùn)算功能相結(jié)合的方式。PD陣列的輸出，通過每列的放大器和A/D變換器，作為128路并行的位串行數(shù)字信號輸出。

試制的受光單元外觀見圖2，在10cm大的底板上按COB(板上芯片)安裝。在128路以8位讀出的情況下，傳送速度實(shí)現(xiàn)了大約1ms。PD陣列的特性示于表1。

并行運(yùn)算裝置由PE陣列與控制單元構(gòu)成(見圖2）。PE陣列采用了通用性與高速運(yùn)算性都極好的并行處理算法結(jié)構(gòu)S3PE。S3PE結(jié)構(gòu)基于SIMD(單指令多數(shù)據(jù)流）型并行運(yùn)算，用外部的程序可實(shí)現(xiàn)通用的運(yùn)算。PE陣列由于與PD陣列的各像素一一對應(yīng)，實(shí)現(xiàn)了完全并行的高速運(yùn)算。

各PE由示于圖3的運(yùn)算器（ALU）、A/B寄存器及24×1位的隨機(jī)存取存儲器(內(nèi)存）構(gòu)成，利用外部給出的運(yùn)算指令(程序)便可進(jìn)行通用的運(yùn)算。

另外，由于在PE內(nèi)部，運(yùn)算與圖像傳送可各自獨(dú)立進(jìn)行，傳送與處理可不間斷地工作。控制單元如圖4所示，它實(shí)現(xiàn)整個系統(tǒng)(PD陣列、PE陣列）的控制及與外部主機(jī)的接口。

圖5示出利用本系統(tǒng)進(jìn)行一般圖像處理的結(jié)果。圖左上為按256級灰度拍攝的原圖像，以128ms/幀的幀速獲取圖像。右上是7次背景烘托處理圖像，對X與Y方向反復(fù)進(jìn)行了7次烘托處理運(yùn)算。左下是2次背景壓紋處理，左下是加邊處理的結(jié)果。

這些圖像處理運(yùn)算證明，可利用完全并行的并行運(yùn)算機(jī)構(gòu)通過改換程序?qū)崿F(xiàn)，且如表2所示是高速進(jìn)行的。表中的步數(shù)表示運(yùn)算所需要的運(yùn)算步數(shù)，在目前系統(tǒng)中運(yùn)算在CLK=3MHz下工作，步數(shù)×0.33ms即為運(yùn)算時間。圖像處理所需時間在哪一情況下，均約0.1ms即可，在目前每秒1000幀的情況下，可適應(yīng)高10倍的復(fù)雜運(yùn)算。而且，通過今后的集成化，還可望進(jìn)一步實(shí)現(xiàn)高速時鐘運(yùn)行。

為了展示本系統(tǒng)具有的高速圖像處理能力的有效性，做了高速反饋所必需的自動跟蹤演示。

實(shí)驗(yàn)系統(tǒng)CPV接到2軸（PAN、TILT)馬達(dá)上，其圖像由并行運(yùn)算機(jī)構(gòu)進(jìn)行處理，結(jié)果反饋給馬達(dá)。實(shí)驗(yàn)中對象物為手形模型，在存儲最初見到的物體后便執(zhí)行跟蹤程序。為顯示系統(tǒng)的高速性，以1ms時間的反饋為目標(biāo)，圖像用1ms獲取3位(8級灰度)的圖像數(shù)據(jù)，由完全并行運(yùn)算進(jìn)行對象物體的識別和重心的計(jì)算。實(shí)驗(yàn)證明可實(shí)現(xiàn)每秒1000幀的幀速率。

物體跟蹤的運(yùn)算內(nèi)容示于表3。首先，傳感器信息的3位圖像數(shù)據(jù)送入PE，作為前處理去除噪聲和進(jìn)行2值化運(yùn)算。接著，采用了利用圖像高速反饋特點(diǎn)的selfwindow法識別對象物體。

這里對提取的圖像，運(yùn)算X方向和Y方向一次動量的總和，分別進(jìn)行各自的重心計(jì)算處理。從取得圖像到重心計(jì)算結(jié)果輸出的全部運(yùn)算，用58.6ms即完成，證明了本系統(tǒng)的高速性和有效性。

這樣高幀速率的圖像處理能力可以解決產(chǎn)業(yè)領(lǐng)域中圖像處理的許多問題。比如說，在傳送帶上的實(shí)時檢查及半導(dǎo)體器件的缺陷檢查等的處理速度，都可飛躍地提高。此外，還可望用于迄今圖像處理難以解決的應(yīng)用，如汽車、電車等移動體中危險(xiǎn)感和傳感器的應(yīng)用，運(yùn)動分析及運(yùn)動控制等體育科學(xué)的應(yīng)用等。

今后，該系統(tǒng)將以高速圖像處理范圍極廣的產(chǎn)業(yè)應(yīng)用為目標(biāo)，預(yù)料在推動系統(tǒng)的小型化和成本降低的同時，將準(zhǔn)備便于用戶進(jìn)行算法開發(fā)的軟件環(huán)境等相關(guān)技術(shù)。本系統(tǒng)由于具有未來單片化的結(jié)構(gòu)，可望作為小型廉價(jià)的智能傳感器產(chǎn)業(yè)化?！?/font> (紹)