基于PXA255和嵌入式QT的IP視頻電話設(shè)計

傳統(tǒng)的ip電話是將語音信號轉(zhuǎn)變成數(shù)字信號，進(jìn)行打包和壓縮，在數(shù)據(jù)網(wǎng)上進(jìn)行傳輸。但近年來，人們已經(jīng)不滿足于只能聽到語音，還希望能見到對方的圖像。本系統(tǒng)就是針對人們的這一需求，在intel的pxa255平臺上利用qt/embedded圖形開發(fā)工具設(shè)計的一個ip視頻電話系統(tǒng)。

1 硬件系統(tǒng)結(jié)構(gòu)

整個系統(tǒng)主要是在intel pxa255評估平臺sitsang板上實(shí)現(xiàn)的。pxa255是基于intel的xscale架構(gòu)的嵌入式處理器，該平臺配備了大量的硬件資源。整個系統(tǒng)的硬件結(jié)構(gòu)如圖1所示。

2 軟件系統(tǒng)結(jié)構(gòu)

系統(tǒng)中采用的是基于qt/embedded 2.3.10版本的嵌入式圖形庫。該圖形庫是基于linux系統(tǒng)的frame buffer機(jī)制的，并使用基于該圖形庫的qtopia 2.2.1 pda版本的窗口環(huán)境管理系統(tǒng)。qt/embedded是一個完整的自包含gui和基于linux的嵌入式平臺開發(fā)工具，是qt的嵌入式開發(fā)版本。

音頻和視頻信號的采集、壓縮、播放和傳輸都是建立在該圖形界面和嵌入式linux內(nèi)核以上的，所以，在交叉編譯移植嵌入式linux內(nèi)核時，要正確配置對usb、video4linux、攝像頭和音頻設(shè)備的支持以及對frame buffer機(jī)制的支持。交叉編譯嵌入式qt時，要配置使其支持多線程、jpeg算法庫、音頻設(shè)備以及qvfb（基于x11的虛擬frame buffer機(jī)制）。本文主要討論ip視頻電話系統(tǒng)的設(shè)計實(shí)現(xiàn)，故嵌入式linux內(nèi)核和嵌入式qt的配置編譯過程不再詳述。整個系統(tǒng)的軟件結(jié)構(gòu)如圖2所示。

3 系統(tǒng)的具體設(shè)計

本ip視頻電話系統(tǒng)主要由音頻采集/播放模塊、視頻采集/播放模塊和網(wǎng)絡(luò)傳輸模塊組成。音頻和視頻模塊采樣本地數(shù)據(jù)，壓縮處理后交給網(wǎng)絡(luò)傳輸模塊，由其發(fā)送到另一對話端，并從網(wǎng)絡(luò)傳輸模塊接收對方的音頻和視頻數(shù)據(jù)處理后進(jìn)行播放。

3.1 網(wǎng)絡(luò)傳輸模塊設(shè)計

系統(tǒng)啟動后，本地服務(wù)器端即對5000端口進(jìn)行監(jiān)聽。若有ip電話連接進(jìn)來，則接受連接，為其分配套接字資源，并根據(jù)通話類型，生成相應(yīng)的音頻、視頻類實(shí)例來處理相應(yīng)的音頻、視頻數(shù)據(jù)。系統(tǒng)可以實(shí)現(xiàn)視頻通話，也可以只進(jìn)行語音通話，即實(shí)現(xiàn)傳統(tǒng)ip電話的功能，因?yàn)橐纛l、視頻數(shù)據(jù)格式不同，需要分別做不同的處理，故采用兩個不同的套接字來進(jìn)行處理，網(wǎng)絡(luò)傳輸模塊服務(wù)器端的基本流程如圖3所示。

本地網(wǎng)絡(luò)服務(wù)器端用從qserversocket類繼承的子類ipphoneserver實(shí)現(xiàn)。qt/embedded類庫已經(jīng)對網(wǎng)絡(luò)操作進(jìn)行了很好的封裝，所以系統(tǒng)只利用qt的信號和槽機(jī)制，給ipphoneserver類增加一個新的信號－－voidnewconnect（int）。信號所帶的參數(shù)為套接字號，并重載了qserversocket的虛子函數(shù)成員void newconnect（intsocket）。一旦發(fā)現(xiàn)有新的連接，它將把服務(wù)器端給新連接指定的接收套接字號（int socket）通過信號newconnect（int）發(fā)送出來，以便主程序設(shè)置對應(yīng)的數(shù)據(jù)處理套接字。

在系統(tǒng)主程序中啟動服務(wù)器，并將服務(wù)器實(shí)例的newconnect（int）信號連接到主程序的newconnect（int）槽函數(shù)上。一旦來了新的連接，server的newconnect（int）被發(fā)出，則由主程序的newconnect（int）槽函數(shù)接收套接字號并判斷是音頻還是視頻連接后，將其指定給相應(yīng)的音頻或視頻數(shù)據(jù)傳輸套接字，啟動服務(wù)器的代碼如下：

server＝new ipphoneserver（（tport－＞text（））.toushort（））；connect（server，signal（newconnect（int）），slot（new－connect（int）））；

具體與音頻/視頻模塊相關(guān)連進(jìn)行數(shù)據(jù)傳輸?shù)奶捉幼謴膓socket類繼承來的子類ippdatasock實(shí)現(xiàn)，它增加了一個新的qdatastream類指針成員變量ds來進(jìn)行數(shù)據(jù)的傳輸處理，在ippdatasock的構(gòu)造函數(shù)中被實(shí)例化。

為音頻和視頻進(jìn)行數(shù)據(jù)傳輸?shù)奶捉幼謱?shí)例分別為adatasock和vdatasock。若從已方發(fā)起連接，先通過qt的信號和槽機(jī)制設(shè)定相應(yīng)的套接字連接、關(guān)閉和其他處理槽函數(shù)，再使用connecttohost（）函數(shù)連接到遠(yuǎn)端服務(wù)器即可。音頻套接字實(shí)例化代碼如下：

adatasock＝new ippdatasock（this）； connect（adatasock，signal（connected（）），slot（tconnected（）））； connect（adatasock，signal（connectionclosed（）），slot（tclosed（）））； connect（adatasock，signal（readyread（）），ipaudio，slot（canplay（）））； connect（adatasock，signal（error（int）），slot（terror（int）））； adatasock－＞connecttohost（tserver－＞text（），（tport－＞text（））.toushort（））；

3.2 音頻采集/播放模塊設(shè)計

音頻采集/播放模塊主要是實(shí)現(xiàn)ip電話的音頻處理，由自定義類ipaudio來實(shí)現(xiàn)，因?yàn)橄到y(tǒng)要同時發(fā)送本地音頻數(shù)據(jù)給對話端并接收來自對話端的音頻數(shù)據(jù)在本地播放，而只有一個音頻編解碼設(shè)備，所以音頻設(shè)備必須以全雙工方式工作，音頻采集/播放模塊的主要工作流程如圖4所示。

系統(tǒng)采用的是linux操作系統(tǒng)，其下的音頻編程遵循oss（open sound system）音頻接口標(biāo)準(zhǔn)，oss是unix/linux平臺上統(tǒng)一的音頻接口，只要音頻處理應(yīng)用程序按照oss的api來編寫，它就可以提供源代碼級的可移植性。

linux下的設(shè)備全部使用設(shè)備文件來管理，本系統(tǒng)使用的數(shù)字音頻設(shè)備為/dev/dsp。可以播放或錄制數(shù)字化的聲音，讀這個設(shè)備就相當(dāng)于錄音，寫這個設(shè)備就相當(dāng)于放音，它使用8位（無符號）線性編碼，其主要指標(biāo)參數(shù)有：采樣速率（電話為8kbps）、聲道數(shù)目（單聲道、立體聲）和采樣分辨率（8位、16位）。

在進(jìn)行音頻的采集和播放之前，必須先打開該音頻設(shè)備并適當(dāng)設(shè)置一些工作參數(shù)，這些都在ip audio類的構(gòu)造函數(shù)中實(shí)現(xiàn)，其中的一些參數(shù)和操作都被定義在"soundcard.h"頭文件中。

首先，要打開音頻設(shè)備。因?yàn)橄到y(tǒng)在通話時要同時進(jìn)行錄音和放音，所以使用讀寫模式，相關(guān)代碼片斷如下：

int audio_fd；
if（（audio_fd＝open（"/dev/dsp"，o_rdwr））＜0） …//錯誤處理
打開設(shè)備后，為了正常地工作，設(shè)置一些相應(yīng)的工作參數(shù)。

1）先設(shè)置為全雙工工作模式，并檢查是否設(shè)置成功，代碼如下：



設(shè)置好各個參數(shù)后，就可以進(jìn)行視頻的采集和播放了，采集及錄音使用oss提供的read（）函數(shù)，播放則使用對應(yīng)的write（）函數(shù)，直接對音頻設(shè)備/dev/dsp進(jìn)行操作，由于進(jìn)行ip電話通話時，要進(jìn)行不間斷錄音和放音，但音頻設(shè)備的輸入/輸出緩沖區(qū)的大小是有限的，必須不斷循環(huán)使用，因此采用qt/embedded的信號和槽機(jī)制來實(shí)現(xiàn)，系統(tǒng)采集完一次數(shù)據(jù)并發(fā)送出去后，給ipaudio類自身發(fā)送一個canrecord（）信號，而采集函數(shù)本身是一個槽，接收到canplay（）信號后又開始下一次采集。這樣循環(huán)不斷，代碼片斷如下：


public slots； void record（）{ int len； if（ioctl（audio_fd，sound_pcm_sync，0）＝＝－1） //同步 … //錯誤處理 if（len＝read（audio_fd，buf，1024））！＝1024） //錄音 printf（"read wrong number of bytes ％dn"，len）； else{ （＊（adatasock－＞ds））＜＜buf； //發(fā)送采集的音頻數(shù)據(jù)給對話端 emit canrecord（）；//發(fā)送可錄音信號 } }
當(dāng)系統(tǒng)接收到對話端發(fā)送過來的音頻數(shù)據(jù)時，音頻接收套接字adatasock發(fā)送一個readyread（）數(shù)據(jù)已準(zhǔn)備好的信號給ipaudio類的槽函數(shù)play（）來播放這段音頻。套接字adatasock初始化時的語句
connect（adatasock，signal（readyread（）），ipaudio，slot（play（）））；

即實(shí)現(xiàn)這個功能，播放時為了避免要播放的數(shù)據(jù)太多而導(dǎo)致設(shè)備被阻塞，還須先檢測音頻設(shè)備的輸出緩沖區(qū)是否有足夠的空間，以使系統(tǒng)能夠正常工作。代碼如下：


這樣，系統(tǒng)就可以實(shí)現(xiàn)無阻塞的音頻采集和播放，一個傳統(tǒng)的ip語音電話就實(shí)現(xiàn)了，系統(tǒng)退出時，用close（）函數(shù)關(guān)閉音頻設(shè)備即可。

3.3 視頻采集/播放模塊設(shè)計

視頻采集和播放模塊實(shí)現(xiàn)了通過攝像頭采集本端影像視頻傳輸給對話方并接收對方的視頻數(shù)據(jù)還原成影像顯示在本端屏幕上的功能，也是本ip電話系統(tǒng)的先進(jìn)之處，程序中用多的一些video4linux支持的專用視頻數(shù)據(jù)結(jié)構(gòu)如下：

1）video_capability，包含攝像頭的基本信息，如設(shè)備名稱、支持的最大最小分辨率、信號源信息等，分別對應(yīng)著結(jié)構(gòu)體中成員變量name[32]、maxwidth、maxheight、minwidth、minheight、channels（信號源個數(shù)）、type等；

2）video_picture，包含設(shè)備采集圖像的各種屬性，如brightness（亮度）、hue（色調(diào)）、contrast（對比度）、whiteness（色度）、depth（深度）等；

3）video_mmap，用于內(nèi)存映射；

4）video_mbuf，利用mmap進(jìn)行映射的幀信息，實(shí)際上是輸入到攝像頭存儲器緩沖中的幀信息，包括size（幀的大?。rames（最大支持的幀數(shù)）、offsets（每幀相對基址的偏移）；

5）video_window，包括設(shè)備采集窗口的各種參數(shù)。

視頻采集/播放模塊的基本工作流程如圖5所示。

這樣攝像頭設(shè)備所采集的內(nèi)容就映射到了內(nèi)存緩沖區(qū)pixbuf中，該映射內(nèi)容區(qū)可讀可寫并可與其他進(jìn)程共享。將系統(tǒng)設(shè)置為單幀采集模式，當(dāng)1幀數(shù)據(jù)采集完畢時，通過vdatasock套接字將視頻數(shù)據(jù)傳送給對方，然后發(fā)一個cansample（）信號給自身再開始下一幀數(shù)據(jù)的采集，如下：


在采集視頻數(shù)據(jù)的同時，還要顯示對方傳輸過來的視頻數(shù)據(jù)，當(dāng)對方的數(shù)據(jù)被接收到時，系統(tǒng)利用vdatasock的readyread（）信號告訴ipvideo將其顯示出來。ipvideo使用qt/embedded的qimage和qpainter類來實(shí)現(xiàn)圖像數(shù)據(jù)的顯示，先初始化，為了使圖像重畫時不閃爍，設(shè)置wrepaintnoerase重畫不擦除標(biāo)志，如下：

p＝new qpainter（）； image＝new qimage（（uchar＊）buff，w，h，32，0，0，（qimage：：endian）0）； setwflags（getwflags（）|qt：：wrepaintnoerase）；

重載ipvideo的paintevent（）函數(shù)，加載buff中接收過來的視頻數(shù)據(jù)，并在屏幕上畫出來，代碼如下：

void paintevent（qpaintevent＊）{ image－＞loadfromdata（（uchar＊）buff，framesize）； p－＞begin（this）； p－＞drawimage（0，0，＊image）； p－＞end（）； }

在ipvideo中增加一個槽函數(shù)show（），專門接收vdatasock的readyread（）信號，一旦接收到了，就通過vdatasock的ds將視頻數(shù)據(jù)流導(dǎo)入buff緩沖區(qū)中，并調(diào)用updata（）函數(shù)，該函數(shù)將激活paint事件，調(diào)用paintevent（）函數(shù)進(jìn)行視頻的更新重畫。這樣，隨著不停地接收到對方的圖像數(shù)據(jù)，就實(shí)現(xiàn)了遠(yuǎn)端視頻的播放，雙方就能進(jìn)行語音和視頻同步的ip通話了。

4 小結(jié)

本系統(tǒng)主要是針對嵌入式手持設(shè)備，可與pc或同類型的手持機(jī)進(jìn)行ip視頻電話通信，擴(kuò)展了傳統(tǒng)ip電話的功能，彌補(bǔ)了沒有圖像的缺點(diǎn)，并且體積小、攜帶方便、全圖形界面，操作簡單，采用無線上網(wǎng)，只要網(wǎng)絡(luò)支持，可以隨時隨地使用，另外還可以做終端監(jiān)控之用，可以固定也可以移動監(jiān)控，廣泛地應(yīng)用于工廠、銀行及小區(qū)等眾多場合，具有比較廣闊的市場和應(yīng)用前景。