視頻多媒體手機之系統(tǒng)架構(gòu)規(guī)劃

　　目前電子產(chǎn)業(yè)的設計動能，無疑將很大的一部分集中在移動終端，尤其是手機的開發(fā)上頭。就通信環(huán)境來說，移動通信系統(tǒng)持續(xù)朝向更高傳輸量及IP化發(fā)展，在應用上則帶動了VoIP、email、簡訊、Java Game甚至是VoD、Mobile TV等網(wǎng)路、廣播服務的出現(xiàn)。這些應用型態(tài)，對于移動終端的設計都是新的挑戰(zhàn)，本文將著重于探討多媒體手機的開發(fā)及系統(tǒng)架構(gòu)規(guī)劃。

　　為了因應多媒體的表現(xiàn)，今日的手機必須在軟硬件架構(gòu)上進行必要的調(diào)整：首先是顯示器，除了螢幕的尺寸愈來愈大外，為提升顯示品質(zhì)，在解析度上從qQVGA、QCIF，一路往QVGA升級；面板技術(shù)上則從CSTN、A-TFT、LTPS，逐漸升級到OLED；此外，MVA、IPS等寬視角技術(shù)也愈來愈受重視。

　　在多媒體的應用功能上，包括了視頻（錄影、視頻節(jié)目等）、音頻（語音、音樂、影音效果等）和圖形（照片、游戲等），分別需要用到專門的處理技術(shù)，以及鏡頭、感測器、處理器、記憶體和顯示器等硬件系統(tǒng)配備。以照相功能為例，手機相機除了訴求更高解析度、對動態(tài)攝影要求具有SDTV視頻的捕捉能力外，光學伸縮鏡頭（Optical zoom）、手振校正功能及閃光燈都將是高階手機的附加功能。

　　手機多媒體處理架構(gòu)

　　隨著多媒體任務愈來愈繁重，單單依賴基頻已難以承受所有處理工作，因此應用處理器（application processor）的角色就因應而生。將應用處理功能從基頻中分離出來，一方面可以分擔彼此的工作，另一方面則可以視市場的需求而各自調(diào)整、升級個別的功能，例如基頻可以專注于因應通信規(guī)格的變化，而支援GPRS/EDGE及WCDMA等多模功能。此外，系統(tǒng)業(yè)者也能依自己的需求來搭配這兩個單元。

　　應用處理器在功能上的演進壓力也很大，例如對照相功能得準備再升級到三百萬，甚至是五百萬畫素，視頻上也得進一步支援30ftp的VGA畫質(zhì)；在圖形處理方面，它得嵌入2D/3D繪圖引擎，以滿足游戲的臨場感；至于最新的應用需求則是支援要DVB-H、T-DMB或Media FLO等移動電視規(guī)格。

　　由于業(yè)者的技術(shù)背景不同，目前市場上應用處理器的架構(gòu)作法也不盡相同，以處理器技術(shù)見長的廠商提出採用高效能的單一ARM核心來處理所有工作的架構(gòu)；同時有更多人採用ARM加DSP的雙核心架構(gòu)，也就是將控制與訊號處理工作分流，由ARM的RISC核心主要進行控制工作，大量的訊號加、解碼工作則交給DSP來執(zhí)行。此外，有些專屬性應用的處理工作非常消耗運算資源，這時，應用處理平臺中會考慮加入專屬的加速器來提升處理效能。

　　由于手機中的應用功能不斷增加，因此，在應用處理平臺中加入包括視頻、音頻、2D/3D繪圖、PAN/WAN、安全和GPS定位等專屬功能加速器的分散式處理架構(gòu)，已成為多媒體手機的重要發(fā)展方向，請參考(圖一)。此架構(gòu)讓系統(tǒng)能以更低的時脈頻率達成復雜的多媒體工作，并能降低主處理器的負荷。以Nomadik平臺為例，即是在ARM926EJ-S的主處理器核心外，搭配智能性視頻加速器（Smart video accelerator）和智能音頻加速器（Smart audio accelerator）、多媒體信號處理器（MMDSP）、加速功能硬件（Acceleration hardware）等多顆可程式智能加速器來分擔在音頻和視頻上的前、后處理任務。

　　圖一　分散式處理模式（以Nomadik為例）

　　資料來源：ST

　　在任務執(zhí)行中，這些智能加速器在產(chǎn)生圖像、錄影、播放節(jié)目和雙向影音通信時，能獨立且同時的運作，進而讓系統(tǒng)能在低耗電的條件下達成需求的應用功能表現(xiàn)，所提供處理動力和記憶體頻寬，足以驅(qū)動1024x1024 pixels的螢幕；此外，這些復雜的加速器能獨立地與區(qū)域DMA和記憶體資源一起工作，讓主處理器能在同一時間中更專注于處理應用功能，或進入省電狀態(tài)來延長電池壽命。

　　視頻處理單元

　　在視頻壓縮技術(shù)方面，今日主要的格式包括MPEG-4、H.264、H.263和VC-1等。相較之下，MPEG-4問世的時間較久，市場上採用的情況也較高，但H.264由于是最新的標準，能提供當前最佳的視頻壓縮效能，并且已獲得MPEG/lS0和ITU兩大國際標準組織的支持，再加上它的適用范圍極廣，所以自2003年標準推出后，即成了HDTV、HD-DVD、手機及視頻串流等業(yè)者非常重視的規(guī)格。

　　不過，不同的視頻壓縮格式，由于規(guī)格復雜度不同，需要的運算資源也不同；此外，編碼（encode）又比解碼（decode）耗用更大的運算資源。以MPEG-4為例，以軟件來做解碼或許還可行，但若要以軟件來進行編碼就會耗掉太多的系統(tǒng)運算資源。類似地，不同的顯示器視頻品質(zhì)也意味著不同的運算需求，例如若要以單一處理器來提供30 fps的VGA畫質(zhì)視頻，可能得用到GHz等級的處理器才跑得動，不過，這在手機的環(huán)境下顯然是行不通的，因為此方案的耗電太驚人，散熱也難以處理。

　　在此情況下，專屬的視頻加速器就是最可行的方案。在Nomadik應用平臺中的視頻加速器，能針對MPEG-4的編解碼提供30 fps的CIF畫質(zhì)、24 fps的VGA畫質(zhì)和384Kbit/s的傳輸率，也具備圖像前／后處理的能力，如(圖二)。在視頻的編、解碼上，除了運算處理外，記憶體的容量與架構(gòu)也是設計上的關(guān)鍵。舉例來說，以CIF的顯示器加上抓取緩沖（grab buffer）就需要1200 Kbyte以上才夠。若能開發(fā)一套智能性的動作估計演算法（motion estimation algorithm），就能大幅降低記憶體大小和耗電性。

　　Nomadik以48 Kbyte的on-chip SRAM來支援VGA視頻編碼，它用在視頻頻框的抓取和搜尋視窗的儲存，外部的記憶體則被用于其余視頻功能的處理。此一作法降低了記憶處理的延遟，讓效能可以大幅提升，同時也為改善了I/O和匯流排的設計，能進一步降低耗電；此外，在成本上也因晶片尺寸的縮小而降低。

　　此外，高品質(zhì)、低復雜性演算法對于H.264的編解碼也有很大的幫助，以ST來說，就已提出運動估算與速率控制演算法，以及用于H.264解碼的錯誤檢測與隱藏演算法，能讓解碼器承擔并隱藏數(shù)據(jù)封包損失，在無線封包網(wǎng)路上實現(xiàn)IP網(wǎng)路的最佳效能。

　　圖二　智能視頻加速器

　　資料來源：ST

　　音頻處理單元

　　手機的基本功能，即在處理語音的通話音頻。但在多媒體手機中，音頻的處理任務愈來愈復雜，除了語音外，還要求具備多音調(diào)振鈴、MP3音樂、FM廣播及游戲音效，而且不能只是單聲道的效果，現(xiàn)在還要求能提供Hi-Fi立體聲的臨場感體驗。

　　從單聲道到立體聲，對手機音頻系統(tǒng)的設計是一種改革性的挑戰(zhàn)。一般而言，Hi-Fi是指16-bit立體聲品質(zhì)、以44.1kHz取樣的音頻，也就是CD音樂的規(guī)格；電話語音則是8-bit和8kHz的單聲道（mono）、低階品質(zhì)音頻。過去這兩個世界是井水不犯河水的，但今日在手機上得一併考慮設計才行了。

　　在音頻編解碼（CODEC）上，也有琳瑯滿的規(guī)格需要支援：針對音效的編碼就有PCM、ADPCM、DM、PWM、WMA、OGG、AMR、ACC、MP3Pro以及MP3等；針對人類語音有LPC、CELP與ACELP等；其他還有MPEG-2、MPEG-4、H.264、VC-1等視聽節(jié)目的編碼格式。手機多媒體格式的市場趨勢請參考(圖三)。

　　圖三　手機多媒體格式的應用市場趨勢

　　在Nomadik中具有一個音頻加速器，它是一個完全以C語言加以程式化的多媒體DSP（MMDSP）核心，此核心採用採用超長指令集（very-long-instruction-word, VLIW）架構(gòu)，它的每個指令執(zhí)行為一個循環(huán)，而且完全是由C語言撰寫的程式，適用于與媒體內(nèi)容相關(guān)的處理，以及協(xié)定、負載平衡和多工架構(gòu)等用途。此一音頻加速器能夠?qū)ΠˋAC、MP3、MPEG-1、MPEG-2、MIDI、Dolby Digital等廣泛的數(shù)字音頻格式進行加碼或解碼，也支援SRS、WOW等3D音頻環(huán)繞效果，如(圖四)。

　　圖四　智能音頻加速器

　　資料來源：ST

　　硬件加速器

　　為了要進一步降低耗電，有必要將硬件線路運算器（hardwired operator）和MMDSP一起使用，這樣能保證即使在最糟的狀況下還有足夠的效能表現(xiàn)。低頻率的硬件負責處理動作估計（motion estimation）、編碼轉(zhuǎn)換（transform coding）、變數(shù)長度解碼（variable length decoding）、圖像過濾（image filtering）和色彩轉(zhuǎn)換（color conversion）等需要大量MIPS計算的工作。

　　軟件架構(gòu)剖析

　　吸引人、負擔得起和互動性的多媒體通信、資訊和娛樂將新的移動服務中處處可見。但對軟件廠商和設備制造商來說，如果每次都要針對不同的無線平臺重新撰寫同樣的應用功能，自然是讓人很氣餒的經(jīng)驗。Java這類run-time技術(shù)能支援下載游戲和應用，但需要有足夠程式資源。有趣的多媒體應用需要愈來愈多的資源和耗電，這對于體積小的手機設備是很大的挑戰(zhàn)。

　　要克服這些問題的一個務實方式，是採用開放多媒體介面的一般性架構(gòu)，而且是基于抽象硬件介面（hardware abstraction）的作法。在這個架構(gòu)同時提供上層和下層的觀點，上層的觀點提供應用程式撰寫者一套針對特定作業(yè)系統(tǒng)的統(tǒng)一軟體介面，并對底層的處理器設計加以抽象化。

　　在底層的部分包括多媒體加速器和影音編解碼器，UART、USB及藍芽等通信介面，以及LCD控制器、影像感測器或照相機等一般性應用週邊的標準硬件介面；在中間的部分為涵蓋核心、設備驅(qū)動程式和檔案系統(tǒng)的作業(yè)系統(tǒng)功能，以及多媒體架構(gòu)、語音及網(wǎng)路的通信架構(gòu)、Java和安全性架構(gòu)等等；上層的部分則是各種應用功能，例如語音、游戲、短信、瀏覽、PIM等等功能。這三層之間則透過底層API及高層API來進行溝通，請參考(圖五)。

　　圖五　軟件架構(gòu)示意圖

　　資料來源：ST

　　結(jié)論

　　目前移動終端設備的應用性不斷地延伸，其中最主要的趨勢自然是從單純語音走向消費性娛樂的多媒體應用功能。單以視頻應用來說，就包括攝影（camcorder）、媒體播放（media player）、移動電視、視頻電話（video telephony）等等，要提供這些應用功能，今日的手機除了需要提升鏡頭、感測器、處理器、記憶體和顯示器等硬件系統(tǒng)配備外，開發(fā)者還得面臨不少設計挑戰(zhàn)。

　　先進的多媒體應用平臺要能支援多重的視頻及音頻格式，以提供豐富的影音應用功能；要支援更高的解析度和傳輸、處理速度，以提升用戶的視聽感受經(jīng)驗；在應用處理負荷增加下，仍能保持或延長電池的使用壽命。要克服這些挑戰(zhàn)，在設計上有必要採取更先進的軟、硬技術(shù)與系統(tǒng)架構(gòu)。

　　本文中針對多媒體手機的系統(tǒng)需求提出了分散式處理的加速器架構(gòu)，它能有效地降低系統(tǒng)的負荷，并滿足各種應用的處理效能。在新興的多媒體應用及服務上，除了考慮處理效能及展現(xiàn)品質(zhì)外，往往還得解決內(nèi)容的安全性的問題，因此，手機系統(tǒng)也需針對行動商務（M-commerce）、身分證認（authentication）和數(shù)字版權(quán)管理（DRM）等應用做出安全的安全保障架構(gòu)，這和終端本身記憶體的作法以及通信系統(tǒng)的認證機制息息相關(guān)，例如可用專屬的安全模組記憶體作法來儲存保密性的資料。

　　最后，在通信的世界中需要打造一個開放性的環(huán)境，才能讓這些內(nèi)容、應用及服務遍及最多的用戶。目前有IMTC（International Multimedia Teleconferencing Consortium）、MPEG IF和Internet Streaming Media Alliance (ISMA)等國際組織在推動音、視頻及串流格式的一致性作法，以確保在不同的終端設備和電信系統(tǒng)中能順暢的傳遞視頻內(nèi)容。這些非營利組織之間也有密切的合作關(guān)系，在開放性的精神下，讓多媒體的服務能更快速的進入每個人的行動生活當中。

　　（作者為意法半導體亞太區(qū)通信及移動多媒體事業(yè)部資深技術(shù)行銷工程師，聯(lián)絡方式：vincent.chiang@st.com）