在移動終端上實現(xiàn)沉浸式的VR體驗

摘要：為了使頭顯VR達到沉浸式效果，需要在視覺、聽覺以及用戶體驗上提高，這對處理器及工具軟件提出了挑戰(zhàn)，高通已有相關的解決方案。

VR時代正在到來

　　VR(虛擬現(xiàn)實)是劃時代的革命產品，可以給人們帶來真實的感受，可以讓你去一些你無法去的地方，讓你身臨其境地感受到現(xiàn)實生活中無法感受到的一些體驗，比如觀看美國大峽谷的日落，可以360°欣賞景色，還可以聽到真實的鳥鳴和瀑布聲。

　　上個世紀90年代曾掀起過VR熱，但那時僅僅是曇花一現(xiàn)，因為當時無論從生態(tài)鏈的內容角度還是從技術角度，都沒有達到一個可以使VR進入到平常百姓家的能力。VR今天已經是時候爆發(fā)了，日本等地已經把2016年看作是VR元年，而且VR很可能成為繼電腦和手機之后的下一個熱潮。

　　移動手機業(yè)對于未來最被看好的VR主流形態(tài)——一體機VR有巨大的推動作用。現(xiàn)在很多做VR設備的人是做手機和平板的設備廠商，不管從硬件系統(tǒng)架構還是從生態(tài)鏈和供應鏈上，跟手機的關系是非常緊密的。手機擁有很大的體量，擁有大規(guī)模效應，可以極大拉低從芯片到外圍器件的成本。手機還有非?？斓牡芷冢蟛糠謴S商一年甚至不到一年就能替代一代產品?？梢?，手機和VR打通管道之后，能夠被大眾接受的難度就大大降低了。

　　從設備體驗看，需要從三個角度來提供手機的沉浸式體驗的感受(如圖1)。首先，視覺方面，需要有超高分辨率的支持，需要在芯片前端做圖像轉換的功能;聲音側也會提供真實的分辨率聲音、高清聲音以及3D聲音的一些算法;在交互上，高通也會針對目前所提供的用戶調查報告以及人體工程學的數據，從頭部運動到畫面隨動上面，從用戶交互、手勢跟蹤、眼球跟蹤等方面，以及用戶頭部旋轉和運動移動的位置跟蹤上，優(yōu)化移動VR的體驗。

視覺

　　*視覺處理

　　視覺是體驗感最關鍵的因素。如果我們把目前的2K手機插到VR盒子里看，可以明顯地看到三格效應。因為人的視角非常廣闊，有超過180°的視角，但真正能感受到比較多信息的視角約在50°~60°(如圖2)。當視角超過100°、120°的情況下，目前的手機或者電腦的最高分辨率也無法達到目前我們對VR的需求。目前手機4K被普遍認為是沒有必要的，只是額外增加手機功耗。但對于VR來說，4K、8K遠遠沒有達到要求，有可能到10K以后才能達到視網膜屏幕的解析度。

　　目前市面上已經出現(xiàn)了眼球跟蹤技術及產品發(fā)布。所謂眼球跟蹤技術，因為人真正能注意到的視角很窄，可能只有20°、30°，余光看到50°、60°以外是獲取不到太多信息的。根據人體功能學的這一特點，我們可以在畫面渲染時增加眼球跟蹤技術，這樣就可以知道目前用戶的眼睛盯在什么地方，并在眼睛盯著的范圍之內重點做100%的全景渲染，而在周邊區(qū)域可以慢慢降低渲染程度，比如只渲染一半的像素，另一半像素只需要通過一些其他算法做一些模糊效果即可。所以當眼球跟蹤技術的時延達到一定程度，人的眼睛是完全感覺不到的。此技術最大的好處是大大減少了CPU圖形渲染的工作量，同時提高了渲染效果以及CPU運行的效率。

　　另外，目前VR領域因為鏡片的簡單造成了圖片的畸變。因為現(xiàn)在的VR眼鏡不可能像傳統(tǒng)的專業(yè)單反相機或專業(yè)鏡頭，可以用多組鏡頭實現(xiàn)?，F(xiàn)在的VR基本上是一組凸透鏡，這是無法達到中間和邊緣都一致的效果。所以如果一個正方形的圖像顯示在VR屏幕上，且僅通過一組透鏡到達人眼的效果，會發(fā)現(xiàn)四個角會被明顯拉長(如圖3右上)。所以在CPU側的前端要做一些補償。

　　CPU怎么補償?我們會在顯示上做一個桶形的圖像(如圖3左下)，如果你看手機上一些這種類型的VR，看的時候把手機摘下來，你會發(fā)現(xiàn)左右的形狀是桶形，但是最后通過凸透鏡可以變成正方形。

　　還有一點也是目前VR沒法改變的情況，就是在邊緣處，由于可見光的不同顏色的光的波長不一樣，會通過透鏡邊緣出現(xiàn)色散的問題(如圖4上)，這需要色彩校正。方法是做反向處理，將原來一個點變成三個點，通過凸透鏡折射之后，形成一個方向的曲線，這樣可以看到邊緣和中間一樣清晰。所有這些技術都需要在送到顯存的時候就要做優(yōu)化。

　　*360°全景

　　VR宣稱可以360°看到圖像，所以從源端到設備端都需要整個產業(yè)鏈共同推進。我們看到源端360°采集是多種多樣的，從大而笨重的設備去采集，到現(xiàn)在由于算法升級，所以攝像頭的相機數量可以減少到三四個、兩個魚眼鏡頭，所以我們可以不斷地推進，包括采集設備、360°全景照片的編碼格式等，都需要整個業(yè)界做促進和統(tǒng)一。

　　而在VR設備端，需要針對目前沒有達到統(tǒng)一的360°視頻形式做各種適應的編/解碼，甚至需要左、右眼區(qū)別對待。

　　*3D效果

　　3D帶來景深效果。當我們看3D電影或者玩3D游戲時，可能需要CPU分辨左、右眼，讓大家感受到景深/3D效果。原理眾所周知，因為人的左、右眼之間有距離，不同景深對應人的左、右眼的圖像不一樣。當圖6中一個紅點遮擋汽車時，左、右眼不僅在視網膜上投影有位移，同時汽車的位置也有位移。所以我們在很多全景游戲和3D游戲方面，需要在CPU上做左、右眼的渲染。

聽覺

　　目前VR的聽覺雖然沒有視覺那么被重視，但是在整個VR的沉浸式體驗中也是非常重要的，其中包括高分辨率的聲音以及基于3D的定位聲音。目前如果我們用手機或者電腦來聽音樂、看電影，如果要分辨聲音從什么地方傳過來，通常是通過聲音的強度來判斷的：如果來自左聲道，你會發(fā)現(xiàn)左聲道聲音大，右聲道聲音小，但是這遠遠達不到3D的效果。我們還需要聲音達到左、右耳時有微小的時延，而且不僅是左右，還有上下、前后，以及斜前方、斜后方等位置。我們還要通過算法，體驗到聲音已到我們面前了;我們也可以隨時改變這個函數，達到最真實的效果。

　　另外，當聲源開始移動時，這時也一樣可以通過傳輸的函數計算出來，在任何一個時刻它傳到左、右耳的效果是什么樣。而且還有根據人體工程學和耳道模型做的耳道傳輸函數，會考慮人的耳廓、外耳、中耳和內耳的人體工程學結構，考慮到你的反射，以達到最好的效果。

　　還有一些聲源在不同的室內環(huán)境，諸如浴室、臥室、客廳，或者在展館、室外，會產生不同的反射和效果，這是游戲開發(fā)者在做游戲時需要重點考慮的方面。目前PC游戲基本可以達到令人滿意的效果，但是在VR上要考慮人的頭部轉動和聲源變動，因此變量復雜得多，計算過程也更復雜。

　　目前高通領先的手機芯片驍龍820會支持音頻的功能，像高分辨率的音頻及噪聲技術，以及同時進行音頻和視頻的處理。

用戶交互體驗

　　時延被認為越短越好。關于頭部的運動，目前市面上看到的大部分一體機或者分體機，基本有三個維度的頭部運動：X軸、Y軸和Z軸(如圖7)，手機陀螺儀就用于此，只不過VR上把陀螺儀頻率提高了一點，提高到1000Hz或者800Hz。

　　但是實際上，當考慮三個維度時，陀螺儀已無法達到準確控制了，因為會有很多漂移。但是我們有一種技術——結合攝像頭技術，攝像頭可以放在VR前端，這樣攝像頭再結合陀螺儀的感應器一起工作，再通過復雜的算法，就不需要任何外界設施，只需要安裝兩個可以發(fā)出可見光或者不可見光的掃描設備做移動的檢測，利用周圍靜止的物體作為參考，再結合陀螺儀就達到頭部轉動、垂直和平移的跟蹤。

　　*延遲

　　很短暫的延遲是讓用戶沒有任何感覺的，但是當延遲達到一定程度后，用戶會感覺到有明顯的眩暈感覺。時間是多少比較合適?20ms是目前VR不感到頭暈的時間點。

　　為此我們主要做三件事情，1.頭部運動旋轉一個角度時，需要感應頭部的運動。目前手機是在100Hz，采樣周期10ms，但這么低的頻率是沒法滿足要求的。我們考慮高頻方案，在三個采樣上只浪費了不到1ms。2.圖像處理之后，我們需要根據運動隨時產生新的圖像，同時需要根據特殊情況產生左右眼分別兩幅圖像，然后再進行渲染，以及做到色差的校正。3.送到顯存，再通過TFT顯示讓用戶感覺到圖像隨著頭部在做運動。

　　如上所述，我們需要在每一件事情上做優(yōu)化，VR顯示技術是用了響應時間較短的屏幕刷新來實現(xiàn)較高的刷新率，例如90Hz、100Hz，這也是大大減少VR延遲的好辦法。所以中間這部分就留給高通等芯片廠商做GPU或者CPU的處理。

VR對處理器芯片的需求特點

　　在移動VR設備當中有一個很艱難的挑戰(zhàn)，它不像目前的PC的VR可以通過PC來取電，因而比較輕便。但是移動VR設備的工作量卻沒有降低，完全不輸于PC的CPU，而電源功耗要求會比PC的VR嚴格很多。在系統(tǒng)端，從CPU到屏幕，整個系統(tǒng)的功耗決定了VR設備的體驗。

　　這兩個需求是相悖的，但是又是相互關聯(lián)的。當芯片顯示技術做到較好的省電技術，這時留給工程師做設計的空間就大了很多。所以高通立志在芯片端提高電池效率，包括眼球跟蹤技術可以極大提高CPU效率，這樣讓VR設備廠商在VR設計時可以有更大的自由度，設計出更加輕便、省電、漂亮的VR設備。

　　目前VR對于芯片端的功能模塊的需求是非常高的，因此高通主推高端手機芯片—驍龍820。驍龍820里面有DPU、DSP、GPU以及CPU等。此外，高通也發(fā)布了針對于游戲和視頻開發(fā)者的SDK(開發(fā)者套件)，包含很多東西，有針對用戶交互體驗以及視覺、聽覺優(yōu)化出來的用戶接口，可以供開發(fā)者去調用，比如有DSP的技術以降低時延，也有色差校正來提高邊緣的效果，還有雙眼的渲染，單顯存的機制。

小結

　　視覺、聽覺和交互提高了移動式一體機的體驗。我們堅信一體機最終會成為市場的一個主流，可以替代目前移動不便的PC的VR，也可以替代目前為了追求低成本而制造出來的插卡式手機VR，而達到一個理想的沉浸式體驗。高通驍龍820將把領先的技術集成到VR當中去。

本文來源于中國科技期刊《電子產品世界》2016年第5期第15頁，歡迎您寫論文時引用，并注明出處。