VR技術及其新聞應用前景研究

　　本文首先介紹了VR在新聞等各個領域的應用，并介紹了VR目前面臨的主要問題。為了解決這個問題，我們提出了基于自適應FEC編碼的VR傳輸協(xié)議MPFEC，可以充分利用多路徑的能力，并根據(jù)冗余包恢復丟失的數(shù)據(jù)包以降低時延，保證更好的VR的沉浸式用戶體驗，使VR在新聞領域廣泛使用成為可能。

　　引言

　　最近迅猛發(fā)展的VR(虛擬現(xiàn)實)技術給新聞、游戲、教育、藝術、甚至醫(yī)療等眾多領域帶來了天翻地覆的變化，VR能夠利用計算機生成一種多源信息融合的、交互式的三維動態(tài)視景仿真環(huán)境，使用戶沉浸到該環(huán)境中，給人身臨其境、重現(xiàn)現(xiàn)場的效果，這種現(xiàn)場感也是新聞媒體業(yè)追求的目標，同時也會給用戶帶來時空穿越的感覺，拉近和新聞事件的距離，使用戶產(chǎn)生強烈的體會和感受。

　　紐約時報(New York Times)、美國有線電視新聞網(wǎng)(CNN)和英國廣播公司(BBC)等媒體大軍紛紛加入VR陣營，打造VR全景新聞視頻吸引受眾，并且希望最終從中獲益，提高自身競爭力。2017年3月7日，CNN宣布正式成立名為“CNNVR”的虛擬現(xiàn)實新聞部門，該部門專注于VR新聞，每周推出一期360度全景視頻，并不定期舉行VR現(xiàn)場直播，使用戶借助具備浸入感的電視新聞產(chǎn)品了解全球大事，并獲得了不錯的效果，其中包括敘利亞北部的交通要道和軍事重鎮(zhèn)阿勒頗遭受襲擊、美國總統(tǒng)就職等視頻在臉譜網(wǎng)上有超過3000萬的點擊量。美國廣播公司(ABC)、英國廣播公司(BBC)、美聯(lián)社、美國全國廣播公司(NBC)等多家廣電媒體提供了新鮮的VR觀賽體驗，全方位地轉(zhuǎn)播了開閉幕式、跳水、拳擊等精彩盛典賽事，讓屏幕前的用戶如同置身現(xiàn)場一般感受盛典的宏大場面以及奧運賽場的緊張氣氛。

　　同時，隨著技術和硬件的普及，VR設備的獲得門檻和成本越來越低。按照硬件形態(tài)來劃分，VR設備主要分為三種：PC端VR、一體機VR、移動端頭顯(又叫手機VR)。其中PC端VR是目前體驗最好的VR，典型的是Oculus Rift、HTC的Vive，這類VR設備需要連接電腦，因此他們擁有更強勁的性能，可以渲染出更精良的VR內(nèi)容，但是會受到數(shù)據(jù)線的束縛;一體機VR，顧名思義，它具有獨立CPU、輸入和輸出顯示功能，完全擺脫傳輸線的束縛，但是由于CPU性能和顯示屏分辨率的限制，其體驗效果不如PC端VR;移動端頭顯是最便宜的一種入門版VR頭戴設備，只需花10磅就可以購買一個谷歌紙板，向其中放入手機并打開YouTube，就能體驗“無與倫比”的VR視頻，移動端頭顯讓一些擁有手機的用戶可以輕松享受到VR技術。

　　VR視頻傳輸質(zhì)量深刻影響VR用戶體驗，是VR中至關重要的技術之一。VR視頻傳輸?shù)囊淮筇攸c是傳輸數(shù)據(jù)量大，雖然采用FOV傳輸方案可以有效降低帶寬，但是VR的沉浸式用戶體驗與數(shù)據(jù)傳輸時延密不可分。較大的傳輸時延會帶來較大的頭動延時和較差的用戶體驗。目前移動VR設備逐步成為主流，VR視頻數(shù)據(jù)通過無線方式傳輸?shù)絍R設備中，數(shù)據(jù)在無線信道中傳輸會因為干擾和擁塞而丟包，而丟包重傳會帶來較大時延。為了降低傳輸延時，提高VR用戶體驗，我們提出了基于自適應FEC編碼的VR傳輸協(xié)議MPFEC，可以利用多路徑傳輸視頻數(shù)據(jù)，并根據(jù)冗余包恢復丟失的數(shù)據(jù)包以解決重傳帶來的高時延問題。

　　問題和挑戰(zhàn)

　　VR視頻傳輸?shù)囊淮筇攸c是傳輸數(shù)據(jù)量大，碼率大(平均碼率在5000kbps左右，碼率變動比傳統(tǒng)視頻小)，為了降低傳輸帶寬，有人提出采用FOV傳輸方案代替360度傳輸方案，F(xiàn)OV傳輸方案工作原理見圖3所示，VR設備將用戶當前頭部位置傳至服務器，服務器返回對應頭部位置的視頻圖像，由VR設備進行渲染并呈現(xiàn)給用戶。若采用FOV傳輸方案，VR的沉浸式用戶體驗與數(shù)據(jù)傳輸時延密不可分。較大的傳輸時延會帶來較大的頭動延時 (Motion-To-Photon Latency)，使用戶產(chǎn)生眩暈感等較差的用戶體驗，嚴重時會對用戶健康造成損害。

　　由此可見，要想獲得更好的VR體驗， VR傳輸協(xié)議需要滿足以下兩個主要需求：高帶寬和低時延。

　　MPFEC系統(tǒng)設計

　　目前移動VR設備逐步成為主流，VR視頻數(shù)據(jù)通過WiFi、LTE等無線方式傳輸?shù)絍R設備中，數(shù)據(jù)在無線信道中傳輸會因為干擾和擁塞而丟包，不同無線信道的RTT和丟包率也各異。為了降低傳輸延時，充分利用多路徑的優(yōu)勢，我們提出了基于自適應FEC編碼的VR傳輸協(xié)議MPFEC，可以利用多路徑傳輸視頻數(shù)據(jù)，并根據(jù)冗余包恢復丟失的數(shù)據(jù)包以解決重傳帶來的高時延問題，提高VR用戶體驗。

　　1.發(fā)送端架構

　　MPFEC發(fā)送端的基本架構如下圖所示：

　　用戶在線觀看VR視頻時，視頻并不是一次性傳送到用戶計算機上的，這樣會占用太多的帶寬，所以，視頻會被切割成若干個小時間片段依次傳送，同時每一個時間片段的視頻也會切分為相同大小的分塊，每一個分塊采用不同碼率進行編碼。發(fā)送端的視頻分塊選擇模塊(Video Tile Selector)會根據(jù)反饋的當前網(wǎng)絡RTT丟包率等信息選擇相應碼率的視頻分塊并輸入編碼模塊(FEC Encoder)進行編碼。原始數(shù)據(jù)和編碼數(shù)據(jù)并行傳輸至數(shù)據(jù)包分配和擁塞控制模塊(Packet Allocate & Congestion Control Unit)，該模塊會根據(jù)不同子路徑的實際情況進行路徑分配和發(fā)送速率控制。原始數(shù)據(jù)和編碼數(shù)據(jù)均以UDP數(shù)據(jù)包的形式在各個子路徑中傳輸。

　　2.接收端架構

　　MPFEC接收端的基本架構如下圖所示：

　　MPFEC接收端會從不同子路徑中收到不同的原始數(shù)據(jù)包和編碼數(shù)據(jù)包，網(wǎng)絡監(jiān)控模塊(Network Monitor)會統(tǒng)計丟包率等信息，并將各個子路徑的網(wǎng)絡狀態(tài)信息傳給反饋發(fā)送模塊(Feedback Sender)，由其將各個子路徑的網(wǎng)絡狀況信息和用戶當前頭部角度反饋給發(fā)送端。接收到的數(shù)據(jù)包會儲存在緩存模塊(Buffer)中，當所有原始數(shù)據(jù)包均收到時，原始數(shù)據(jù)直接傳送至視頻解碼和拼接模塊(Video Decode & Stitch)，當原始數(shù)據(jù)沒有完全收齊但是該分塊的數(shù)據(jù)包總數(shù)到達一定數(shù)量時，數(shù)據(jù)包將會被傳送至解碼模塊(FEC Decoder)中，解碼成功后，視頻數(shù)據(jù)會傳送至視頻解碼和拼接模塊(Video Decode & Stitch)，由該模塊進行視頻解碼和拼接，并呈現(xiàn)給用戶。

　　MPFEC系統(tǒng)實現(xiàn)

　　MPFEC系統(tǒng)的實現(xiàn)分為其發(fā)送端實現(xiàn)和接收端實現(xiàn)兩部分，目前還在實現(xiàn)階段。FEC編解碼算法采用自適應參數(shù)的Semi-Random LT codes算法，視頻編解碼算法采用H.264算法。

　　總結

　　最近迅猛發(fā)展的VR(虛擬現(xiàn)實)技術給新聞、游戲、教育、藝術、甚至醫(yī)療等眾多領域帶來了天翻地覆的變化，各大主流媒體大軍紛紛加入VR陣營，打造VR全景新聞視頻和VR直播吸引受眾。VR視頻傳輸質(zhì)量深刻影響VR用戶體驗，是VR中至關重要的技術之一。VR視頻傳輸具有傳輸數(shù)據(jù)量大的特點，雖然采用FOV傳輸方案可以有效降低帶寬，但是VR的沉浸式用戶體驗與數(shù)據(jù)傳輸時延密不可分。較大的傳輸時延會帶來較大的頭動延時和較差的用戶體驗。為了降低傳輸延時，充分利用多路徑的優(yōu)勢，我們提出了基于自適應FEC編碼的VR傳輸協(xié)議MPFEC，可以利用多路徑傳輸視頻數(shù)據(jù)，并根據(jù)冗余包恢復丟失的數(shù)據(jù)包以解決重傳帶來的高時延問題，提高VR用戶體驗，為VR技術在新聞出版業(yè)中獲得更廣泛的應用打下堅實的技術基礎。