VR環(huán)境下圖書(shū)閱讀手勢(shì)交互系統(tǒng)設(shè)計(jì)*

摘 要：為了解決讀者在圖書(shū)館閱讀過(guò)程中受限于時(shí)間和空間的問(wèn)題，本文提出對(duì)虛擬現(xiàn)實(shí)閱讀手勢(shì)交互系統(tǒng)進(jìn)行設(shè)計(jì)，針對(duì)虛擬現(xiàn)實(shí)環(huán)境下圖書(shū)閱讀手勢(shì)中存在交互效率和識(shí)別誤差率問(wèn)題，采用深度神經(jīng)網(wǎng)絡(luò)算法對(duì)手勢(shì)識(shí)別算法進(jìn)行設(shè)計(jì)，采集手勢(shì)識(shí)別數(shù)據(jù)進(jìn)行測(cè)試，實(shí)驗(yàn)結(jié)果表明，手勢(shì)識(shí)別準(zhǔn)確率可以達(dá)到91.75%，交互耗時(shí)平均約為0.28?s。VR環(huán)境下圖書(shū)閱讀手勢(shì)交互系統(tǒng)有利于改變傳統(tǒng)學(xué)習(xí)方式，營(yíng)造良好學(xué)習(xí)氛圍，激發(fā)學(xué)生學(xué)習(xí)興趣。同時(shí)，基于自然手勢(shì)的用戶交互研究為VR閱讀中的用戶服務(wù)創(chuàng)新提供了新的視角。

關(guān)鍵詞：虛擬現(xiàn)實(shí)；圖書(shū)閱讀；三維建模；手勢(shì)交互

*基金項(xiàng)目：湖南科技職業(yè)學(xué)院校級(jí)科研立項(xiàng)課題“VR環(huán)境下圖書(shū)閱讀手勢(shì)交互系統(tǒng)研究”（KJ21227）

0 引言

為了解決讀者在圖書(shū)館閱讀書(shū)籍過(guò)程中受限于時(shí)間和空間的問(wèn)題，可通過(guò)虛擬現(xiàn)實(shí)（Virtual Reality, VR）技術(shù)試圖讓喜歡閱讀的學(xué)生在任何時(shí)間任何地點(diǎn)都能沉浸于閱讀之中，VR閱讀可提供與真實(shí)世界一樣的視覺(jué)、聽(tīng)覺(jué)和觸覺(jué)等感知功能，能夠給讀者營(yíng)造身臨其境的感覺(jué) ^[1]，激發(fā)學(xué)生的學(xué)習(xí)興趣。然而，市場(chǎng)上大部分 VR 閱讀應(yīng)用場(chǎng)景界面仍使用傳統(tǒng)的 GUI 交互，需要通過(guò)傳統(tǒng)的鼠標(biāo)、鍵盤(pán)或手柄等交互設(shè)備進(jìn)行操作，且僅適用于二維交互，無(wú)法滿足 VR 環(huán)境中人機(jī)交互的新要求， 缺少多維度、多模態(tài)、高效性特點(diǎn)，影響了 VR 閱讀的體驗(yàn)感。

當(dāng)前，使用者在 VR 交互中更加熱衷于使用自然手勢(shì)與虛擬對(duì)象進(jìn)行交互，手勢(shì)交互具有自然性、多維性和高效性等特點(diǎn) ^[2]。手勢(shì)識(shí)別技術(shù)也是作為人機(jī)交互的重要組成部分，它以更自然、更符合人類習(xí)慣的交互形式 ^[3]，能夠滿足 VR 交互體驗(yàn)的需求，但手勢(shì)交互在虛擬場(chǎng)景中存在輸入序列缺失、識(shí)別誤差高、交互效率低等問(wèn)題 ^[4]。本文對(duì)虛擬現(xiàn)實(shí)閱讀手勢(shì)交互系統(tǒng)進(jìn)行設(shè)計(jì)，基于深度神經(jīng)網(wǎng)絡(luò)算法設(shè)計(jì)手勢(shì)識(shí)別算法。

1 相關(guān)工作研究

VR 閱讀的研究主要集中在圖書(shū)館相關(guān)情境的應(yīng)用研究、用戶體驗(yàn)分析、發(fā)展分析等問(wèn)題。劉念 ^[5] 提出構(gòu)建基于 VR 技術(shù)的特色館藏建設(shè)方案。李瑞 ^[6] 闡述了 VR 技術(shù)在當(dāng)前實(shí)體書(shū)店中發(fā)展的意義 , 首先分析了 VR 場(chǎng)景在實(shí)體書(shū)店中應(yīng)用的情況分析 , 然后對(duì) VR 場(chǎng)景在 實(shí)體店的應(yīng)用可行性分析，并提出了應(yīng)用對(duì)策。呂明明 ^[7] 等人指出 VR 技術(shù)利用其沉浸感、構(gòu)想性、交互性的三大優(yōu)勢(shì) , 同時(shí)提出 "VR+ 圖書(shū) " 的未來(lái)出版策略 , 給 "VR+ 圖書(shū) " 模式的構(gòu)建和發(fā)展提供了新的思路與新的方法。

國(guó)內(nèi)外研究學(xué)者對(duì)手勢(shì)交互進(jìn)行了深入的研究，龍江騰等 ^[8] 人設(shè)計(jì)了一種 VR 游戲手勢(shì)動(dòng)作識(shí)別裝置，首先對(duì)手勢(shì)分類識(shí)別，然后優(yōu)化手勢(shì)數(shù)據(jù)特征的提取方法 , 最后在 VR 游戲中優(yōu)化了人機(jī)交互過(guò)程。黃東晉等 ^[9] 人提出一種新的面向電影場(chǎng)景搭建的手勢(shì)交互方法，首先根據(jù)電影的虛擬預(yù)演特性和手勢(shì)理論 , 設(shè)計(jì)了一組手勢(shì)集合，然后搭建了徒手的手勢(shì)用戶界面。王文鋒 ^[10] 提出了基于手勢(shì)交互的汽車虛擬拆裝實(shí)驗(yàn)系統(tǒng)，并且構(gòu)建了車輛拆裝的虛擬仿真實(shí)驗(yàn)平臺(tái)。馬少斌 ^[11] 通過(guò)搭建 手勢(shì)交互課件應(yīng)用系統(tǒng)，為基于 AR 交互課件的播控奠定了技術(shù)基礎(chǔ)。

2 系統(tǒng)總體方案設(shè)計(jì)

2.1 開(kāi)發(fā)流程

VR 環(huán)境下圖書(shū)閱讀手勢(shì)交互系統(tǒng)的開(kāi)發(fā)流程主要包括需求調(diào)研與需求分析、基于 3DMax 軟件制作對(duì)象模型、基于 Unity 搭建場(chǎng)景與交互邏輯實(shí)現(xiàn)、深度神經(jīng)網(wǎng)絡(luò)手勢(shì)識(shí)別算法開(kāi)發(fā)和測(cè)試與評(píng)價(jià) 5 個(gè)部分。

2.1.1 需求調(diào)研與需求分析

首先通過(guò)對(duì)學(xué)校圖書(shū)館進(jìn)行實(shí)地測(cè)量和資料調(diào)研，對(duì)圖書(shū)館的內(nèi)部結(jié)構(gòu)，圖書(shū)館中物體的比例尺寸數(shù)據(jù)和室內(nèi)內(nèi)飾輪廓進(jìn)行拍照、測(cè)量與記錄，通過(guò)問(wèn)卷調(diào)查收集讀者的閱讀習(xí)慣和行為操作，然后對(duì)真實(shí)圖書(shū)館的建模數(shù)據(jù)和閱讀的功能數(shù)據(jù)進(jìn)行需求分析，形成相關(guān)的文檔記錄。

2.1.2 基于3DMax軟件制作對(duì)象模型

基于 3DMax 軟件制作對(duì)象模型主要完成圖書(shū)館及相關(guān)對(duì)象的 3D 模型制作，并對(duì)模型的細(xì)節(jié)進(jìn)行優(yōu)化處理，這一任務(wù)依賴于需求調(diào)研與需求分析形成的文檔信息，根據(jù)比例尺寸制作圖書(shū)館的模型，并對(duì)構(gòu)建好的模型完成展 UV 操作、材質(zhì)貼圖和導(dǎo)出處理等任務(wù)，導(dǎo)出為 fbx 格式文件。

2.1.3 基于Unity搭建場(chǎng)景與交互邏輯實(shí)現(xiàn)

基于 Unity 搭建場(chǎng)景主要需要完成 3D 模型的導(dǎo)入，模型材質(zhì)的處理和 3D 場(chǎng)景搭建。首先需要將制作好的模型相關(guān)資源導(dǎo)入到 Unity 引擎中，材質(zhì)球使得模型接近真實(shí)的外形和材質(zhì)感，3D 場(chǎng)景搭建主要是在場(chǎng)景中按需求調(diào)研數(shù)據(jù)搭建圖書(shū)館。交互邏輯的實(shí)現(xiàn)主要包含 UI 菜單導(dǎo)航以及閱讀過(guò)程中人機(jī)交互相關(guān)邏輯實(shí)現(xiàn)等。

2.1.4 深度神經(jīng)網(wǎng)絡(luò)手勢(shì)識(shí)別算法開(kāi)發(fā)

深度神經(jīng)網(wǎng)絡(luò)手勢(shì)識(shí)別算法開(kāi)發(fā)主要包括手勢(shì)數(shù)據(jù)的處理、手勢(shì)識(shí)別模型的訓(xùn)練、測(cè)試與應(yīng)用。

2.1.5 VR圖書(shū)閱讀手勢(shì)交互系統(tǒng)的測(cè)試與評(píng)價(jià)

測(cè)試與評(píng)價(jià)部分是通過(guò)選擇以手勢(shì)和鼠標(biāo)點(diǎn)擊兩種人機(jī)交互方式分別進(jìn)行實(shí)驗(yàn)，測(cè)試的內(nèi)容包括 UI 菜單選擇、手勢(shì)和鼠標(biāo)點(diǎn)擊交互、閱讀反饋等功能。

2.2 功能設(shè)計(jì)

VR 圖書(shū)閱讀系統(tǒng)的功能設(shè)計(jì)主要包含場(chǎng)景、UI 菜單、鼠標(biāo)點(diǎn)擊交互和手勢(shì)交互閱讀四個(gè)方面。

2.2.1 場(chǎng)景

逼真的閱讀場(chǎng)景設(shè)計(jì)是系統(tǒng)不可或缺的關(guān)鍵因素，影響了讀者對(duì)于 VR 世界的直觀感受。本系統(tǒng)采用 3Dmax 模型實(shí)時(shí)渲染圖書(shū)館場(chǎng)景，給讀者營(yíng)造了一種身臨其境的閱讀氛圍。

2.2.2 UI菜單

UI 菜單的作用主要給讀者進(jìn)行一些相關(guān)的選擇操作的提示。本系統(tǒng)提供了開(kāi)始場(chǎng)景 UI 菜單和閱讀過(guò)程中需要的 UI 菜單兩種。

2.2.3 鼠標(biāo)點(diǎn)擊按鈕交互

在鼠標(biāo)游戲?qū)ο笊蠑U(kuò)展腳本，在初始化 Start 方法中通過(guò) GetComponent 方法獲取到 Button 組件，然后給按鈕注冊(cè)監(jiān)聽(tīng)事件 btn.onClick.AddListener (OnClick)，再在 OnClick 回調(diào)方法中編寫(xiě)邏輯代碼。

2.2.4 手勢(shì)交互

手勢(shì)交互的作用主要涉及兩個(gè)方面：一方面提供手勢(shì)交互功能，如手勢(shì)翻閱圖書(shū)；另一方面提供手勢(shì)輔助操作功能，如手勢(shì)打開(kāi) / 關(guān)閉 UI 菜單等。

2.3 模型設(shè)計(jì)

基于 3DMax 軟件構(gòu)建 VR 圖書(shū)閱讀系統(tǒng)的相關(guān)模型資源，包括圖書(shū)館模型、圖書(shū)館書(shū)架模型和圖書(shū)模型，并完成相關(guān)的細(xì)節(jié)化處理。

2.3.1 在建模過(guò)程中，可以將一個(gè)復(fù)雜的對(duì)象模型拆分為很多個(gè)簡(jiǎn)單的小模型，首先可以創(chuàng)建簡(jiǎn)單的小模型，然后在由很多的小模型合并生成一個(gè)復(fù)雜的整體模型，從而實(shí)現(xiàn)由簡(jiǎn)單到復(fù)雜。

2.3.2 在使用 3Dmax 建模過(guò)程中，需要注意的就是要控制模型的面數(shù)。如果模型面數(shù)過(guò)多，這樣會(huì)影響到渲染速度，嚴(yán)重的時(shí)候，VR 設(shè)備會(huì)出現(xiàn)卡機(jī)的現(xiàn)象。因此，在確保物體保真的前提下，盡可能的讓面數(shù)越少，我們可以通過(guò)減少模型的曲面細(xì)分，或者減少倒角的使用等來(lái)解決。

2.4 場(chǎng)景設(shè)計(jì)

在從 3DMax 軟件中完成模型制作后，導(dǎo)出模型時(shí)，選擇為 FBX 格式，再通過(guò)復(fù)制粘貼到工程項(xiàng)目下的文件中，完成模型的導(dǎo)入。在場(chǎng)景中導(dǎo)入模型，調(diào)整書(shū)架和書(shū)的布局位置，再給模型設(shè)置好材質(zhì)貼圖。

3 手勢(shì)識(shí)別算法設(shè)計(jì)

基于深度神經(jīng)網(wǎng)絡(luò)的手勢(shì)識(shí)別算法開(kāi)發(fā)，首先對(duì) Leap Motion 手部體感數(shù)據(jù)的進(jìn)行提取與處理，然后對(duì)深度神經(jīng)網(wǎng)絡(luò)的函數(shù)與算法選擇，最后對(duì)手勢(shì)識(shí)別模型進(jìn)行訓(xùn)練與應(yīng)用。

3.1 手勢(shì)數(shù)據(jù)處理

本文采用 Leap Motion 設(shè)備進(jìn)行手勢(shì)數(shù)據(jù)采集，通過(guò) USB 接口可以建立 Leap Motion 與 PC 之間的連接，采集數(shù)據(jù)的追蹤頻率可達(dá)到每秒 120 幀，通過(guò)手勢(shì)數(shù)據(jù)采集程序就可以獲取手模型數(shù)據(jù)，模型數(shù)據(jù)通常包含標(biāo)簽數(shù)據(jù)、掌心位置數(shù)據(jù)、手掌姿態(tài)數(shù)據(jù)、手臂相關(guān)數(shù)據(jù)、大拇指相關(guān)數(shù)據(jù)、食指相關(guān)數(shù)據(jù)、中指相關(guān)數(shù)據(jù)、無(wú)名指相關(guān)數(shù)據(jù)、小拇指相關(guān)數(shù)據(jù)等 ^[12]。在編寫(xiě)手勢(shì)數(shù)據(jù)讀取程序時(shí)需要對(duì)數(shù)據(jù)位數(shù)進(jìn)行解析，再將獲取到的手勢(shì)特征數(shù)據(jù)，存入文本文件。

3.2 深度神經(jīng)網(wǎng)絡(luò)的函數(shù)與算法選擇

激活函數(shù)對(duì)神經(jīng)網(wǎng)絡(luò)的深層和非線性能力提供了幫助，通常來(lái)說(shuō)，離開(kāi)激活函數(shù)，加深網(wǎng)絡(luò)算法就失去了意義，目前，常用的激活函數(shù)有 tanh 函數(shù)、sigmoid 函數(shù)和 relu 函數(shù) ^[13]。激活函數(shù) relu 也稱為帶泄露線性整流函數(shù)，主要運(yùn)行在神經(jīng)元上的函數(shù)。其表達(dá)式為：

其中： δ 為 relu 的參數(shù)；t 為神經(jīng)元輸入；f (t) 為神經(jīng)元輸出。

損失函數(shù)的作用主要用于評(píng)估模型的性能，損失函數(shù)越小表明模型的性能越好。常用的損失函數(shù)有平方損失函數(shù)、絕對(duì)值損失函數(shù)和 Focal loss 損失函數(shù)等。Focal loss 損失函數(shù)表達(dá)式為：

優(yōu)化算法主要用于優(yōu)化權(quán)重和偏移量，降低損失。常用的優(yōu)化算法有梯度下降、隨機(jī)梯度下降和 Adam 等，Adam 算法在模型訓(xùn)練優(yōu)化的過(guò)程中，可以使每個(gè)參數(shù)獲得自適應(yīng)的學(xué)習(xí)率，從而優(yōu)化質(zhì)量和速度。

3.3 手勢(shì)識(shí)別模型訓(xùn)練與應(yīng)用

首先，導(dǎo)入手勢(shì)數(shù)據(jù)集，通過(guò)提取自然手勢(shì)的 8 組手勢(shì)：①右手單手向前；②右手單手向后；③右手單手向左；④右手單手向右；⑤左手單手向前，映射為拿書(shū)；⑥左手單手向后，映射為；⑦左手單手向左；⑧左手單手向右。其中：①、④、⑤和⑧，映射為閱讀交互中的翻下一頁(yè)的功能；⑥、⑦、②和③，映射為閱讀交互中的翻上一頁(yè)的功能。然后，將 8 種手勢(shì)數(shù)據(jù)集平均劃分為訓(xùn)練集、驗(yàn)證集和測(cè)試集，最后，通過(guò)調(diào)用訓(xùn)練好的手勢(shì)識(shí)別模型數(shù)據(jù)，實(shí)時(shí)計(jì)算采集到的手勢(shì)數(shù)據(jù)。

4 實(shí)驗(yàn)分析

4.1 實(shí)驗(yàn)數(shù)據(jù)集

為評(píng)估本文提出的深度神經(jīng)網(wǎng)絡(luò)手勢(shì)識(shí)別算法，本次實(shí)驗(yàn)選取 30 名同學(xué)進(jìn)行測(cè)試。

4.2 實(shí)驗(yàn)結(jié)果

采集了 30 名同學(xué)的手勢(shì)數(shù)據(jù)，8 種手勢(shì)數(shù)據(jù)集，總共采集 800 組，100 組右手單手向前；100 組右手單手向后；100 組右手單手向左；100 組右手單手向右；100 組左手單手向前；100 組左手單手向后；100 組左手單手向左；100 組左手單手向右，測(cè)試實(shí)驗(yàn)結(jié)果如表 1。

表1 實(shí)驗(yàn)結(jié)果表

由表 1 可見(jiàn)，對(duì)手勢(shì)交互的動(dòng)作進(jìn)行樣本測(cè)試，總樣本數(shù)為 800 次，誤檢數(shù) 66 次，準(zhǔn)確率達(dá)到 91.75%，平均耗時(shí) 0.28 s。

5 結(jié)束語(yǔ)

本文對(duì)虛擬現(xiàn)實(shí)閱讀手勢(shì)交互系統(tǒng)總體方案進(jìn)行了設(shè)計(jì)，從開(kāi)發(fā)流程、功能設(shè)計(jì)、模型設(shè)計(jì)和場(chǎng)景設(shè)計(jì)進(jìn)行了描述。選擇深度神經(jīng)網(wǎng)絡(luò)算法設(shè)計(jì)手勢(shì)識(shí)別算法，可以降低識(shí)別誤差率，提高交互效率，有利于改變傳統(tǒng)閱讀方式，有利于在教育中營(yíng)造良好的學(xué)習(xí)氛圍。

參考文獻(xiàn)：

[1] YONGCAI H, WEI S, XIGANG L, et al. Tourism demonstration system for large-scale museums based on 3D virtual simulation technology[J]. The Electronic Library, 2020,38(2): 367-381.

[2] 胡中旭.虛擬場(chǎng)景人機(jī)交互中手勢(shì)識(shí)別技術(shù)研究[D].武漢:華中科技大學(xué),2018.

[3] XIA SH, GAO L, LAI YK, et al. A survey on human performance capture and animation[J]. Journal of Computer Science and Technology, 2017,32(3):536-554.

[4] 張維,林澤一,程堅(jiān),等.動(dòng)態(tài)手勢(shì)理解與交互綜述[J].軟件學(xué)報(bào),2021,32(10):3051-3067.

[5] 劉念.VR技術(shù)在高校圖書(shū)館特色館藏建設(shè)中的應(yīng)用及發(fā)展研究[J].大學(xué)圖書(shū)情報(bào)學(xué)刊,2020,38(04):125-129.

[6] 李瑞.VR場(chǎng)景在實(shí)體書(shū)店的前景研究[J].企業(yè)科技與發(fā)展,2019(04):79-80.

[7] 呂明明.沉浸、互動(dòng)與構(gòu)想:“VR+圖書(shū)”出版的契機(jī)與策略[J].長(zhǎng)江師范學(xué)院學(xué)報(bào),2021,37(01):40-46.

[8] 龍江騰,高永平.一種VR游戲手勢(shì)運(yùn)動(dòng)識(shí)別裝置[J].現(xiàn)代電子技術(shù),2021,44(12):173-176.

[9] 黃東晉,陳燕敏,李金遙,等.一種新的面向電影場(chǎng)景搭建的自然手勢(shì)交互方法[J].計(jì)算機(jī)應(yīng)用與軟件,2021,38(06):46-51.

[10] 王文鋒,楊韜.基于Unity 3D與自然手勢(shì)交互的車輛虛擬拆裝實(shí)驗(yàn)系統(tǒng)[J].高技術(shù)通訊,2021,31(06):646-652.

[11] 馬少斌,張成文,梁虎金.基于Kinect的手勢(shì)交互課件應(yīng)用系統(tǒng)的設(shè)計(jì)[J].蘭州文理學(xué)院學(xué)報(bào)(自然科學(xué)版),2021,35(03):77-81.

[12] 章彬.基于Leap Motion手勢(shì)識(shí)別的VR電工實(shí)驗(yàn)系統(tǒng)設(shè)計(jì)[D].大連:大連理工大學(xué),2021.

[13] 賴策.卷積神經(jīng)網(wǎng)絡(luò)中的激活函數(shù)分析[J].科學(xué)技術(shù)創(chuàng)新,2019.

(注：本文轉(zhuǎn)載自《電子產(chǎn)品世界》雜志2022年11月期)