基于深度學(xué)習(xí)的跌倒檢測(cè)技術(shù)對(duì)比與分析*

*基金項(xiàng)目：

湖南省教育廳科學(xué)研究項(xiàng)目“基于深度學(xué)習(xí)的智能無(wú)人機(jī)目標(biāo)檢測(cè)算法研究”(20C0105)；

長(zhǎng)沙民政職業(yè)技術(shù)學(xué)院2021年度校級(jí)培育項(xiàng)目“基于深度學(xué)習(xí)的應(yīng)用研究”(21mypy97)

0   引言

據(jù)中國(guó)疾病監(jiān)測(cè)系統(tǒng)的數(shù)據(jù)顯示，跌倒是我國(guó)65歲以上老年人因傷致死的首要原因^[1]，及時(shí)準(zhǔn)確地檢測(cè)老人跌倒事件，對(duì)有效降低跌倒對(duì)老人帶來(lái)的傷害極為重要。隨著研究的深入，基于傳統(tǒng)機(jī)器學(xué)習(xí)和淺層神經(jīng)網(wǎng)絡(luò)的跌倒檢測(cè)方法等具有檢測(cè)精度相對(duì)低、事件響應(yīng)速度慢等缺點(diǎn)，而基于深度學(xué)習(xí)的跌倒檢測(cè)方法因其檢測(cè)精度高等優(yōu)點(diǎn)，得到越來(lái)越多研究者的重視，本文對(duì)近年來(lái)基于深度學(xué)習(xí)的跌倒檢測(cè)方法進(jìn)行對(duì)比、分析和總結(jié)，并對(duì)未來(lái)的發(fā)展方向提出一些思考。

1   深度學(xué)習(xí)模型

通過(guò)深度學(xué)習(xí)技術(shù)進(jìn)行跌倒識(shí)別最常用的模型是卷積神經(jīng)網(wǎng)絡(luò)（CNN）^[2] 模型和長(zhǎng)短期記憶網(wǎng)絡(luò)（LSTM）^[3-4]模型。CNN 模型主要包含輸入層、卷積層、池化層、全連接層和輸出層，結(jié)構(gòu)如圖1 所示。利用CNN 模型可以實(shí)現(xiàn)對(duì)人體狀態(tài)的快速識(shí)別，且泛化能力較強(qiáng)，因此采用基于CNN 技術(shù)進(jìn)行跌倒識(shí)別的研究文獻(xiàn)相對(duì)較多。LSTM 是改進(jìn)的循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）^[5]技術(shù)。LSTM 著重于處理圖片中的時(shí)頻數(shù)據(jù)。由于傳感器獲取到的人體活動(dòng)數(shù)據(jù)是帶有時(shí)間特性的，利用LSTM 技術(shù)可以對(duì)跌倒事件做出及時(shí)響應(yīng)。為了優(yōu)化跌倒檢測(cè)結(jié)果，在有些研究中會(huì)將LSTM 與CNN 二者結(jié)合使用。

圖1 卷積神經(jīng)網(wǎng)絡(luò)

2   基于深度學(xué)習(xí)的跌倒檢測(cè)分析

跌倒檢測(cè)的基本工作流程包括數(shù)據(jù)采集、數(shù)據(jù)處理、模型訓(xùn)練和狀態(tài)識(shí)別。在實(shí)際應(yīng)用中，當(dāng)檢測(cè)到跌倒行為發(fā)生時(shí)，系統(tǒng)發(fā)出警報(bào)信息，從而達(dá)到及時(shí)救治的目的。本節(jié)將從數(shù)據(jù)采集、數(shù)據(jù)處理、模型選擇和參數(shù)優(yōu)化及結(jié)果分析4 個(gè)方面進(jìn)行介紹。

2.1 數(shù)據(jù)采集

數(shù)據(jù)采集階段可使用可穿戴傳感器設(shè)備、環(huán)境傳感設(shè)備和視頻捕捉設(shè)備獲取跌倒數(shù)據(jù)和日常行為數(shù)據(jù)^[6-7]，本文主要考慮可穿戴傳感器設(shè)備和視頻捕捉設(shè)備?？纱┐鱾鞲衅髟O(shè)備主要包括加速度計(jì)、陀螺儀、智能手機(jī)、智能手表等。傳感器的設(shè)備選型和佩戴位置均會(huì)影響跌倒檢測(cè)結(jié)果的精確度，常見的佩戴位置有腰部、腕部、胸部、腳部等，其中將傳感器放置在腰部的研究較多，其跌倒識(shí)別的準(zhǔn)確率也相對(duì)較高^[8]。腰部為人體重心所在，采集到的數(shù)據(jù)相對(duì)穩(wěn)定，且對(duì)日常生活不會(huì)造成太大影響，是比較容易被接受的一個(gè)佩戴位置。單一傳感器設(shè)備在跌倒識(shí)別精度上比多傳感器設(shè)備低，因此許多研究將多傳感器融合使用，以求達(dá)到提高檢測(cè)精確度的目的。跌倒測(cè)試數(shù)據(jù)可使用自建數(shù)據(jù)集或公開數(shù)據(jù)集。目前，已有多種公開數(shù)據(jù)集可供跌倒檢測(cè)研究，其中使用可穿戴傳感器設(shè)備捕捉的數(shù)據(jù)集有SisFall、MobiAct、SmartWatch、Notch 等；使用視頻捕捉設(shè)備獲取的數(shù)據(jù)集有Le2i、CASIA、URFD 等^[9]。

2.2 數(shù)據(jù)處理

數(shù)據(jù)處理階段包括數(shù)據(jù)預(yù)處理、圖像分割、特征提取。經(jīng)處理的數(shù)據(jù)用于模型訓(xùn)練與結(jié)果測(cè)試，數(shù)據(jù)處理結(jié)果將對(duì)最終的跌倒檢測(cè)結(jié)果產(chǎn)生很大影響，因此數(shù)據(jù)處理階段非常重要。

2.2.1 數(shù)據(jù)預(yù)處理

由于深度學(xué)習(xí)中處理的圖像相鄰像素之間具有強(qiáng)相關(guān)性，所以輸入的數(shù)據(jù)會(huì)出現(xiàn)冗余，且輸入數(shù)據(jù)塊不一致時(shí)，會(huì)降低網(wǎng)絡(luò)收斂速度和延長(zhǎng)訓(xùn)練時(shí)間，因此輸入的數(shù)據(jù)一般要經(jīng)過(guò)預(yù)處理操作。常用的預(yù)處理方法有0均值（去中心化）、縮放和歸一化，如表1 所示。

表1 數(shù)據(jù)預(yù)處理方法

根據(jù)使用的采集設(shè)備的不同，采集到的數(shù)據(jù)分為基于可穿戴傳感器設(shè)備的數(shù)據(jù)和基于視頻捕捉設(shè)備的數(shù)據(jù)。

可穿戴傳感器設(shè)備分為多種，不同的設(shè)備采集到的數(shù)據(jù)會(huì)有所不同。目前大多數(shù)研究采用的傳感器為三軸傳感器。對(duì)于這類傳感器采集的數(shù)據(jù)的預(yù)處理主要包括濾波降噪和數(shù)據(jù)降維操作，常見的濾波算法有低通濾波^[10]、滑動(dòng)平均濾波^[11]、卡爾曼濾波和中值濾波等^[12-13]，優(yōu)點(diǎn)是算法簡(jiǎn)單，處理速度快，但抗噪聲等干擾能力弱。呂艷等提出了一種平滑無(wú)限沖擊響應(yīng)（IIR）濾波器對(duì)全部數(shù)據(jù)進(jìn)行處理后再用Z-SCORE 標(biāo)準(zhǔn)化方法對(duì)數(shù)據(jù)進(jìn)行預(yù)處理的方法^[14]。數(shù)據(jù)降維操作是將傳感器獲取到的大量多維數(shù)據(jù)降維為一維、二維或三維數(shù)據(jù)，以用于卷積網(wǎng)絡(luò)模型或其他機(jī)器學(xué)習(xí)網(wǎng)絡(luò)模型。使用較多的降維操作是軸合成方法，如均方根（矢量和）、水平垂直方向加速度、身體傾斜角等。其次是滑動(dòng)時(shí)間窗方法對(duì)數(shù)據(jù)進(jìn)行降維和序列化分割處理^[15-16]。陳波等^[17]提出了一種改進(jìn)的矢量和軸合成方法對(duì)傳感器數(shù)據(jù)進(jìn)行降維操作。李雷等^[18]提出了一種改進(jìn)的核成分分析方法進(jìn)行數(shù)據(jù)降維操作。盧忱等^[19]提出了一種對(duì)合成加速度進(jìn)行小波變換的方法對(duì)傳感器數(shù)據(jù)進(jìn)行降維和特征提取。

通過(guò)視頻捕捉設(shè)備獲取的數(shù)據(jù)一般為視頻或圖像數(shù)據(jù)，對(duì)于這類數(shù)據(jù)的預(yù)處理一般包括視頻的抽幀、標(biāo)簽化、灰度化等操作，同時(shí)還應(yīng)考慮現(xiàn)實(shí)場(chǎng)景對(duì)數(shù)據(jù)的影響，如光照、抖動(dòng)、噪聲污染等。

2.2.2 圖像分割

采集的數(shù)據(jù)一般需通過(guò)歸一化處理為二維或三維圖像數(shù)據(jù)，其中三維圖像數(shù)據(jù)一般指包含時(shí)序特性的二維圖像。通過(guò)可穿戴傳感器設(shè)備獲取的數(shù)據(jù)沒(méi)有具體的人體姿態(tài)信息，因此對(duì)于這類數(shù)據(jù)只需在其預(yù)處理后采用滑動(dòng)時(shí)間窗的方式對(duì)數(shù)據(jù)進(jìn)行分層讀取即可。而通過(guò)視頻捕捉設(shè)備采集的數(shù)據(jù)需要進(jìn)行前、背景分離，從而獲取待識(shí)別目標(biāo)。曹建榮等^[20]提出了一種使用改進(jìn)的YOLOv3 網(wǎng)絡(luò)進(jìn)行前、背景分離，可快速準(zhǔn)確地實(shí)現(xiàn)人體特征提取，使用21 層卷積層順序連接的網(wǎng)絡(luò)實(shí)現(xiàn)人體目標(biāo)識(shí)別。通過(guò)分析目標(biāo)圖像寬高比、人體質(zhì)心高度、軀干傾斜角度和運(yùn)動(dòng)特征向量來(lái)進(jìn)行圖像分割。馬露等^[21]提出了一種改進(jìn)的FSSD 算法進(jìn)行目標(biāo)檢測(cè)。楊光耀^[22]使用OpenPose 姿態(tài)識(shí)別算法提取視頻中的動(dòng)作特征，以此創(chuàng)建跌倒檢測(cè)所需的數(shù)據(jù)集。OpenPose 算法是基于骨架進(jìn)行人體姿態(tài)識(shí)別，文中通過(guò)對(duì)人體關(guān)節(jié)進(jìn)行分組分析，為不同組的數(shù)據(jù)不同的權(quán)重系數(shù)，以此來(lái)減少數(shù)據(jù)的冗余^[23]。

2.2.3 特征提取

對(duì)預(yù)處理后的數(shù)據(jù)進(jìn)行提取特征，通過(guò)特征比對(duì)來(lái)判別跌倒行為。跌倒一般包括3 個(gè)階段：失重階段、撞擊階段和靜止階段，在人體撞擊地面的瞬間，加速度達(dá)到峰值。因此基于可穿戴式傳感器數(shù)據(jù)的跌倒識(shí)別主要通過(guò)加速度變化進(jìn)行判斷。在基于計(jì)算機(jī)視覺(jué)的跌倒識(shí)別中，可通過(guò)人體姿態(tài)或質(zhì)心位置變化進(jìn)行判斷。特征提取階段主要對(duì)上述特征值進(jìn)行提取。常用的特征值有均值、標(biāo)準(zhǔn)差、方差、均方根、絕對(duì)值、最大值和最小值等。在深度學(xué)習(xí)模型中，主要通過(guò)卷積神經(jīng)網(wǎng)絡(luò)中的卷積操作提取特征，卷積層數(shù)越多，提取的特征值越豐富，但也會(huì)造成系統(tǒng)負(fù)擔(dān)，影響檢測(cè)結(jié)果。文獻(xiàn)[12] 中使用了平均值替換的方法進(jìn)行特征提取。文獻(xiàn)[16] 中使用I-RELIFE 算法進(jìn)行特征選擇。文獻(xiàn)[18] 使用改進(jìn)的YOLOv3 網(wǎng)絡(luò)進(jìn)數(shù)據(jù)處理，使用該模型提取目標(biāo)圖像寬高比、人體質(zhì)心高度、軀干傾斜角度和運(yùn)動(dòng)特征向量等運(yùn)動(dòng)特征。文獻(xiàn)[17] 通過(guò)對(duì)合成加速度信號(hào)進(jìn)行小波分解，提取第三四層低頻系數(shù)的小波能量、波峰均值及波峰個(gè)數(shù)作為特征。

2.3 模型選擇與參數(shù)優(yōu)化

模型訓(xùn)練是將處理好的數(shù)據(jù)輸入至模型中，通過(guò)搭建好的模型進(jìn)行訓(xùn)練，直至網(wǎng)絡(luò)收斂或滿足精確度要求。模型訓(xùn)練階段的關(guān)鍵在于模型的選擇和模型參數(shù)的優(yōu)化。

2.3.1 模型選擇

用于跌倒檢測(cè)的深度學(xué)習(xí)模型主要有CNN 模型和LSTM 模型。CNN 模型擅于處理數(shù)據(jù)的空間特性，而LSTM 一般用于處理數(shù)據(jù)的時(shí)間特性。目前使用CNN模型的研究相對(duì)較多，在有些研究中將LSTM 與CNN二者結(jié)合使用來(lái)提高跌倒事件中的響應(yīng)速度。

2.3.2 參數(shù)優(yōu)化

以CNN 模型為例，其核心思想在于引入局部感知、權(quán)值共享和下采樣這3 種技術(shù)來(lái)彌補(bǔ)傳統(tǒng)神經(jīng)網(wǎng)絡(luò)的不足。影響模型最終檢測(cè)結(jié)果的因素包括輸入數(shù)據(jù)的有效性、卷積層數(shù)、激活函數(shù)、卷積核大小、卷積步長(zhǎng)、填充值、池化方式等。在神經(jīng)網(wǎng)絡(luò)中，衡量網(wǎng)絡(luò)預(yù)測(cè)結(jié)果與真實(shí)值之間差別的指標(biāo)稱為損失函數(shù)。而模型訓(xùn)練就是通過(guò)調(diào)整權(quán)重W和偏置b 使損失函數(shù)的值盡可能小，從而使模型的測(cè)試結(jié)果更接近真實(shí)值。損失函數(shù)包括分類損失函數(shù)和回歸損失函數(shù)，常用的分類損失函數(shù)有負(fù)對(duì)數(shù)似然損失函數(shù)和交叉熵?fù)p失函數(shù)。權(quán)重W 和b 的值可通過(guò)梯度下降、隨機(jī)梯度下降、動(dòng)量、加速梯度、均方根及自適應(yīng)矩估計(jì)等算法^[24]進(jìn)行優(yōu)化。訓(xùn)練時(shí)，若提取特征值過(guò)多可能會(huì)出現(xiàn)過(guò)擬合，可使用數(shù)據(jù)增強(qiáng)、權(quán)重衰減及Dropout 等方法^[25]防止過(guò)擬合。

2.4 結(jié)果分析

將測(cè)試數(shù)據(jù)輸入至訓(xùn)練好的模型中，通過(guò)分類函數(shù)進(jìn)行分類識(shí)別，再由輸出層將分類結(jié)果輸出。對(duì)于跌倒檢測(cè)的結(jié)果，分析跌倒和非跌倒行為的識(shí)別精度，表2為部分文獻(xiàn)關(guān)于識(shí)別結(jié)果的說(shuō)明，其中I_t 代表跌倒識(shí)別精度，I_f 代表非跌倒識(shí)別精度。

表2 識(shí)別結(jié)果對(duì)比

3 結(jié)束語(yǔ)

本文對(duì)近年來(lái)關(guān)于深度學(xué)習(xí)的跌倒檢測(cè)研究進(jìn)行了分析。根據(jù)跌倒檢測(cè)的過(guò)程，分別從數(shù)據(jù)采集、數(shù)據(jù)處理、模型選擇與優(yōu)化及識(shí)別結(jié)果等方面進(jìn)行了分析。通過(guò)分析可知，目前有大量關(guān)于深度學(xué)習(xí)的跌倒檢測(cè)研究，且也取得了較好的研究成果，但仍然存在一些問(wèn)題：

1）數(shù)據(jù)集

從大量文獻(xiàn)研究發(fā)現(xiàn)，實(shí)驗(yàn)采用的數(shù)據(jù)集大多是在預(yù)設(shè)環(huán)境或背景單一環(huán)境下采集，且采集的數(shù)據(jù)來(lái)源大多是青年志愿者。而真實(shí)環(huán)境遠(yuǎn)比實(shí)驗(yàn)環(huán)境更復(fù)雜多變，且對(duì)于跌倒檢測(cè)的真實(shí)對(duì)象是老年人，因此采集的數(shù)據(jù)在實(shí)際應(yīng)用中可能會(huì)存在一定的偏差。

2）訓(xùn)練模型

在引用的文獻(xiàn)中關(guān)于卷積網(wǎng)絡(luò)模型的選用比較單一，大多是選擇二維或三維卷積網(wǎng)絡(luò)模型。未來(lái)也許可以嘗試其他的卷積網(wǎng)絡(luò)模型。

3）安全問(wèn)題

本文引用的文獻(xiàn)中幾乎均未提及關(guān)于系統(tǒng)的安全問(wèn)題，而在萬(wàn)物互聯(lián)的今天，跌倒檢測(cè)所使用的設(shè)備幾乎全部聯(lián)網(wǎng)，并通過(guò)互聯(lián)網(wǎng)進(jìn)行數(shù)據(jù)通信和處理，這些設(shè)備極易受到網(wǎng)絡(luò)入侵和黑客攻擊，因此其網(wǎng)絡(luò)安全問(wèn)題也變得尤為重要。

參考文獻(xiàn)：

[1] 國(guó)家統(tǒng)計(jì)局:中華人民共和國(guó)2021年國(guó)民經(jīng)濟(jì)和社會(huì)發(fā)展統(tǒng)計(jì)公報(bào)[EB/OL]. 2022,3.

[2] Y. LECUN, Y BENGIO, et al. Deep leaning[J]. Nature,2015:436-444.

[3] CHANG Y C, LAI Y H, et al. Inferential motion reconstruction of fall accident based on LSTM neural network[ J]. Med. Biol.Eng,2019,39(3): 315-328.

[4] 厙向陽(yáng),蘇學(xué)威.基于CNN和LSTM混合模型的人體跌倒行為研究[J].計(jì)算機(jī)應(yīng)用研究,2019,36(12):3857-3868.

[5] 沈旭東.基于深度學(xué)習(xí)的時(shí)間序列算法綜述[J].信息技術(shù)與信息化,2019(1):71-76.

[6] 朱連杰,陳正宇,田晨林.基于可穿戴設(shè)備的跌倒檢測(cè)方法綜述[J].計(jì)算機(jī)工程與應(yīng)用,2019,55(18):8-14.

[7] 忽麗莎,王素貞,陳益強(qiáng),等.基于可穿戴設(shè)備的跌倒檢測(cè)算法綜述[J].浙江大學(xué)學(xué)報(bào)(工學(xué)版),2018,52(9):1717-1728.

[8] ?ZDEMIR A. An analysis on sensor locations of the human body for wearable fall detection devices: principles and practice[J].Sensors,2016,16 (8):1161.

[9] KRAFT D, SRINIVASAN K, BIEBER G. Deep learning based fall detection algorithms for embedded systems, smart watches, and IoT devices using accelerometers[J]. Technologies,2020,8(4):72.

[10] SUCERQUIA A, LOPEZ J, et al. Real-life/real-time elderly fall detection with a triaxial accelerometer[J].Sensors,2018,18 (4):1101.

[11] 孫子文,孫曉雯.基于加速度傳感器的人體跌倒檢測(cè)方法[J].計(jì)算機(jī)工程與科學(xué),2017,39(2):330-335.

[12] 何堅(jiān),周明.基于卡爾曼濾波與k-NN算法的可穿戴跌倒檢測(cè)技術(shù)研究[J].電子與信息學(xué)報(bào),2017,39(11):2627-2634.

[13] 鞏玉奇,陶晉宜,楊剛.基于改進(jìn)中值濾波的手機(jī)玻璃瑕疵圖像增強(qiáng)方法[J].電子技術(shù)應(yīng)用,2022,48(7):91-95.

[14] 呂艷.采用卷積神經(jīng)網(wǎng)絡(luò)的老年人跌倒檢測(cè)系統(tǒng)設(shè)計(jì)[J].浙江大學(xué)學(xué)報(bào),2019,53(6):1130-1138.

[15] 劉青玉.基于淺層學(xué)習(xí)和深度學(xué)習(xí)的傳感器活動(dòng)識(shí)別對(duì)比研究[D].秦皇島:燕山大學(xué),2017.

[16] 胡雙杰.基于特征自動(dòng)提取的跌倒檢測(cè)算法[J].傳感器技術(shù),2018,31(12):1842-1847.

[17] 陳波,等.基于傳感器人體行為識(shí)別深度學(xué)習(xí)模型的研究[J].浙江工業(yè)大學(xué)學(xué)報(bào),2018,46(4):375-381.

[18] 李雷.穿戴式跌倒檢測(cè)中特征向量的提取和降維研究[J].計(jì)算機(jī)應(yīng)用研究,2019,36(1):103-114.

[19] 盧忱.一種基于小波特征的跌倒行為檢測(cè)方法[J].西安郵電大學(xué)學(xué)報(bào),2016,21(5):43-49.

[20] 曹建榮.融合運(yùn)動(dòng)特征和深度學(xué)習(xí)的跌倒檢測(cè)算法[J].計(jì)算機(jī)應(yīng)用,2021,41(2):583-589.

[21] 馬露.基于深度學(xué)習(xí)的跌倒行為識(shí)別[J].計(jì)算機(jī)科學(xué),2019,46(9):106-112.

[22] 楊光耀.基于深度學(xué)習(xí)的人體姿態(tài)識(shí)別系統(tǒng)設(shè)計(jì)與實(shí)現(xiàn)[J].中國(guó)新技術(shù)新產(chǎn)品,2022(7):22-24.

[23] 范鵬生,吳貴軍,陳浩辰.基于輕量化Openpose的跌倒算法識(shí)別研究[J].無(wú)線互聯(lián)科技,2022,19(08):128-129.

[24] 高隨祥,文新.深度學(xué)習(xí)導(dǎo)論與應(yīng)用實(shí)踐[M].北京:清華大學(xué)出版社,2019:89-92.

[25] 解天舒.基于卷積神經(jīng)網(wǎng)絡(luò)的Dropout方法研究[D].成都:電子科技大學(xué),2021.

（本文來(lái)源于《電子產(chǎn)品世界》雜志2022年12月期）