物聯(lián)網(wǎng)中的傳感器融合和遠程情感計算

摘要

傳感器技術時代已經到來?，F(xiàn)在，很難見到不使用傳感器為用戶創(chuàng)造新體驗的電子消費產品。傳感器正在經歷復興，這是由于微機電系統(tǒng)（MEMS）技術價格降低了，尺寸也縮小了，因此又推動了傳感器在新應用的使用，并為傳感器市場營造了新機遇。

1.引言

傳感器現(xiàn)在用于各種應用中，如智能移動設備、汽車系統(tǒng)、工業(yè)控制、醫(yī)療保健、石油勘探和氣候監(jiān)測。傳感器無處不在，現(xiàn)在傳感器技術已開始密切模仿終極感知設備，即人類。傳感器融合使這成為可能，該技術利用微控制器（“大腦”）將從多個傳感器采集的各個數(shù)據(jù)融合在一起，獲得的數(shù)據(jù)視圖比單獨使用各個離散傳感器獲得的視圖更準確、更可靠。使用傳感器融合整體采集的數(shù)據(jù)遠遠大于各傳感器獨立采集的數(shù)據(jù)之和。

傳感器融合支持環(huán)境感知，這對物聯(lián)網(wǎng)（IoT）來說蘊藏著巨大潛力。傳感器融合針對遠程情感計算（情感感測和處理）的演進在未來還可能產生激動人心的新應用，包括智能醫(yī)療。然而，這些功能也帶來了物聯(lián)網(wǎng)監(jiān)管中需要解決的嚴重的隱私問題。隨著傳感器融合和REC技術的使用不斷增加，將采集大量的環(huán)境感知數(shù)據(jù)。這些數(shù)據(jù)結合物聯(lián)網(wǎng)對“空中全球神經網(wǎng)絡”和基于云的處理資源的訪問，將進一步推動為給定情況提供自定義的環(huán)境感知服務。這些服務可基于單個用戶正在做什么、設備正在做什么、基礎設施正在做什么，大自然正在做什么等環(huán)境，以及所有上述內容的各種組合。

圖1傳感器融合：人體模型

2.人類：終極傳感示例

為了了解傳感器融合如何工作，讓我們看看人體內感知的工作方式。一個人在許多方面體驗外部世界。視覺、聽覺、化學感覺（嗅覺和味覺）和表面感覺（觸覺）都提供關于一個人周圍環(huán)境的感官信息，這些信息通過外周神經系統(tǒng)（PNS）傳遞給大腦。然后大腦決定如何響應一個給定的情況或體驗。

PNS對它傳輸?shù)男畔⒉恢贫◤碗s的決策；這些決策由大腦制定。對感覺輸入，大腦的反應是發(fā)送運動信息，這是人類對輸入的響應。例如，一個行人看到一輛汽車向他開過來，他的大腦告訴他的肌肉以更快的速度走到路的另一邊，避免發(fā)生事故。人還接收來自他們內臟器官的信息，其中一些信息非常明顯，如胃疼。還有其他類型的體內信息是人無法感知的，如血壓，這些信息用于調節(jié)人體的內部環(huán)境。

圖2計步器案例分析

大腦是最終的決策者。然而，如果沒有外周神經系統(tǒng)帶來感知信息并發(fā)出運動信息，人將無法行走、說話或我們經常認為理所當然的許多其他功能。大腦經常使用數(shù)個感官輸入源驗證事件，并完善非“完整性”信息，從而做出決策。例如，人可能看不到汽車引擎蓋下的火焰，但橡膠燃燒的氣味和儀表盤散發(fā)的熱量將告訴大腦需要離開這輛汽車，因為引擎起火了。在這種情況下，使大腦做出反應的信息大于獨立感官輸入之和。

在技術世界，傳感器融合發(fā)揮的作用與此相似。傳感器融合將來自多個傳感器的輸入整合在一起，提供更準確、更可靠的傳感，能夠產生更高水平的認知，并提供新的應對措施。各個傳感器都有固有的局限性，可能產生錯誤，但這些錯誤可以由補充傳感節(jié)點進行糾正或進行補充。例如，陀螺儀會隨著時間的推移而產生偏移，可以使用配備的加速計來補償這些偏移。因此，（來自多個傳感器的）融合的傳感器信息比單獨的傳感器數(shù)據(jù)更準確、更可靠。

3.不斷發(fā)展的傳感器技術改善日常生活

讓我們看一個計步器的簡單示例。傳統(tǒng)的計步器使用一個鐘擺，需要以垂直的角度佩戴在髖關節(jié)，以避免錯誤讀數(shù)。當用戶走動時，計步器跟蹤鐘擺隨著髖關節(jié)的運動來回擺動，擺動一回便計數(shù)一次，以此對每一步進行計數(shù)。然而，由于步幅、攀登/步行角度的變化以及當用戶駕駛汽車或進行其他運動時的錯誤計步，無效讀數(shù)很常見。

基于MEMS的慣性傳感器帶來了很大的改進。第一代基于MEMS的計步器使用的加速計對人的加速度執(zhí)行1軸、2軸或3軸（3D）檢測，更準確地測量步數(shù)。此外，老式機械計步器只根據(jù)擺動次數(shù)記錄步數(shù)，而加速計則每秒多次測量一個人的運動。

但是，如果您不僅想計量步數(shù)，還想準確地計算上下樓梯或上下山時燃燒的卡路里。下一代計步器添加了高度計，測量和計算人在行走時相對于某個固定參考點的高度變化。高度計技術用于檢測高度計或氣壓計（BAP）應用中的絕對氣壓。要獲得精確的壓力讀數(shù)還需要進行溫度測量，因此通常會增加某種溫度補償電路以提高測量精度。

繼掛在慢跑者手臂上的早期便攜式音樂播放器獲得成功后，現(xiàn)在有許多設計佩戴在手臂上的獨立計步器和有計步器功能的手機（而不是掛在髖關節(jié)的皮帶上）。在這個使用案例中，手臂運動引入了寄生運動。陀螺儀可測量手臂的旋轉運動并對其進行補償。

將三種傳感器（加速計、高度計和陀螺儀）和MCU結合在一起來測量和處理讀數(shù)，就產生了高精度計步器。

4.傳感器融合如何工作

最基本的傳感器融合示例是電子羅盤，它結合了3D磁力計和3D加速計來提供羅盤功能。更復雜的傳感器融合技術增強了用戶體驗，充分利用3D加速計、3D陀螺儀和3D磁力計（，測量相對于給定器件空間方向的特定方向上的磁場組成），并將它們融合在一起。每種傳感器都有獨特的功能，但也有其局限性：

？加速計：x軸、y軸和z軸線性運動感測，但對振動比較敏感

？陀螺儀：俯仰、翻滾和方位角感測，但有零位漂移

？磁力計：x軸、y軸和z軸磁場感測，但對磁干擾比較敏感

傳感器融合將所有這些技術結合在一起，接收來自多個傳感器的同時輸入，并對輸入進行處理，產生一個綜合了各個部件輸出的最終輸出值（即，傳感器融合使用特殊算法和濾波技術，消除了各個獨立傳感器的不足之處－類似于上述人體的功能）。

傳感器融合提供了一套完整的功能，可使我們的生活更簡單，并支持可以利用這些功能的各種服務。

傳感器行業(yè)目前面臨的問題之一是各個操作系統(tǒng)（OS）缺乏標準化。目前，大多數(shù)OS驅動程序需要最基本的傳感器數(shù)據(jù)，這使傳感器無法發(fā)揮其所有功能。

傳感器融合是Microsoft戰(zhàn)略的一部分，因此Windows 8 OS都支持傳感器，使用傳感器級驅動程序，這些驅動符合其與微軟的生態(tài)系統(tǒng)合作伙伴共同制定的標準（Human Interface Device specification 2011）。Windows Runtime編程模塊允許輕量級執(zhí)行調用，使傳感器能夠在硬件級進行處理。

傳感器融合通常是指將3D加速計、3D陀螺儀和3D磁力計結合在一起，這種配置被稱為9軸系統(tǒng)，為用戶提供9個自由度（9-DoF）。2012年，飛思卡爾推出了面向Windows 8的12軸Xtrinsic傳感器平臺，提供了12-DoF傳感器融合解決方案，該解決方案包括氣壓傳感器、溫度傳感器和環(huán)境光感測功能。

圖3面向Windows 8的12軸Xtrinsic傳感器數(shù)據(jù)流

這個全面的硬件和軟件解決方案使用飛思卡爾32位MCU融合了加速計、磁力計和陀螺儀數(shù)據(jù)，并提供了易于集成的特性，從而簡化了開發(fā)。微軟的Windows 8 OS針對平板電腦、筆記本電腦和其他移動設備借助個人計算機的計算能力，擴展了運行智能手機和平板電腦應用的功能。飛思卡爾憑借其傳感器融合平臺，從微軟獲得了Windows 8認證，成為第一批獲得該認證的公司之一。

基本的傳感器融合處理需要10–12 MIPS.對于9-DoF傳感器融合，這種要求可達到18–20 MIPS處理周期。有各種方法可以滿足這些處理要求（每種方法都有優(yōu)缺點），包括為傳感器處理添加專用的協(xié)處理器，或使用有足夠的性能擴展空間、允許隨著時間的推移增加新功能的功能強大的MCU.

5.其他傳感器融合示例

飛思卡爾正在進行有關傳感器在醫(yī)療電子中的使用和非醫(yī)療應用的多傳感器處理的研究。JoséFernández Villase？or博士是一位醫(yī)學博士兼電氣工程師，他既是飛思卡爾醫(yī)療產品市場營銷專家，同時也是一家醫(yī)院的醫(yī)生，研究使用傳感器（這是REC技術的較大的基本構件）進行情感分析，他將這兩個身份完美地結合在一起。研究表明由于物理活動導致心律增加的模式和幅度與由于腎上腺素激發(fā)的心率增加的不同。因此，人們可以使用算法并分析傳感器數(shù)據(jù)，以電子方式檢測一個人所顯示的情感的類型。

下面是一個游戲平臺示例，這個游戲平臺能夠監(jiān)控生理變化和狀態(tài)并采集數(shù)據(jù)，從而以電子方式檢測情感，例如：

？肌肉放松（MR）－通過壓力傳感器

？心律變化（HRV）－通過一個芯片上的雙電極ECG

？流汗（S）－通過電容式傳感器

？姿態(tài)（A）－通過加速計監(jiān)測一個人的放松狀態(tài)（生澀的動作和平穩(wěn)的手）

？肌肉收縮（MC）－通過壓力傳感器

圖4使用情感感測的環(huán)境感知：工作方式

使用采集的傳感器數(shù)據(jù)，游戲平臺里的MCU能夠在游戲情境過程中檢測情感，并為玩家提供反饋，使游戲更精彩。是否可以在賽車游戲中當檢測到玩家處于更放松的狀態(tài)（加速計的讀數(shù)減少）然后使轉彎速度更快、更難操控？這樣，能夠更好地控制情感的，沉穩(wěn)的駕駛員得分會更高（與現(xiàn)實生活相似）。如果本地控制臺的MCU提供處理功能，這將被視為本地情感計算，如果基于云的系統(tǒng)提供處理功能，則被視為遠程情感計算。在基于云的系統(tǒng)中，可利用復雜的大數(shù)據(jù)算法對游戲場景提供更詳細的響應。

在另一個示例中，傳感器可用于通過測量用戶拿手機輸入文字或撥打電話的方式，檢測用戶的情感。此外，軟件算法可用于分析人輸入文字的方式、手機運動是否平穩(wěn)或者在輸入文字時犯了多少錯誤（使用退格鍵），提供有關個人心理狀態(tài)的其他背景。

圖5物聯(lián)網(wǎng)：不同的服務，不同的技術，對每個人的意義不同

6.在物聯(lián)網(wǎng)中充分利用傳感器融合

正如白皮書“物聯(lián)網(wǎng)要變成現(xiàn)實‘還缺什么”所述，物聯(lián)網(wǎng)包含了許多用例——從互連家居和城市、互連的汽車和道路到跟蹤個人的行為并使用采集的數(shù)據(jù)來推送服務的設備。物聯(lián)網(wǎng)是一種普遍的“空中全球神經網(wǎng)絡”，將觸及我們生活的各個方面。從技術的角度來看，物聯(lián)網(wǎng)被定義為與其他機器、對象、環(huán)境和基礎設施進行交互和通信的智能機，會產生大量數(shù)據(jù)，并將這些數(shù)據(jù)處理成有用的行為，可以“指揮和控制”事物并使人類的生活更加輕松。

所有物聯(lián)網(wǎng)用例的通用要求包括：

？傳感和數(shù)據(jù)采集功能（傳感節(jié)點）

？本地嵌入式處理層功能（本地嵌入式處理節(jié)點）

？有線和/或無線通信功能（連接節(jié)點）

？軟件自動執(zhí)行任務，并啟用新的服務類別

？遠程網(wǎng)絡/基于云的嵌入式處理功能（遠程嵌入式處理節(jié)點）

？整個信號路徑都具有完整的安全性

圖6物聯(lián)網(wǎng)的功能塊