用意念「手寫」字母，準確率高達99%，斯坦福腦機接口新突破登上Nature封面

來自斯坦福大學的研究者讓腦機接口的發(fā)展又進了一步——首次破解了「與手寫筆跡相關」的大腦活動。癱瘓受試者借助一套皮質內腦機接口系統(tǒng)，每分鐘可以打出 90 個字符，準確率為 94% 至 99%，可稱得上是該領域的一大進步。

利用腦機接口技術（ BCI）進行意念操控，已經不是什么新鮮事。腦機接口技術也正越來越多地給癱瘓患者帶來便利。此前，美國 BrainGate 團隊首次實現(xiàn)了人類大腦信號與計算機之間的無線高帶寬傳輸，通過創(chuàng)建一套無線腦機接口設備，癱瘓患者不僅能夠借助思維打字，還能在家輕松瀏覽網絡內容。

以往，腦機接口的主要功能是恢復患者的 「運動技能」，比如借助腦機接口設備操控機械臂抓取物品、移動電腦光標、點擊字母輸入等。

近日，斯坦福大學的研究者實現(xiàn)了一項新的突破，首次破譯了「與手寫筆跡相關」的大腦活動，可以讓癱瘓患者不用手也能快速打字。具體來講，他們開發(fā)了一套皮質內腦機接口（intracortical BCI）系統(tǒng)，這套系統(tǒng)可以從運動皮層的神經活動中解碼癱瘓患者想象中的手寫動作，并利用遞歸神經網絡（RNN）解碼方法將這些手寫動作實時轉換為文本。

論文一作兼通訊作者為斯坦福大學霍華德 · 休斯醫(yī)學研究所的研究科學家 Frank Willett，相關論文登上了最新一期的 Nature 封面。

論文地址：https://www.nature.com/articles/s41586-021-03506-2

就實驗結果而言，借助于這套皮質內腦機接口系統(tǒng)，研究受試者（因脊髓損失癱瘓）每分鐘可以打出約 90 個字符，是以往利用此類腦機接口打字記錄的兩倍多，并且在線原始準確率達到了 94.1%，自動更正后的離線準確率超過了 99%。

論文作者之一、斯坦福大學霍華德 · 休斯醫(yī)學研究院的研究員 Krishna Shenoy 表示：「隨著進一步的開發(fā)，這項創(chuàng)新性研究可以使癱瘓患者不用手也能快速打字?！?/p>

加州大學伯克利分校的神經工程師 Jose Carmena 也認為：「這項研究以及其他同類研究在幫助各類殘疾患者方面具有很大潛力。盡管研究結果只是初步的，但依然是該領域的重大進步?！?/p>

腦機接口實現(xiàn)癱瘓患者「意念寫字」

癱瘓患者可能會喪失移動能力，但大腦中仍然存在關于走路、喝咖啡說話等行為的神經活動。腦機接口方向的研究能夠幫助癱瘓患者或者截肢患者恢復失去的能力。具體的需求因患者的情況而定。例如，失去雙手的患者可以使用帶有語音識別功能的計算機或軟件。對于說話困難的人，科學家們正在研究其他方法來幫助人們交流。

Shenoy 的團隊對與語音相關的神經活動進行了解碼，希望能夠復現(xiàn)這些神經活動。他們還為植入傳感器的參與者設計了一種新的方法，以使他們能夠利用與肢體運動相關的意念來移動屏幕上的光標。

然而，沒有人嘗試過「手寫文字」的行為。

因此，論文一作 Frank Willett 想探究是否有可能將筆置于紙張上來激發(fā)大腦信號。此外，該團隊與一位參與了 BrainGate2 臨床實驗的參與者進行了合作。

Shenoy 團隊中的神經外科醫(yī)生 Henderson 將兩個微小的傳感器植入到參與者大腦中控制手臂和手部的部位上，從而使患者能夠利用移動手臂的意念來控制機械臂或屏幕上光標的移動。

受試者的運動前區(qū)平層被植入兩個腦機接口芯片，共計大約 200 個電極。

使用微型電極記錄大腦信號。圖源：BrainGate.org

在整個過程中，首先一位患有脊髓損傷的 65 歲受試者「想象著用筆在紙上寫字」：

接著，受試者大腦中植入的電極檢測到「他試圖寫字的活動」：

最后，算法對每個字符對應的活動模式進行解碼，并將這些活動模式轉換成可在屏幕上顯示的文本。

對受試者「試圖手寫」行為的實時神經解碼如下圖（左）所示，轉換為屏幕可顯示文本的關鍵技術 RNN 的架構如圖（右）所示：

利用這種系統(tǒng)，受試者能夠復制語句或者回答問題，并且速度和同齡人使用智能手機輸入的速度差不多。

Willett 表示：「這種名為『Brain-to-Text』的 BCI 的速度之所以這么快，是因為每個字母引發(fā)的神經活動模式都大不相同，從而使算法易于區(qū)分?！?/p>

未來設想

Shenoy 團隊設想利用手寫文本輸入打造一個更全面的系統(tǒng)，該系統(tǒng)包括類似智能手機界面中的點擊導航功能，甚至嘗試了語音解碼功能。他表示：「我們肯定會讓系統(tǒng)嘗試兩到三種模式，并在它們之間切換?！?/p>

接下來，團隊將與一位無法說話的參與人員共同工作，比如患有肌萎縮性脊髓側索硬化癥（ALS）的人，這是一種退化性的神經系統(tǒng)疾病，會導致患者的運動及說話能力喪失。Henderson 補充說，新系統(tǒng)將幫助到那些因各種疾病癱瘓的人。

《潛水鐘與蝴蝶》的作者 Jean-Dominique Bauby 因中風喪失了大多數行為能力，僅剩一只左眼能夠眨動，但憑借著頑強的意志力，以聽讀眨眼的方式寫出了生命中最后一本書。假如有了這套新系統(tǒng)，他是否可以留下更多的生命回憶？

「我的肉體沉重如潛水鐘，但內心渴望像蝴蝶般自由飛翔。除了我的眼睛外，還有兩樣東西沒有癱瘓：我的想象以及我的記憶。只有想象和記憶，才能令我擺脫潛水鐘的束縛。」

參考鏈接：

https://techxplore.com/news/2021-05-brain-interface-mental-text-screen.html

https://arstechnica.com/science/2021/05/neural-implant-lets-paralyzed-person-type-by-imagining-writing/