讓癱瘓失語患者「說話」，腦機接口首次從大腦活動解碼完整句子，登上新英格蘭醫(yī)學(xué)雜志

Facebook 與加州大學(xué)舊金山分校（UCSF）Chang Lab 的腦機接口項目 Project Steno 取得了最新進展，該研究通過解碼從運動皮層發(fā)送到聲道的大腦信號，讓嚴重癱瘓的失語患者重新恢復(fù)交流能力。

近年來，腦機接口（BCI）研究吸引了越來越多科研機構(gòu)和科技企業(yè)的興趣，也相繼出現(xiàn)了很多令人矚目的技術(shù)成果，如馬斯克腦機接口公司 Neuralink 先后在豬、猴子等體內(nèi)植入腦機接口設(shè)備、斯坦福大學(xué)腦機接口設(shè)備讓癱瘓患者實現(xiàn)「意念寫字」等。這些成果都為癱瘓患者重新與世界進行交互提供了新的希望。

一直以來，F(xiàn)acebook 也致力于腦機接口的研究，并專注于研發(fā)頭戴式腦機接口設(shè)備。然而，F(xiàn)acebook 近日發(fā)表博客稱其將停止研發(fā)頭戴式腦機接口技術(shù)，轉(zhuǎn)而專注一種不同的神經(jīng)接口方法，即由肌電圖驅(qū)動的腕帶式設(shè)備。究其原因，該公司認為手腕式設(shè)備能在短期內(nèi)進入市場。不過，F(xiàn)acebook 仍然相信頭戴式腦機接口技術(shù)的長期前景。

與此同時，F(xiàn)acebook 也宣布其與加州大學(xué)舊金山分校（UCSF）Chang Lab 的腦機接口項目 Project Steno 取得了最新的進展。他們啟動了一項名為「手臂和聲音的腦機接口修復(fù)」（Brain-Computer Interface Restoration of Arm and Voice）新研究，并將一位 36 歲、癱瘓在床且失語多年的男子作為受試者。研究者在這位受試者的大腦中控制聲道的區(qū)域植入一個電極陣列，當(dāng)他試圖回答屏幕上顯示的問題時，機器學(xué)習(xí)算法自動識別出他腦中出現(xiàn)的單詞，轉(zhuǎn)換為實時的句子。

據(jù)了解，這是首次成功地從癱瘓失語患者言語皮質(zhì)的大腦活動中直接解碼完整句子。

相關(guān)論文研究《Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria》發(fā)表在了《新英格蘭醫(yī)學(xué)雜志》上。

論文地址：https://www.nejm.org/doi/full/10.1056/NEJMoa2027540?query=featured_home

從大腦活動中直接解碼完整句子

受試者在 16 年前因中風(fēng)癱瘓在床并且失語多年，他通常使用頭部運動控制輔助計算機打字與他人交流。

受試者。

在實驗中，研究者在其大腦的感覺運動皮層（sensorimotor cortex）區(qū)域植入一個硬膜下、高密度的多電極陣列，用于控制受試者的言語。

實驗中植入的多電極陣列。

研究者記錄了 22 個小時的皮質(zhì)活動，同時受試者試圖從包含 50 個單詞的詞匯集中（其中包括水、家庭、好等日常生活中必不可少的詞匯）說出單個單詞。在實現(xiàn)受試者說出單詞的過程中，研究者使用深度學(xué)習(xí)算法來創(chuàng)建相應(yīng)的計算模型，用于從記錄的皮質(zhì)活動的模式中檢測和分類單詞。

除了這些計算模型之外，他們還使用了一個自然語言模型，該模型在給定序列中前一個單詞的情況下生成下一個單詞的概率，以在受試者試圖說出這些單詞時解碼完整的句子。如下圖所示，研究者用到了神經(jīng)信號處理、言語生成、單詞分類和語言建模等技術(shù)。

原理示意圖如下所示，可以看到從受試者試圖回答（圖 A）到皮質(zhì)信號（圖 B）、神經(jīng)信號處理（圖 C）、言語生成（圖 D）、單詞分類（圖 E）、語言建模（圖 F）和最后的解碼響應(yīng)（圖 G），它們是一個完整的過程。

為了測試這一方法是否有效，研究者會通過屏幕顯示問題，比如「你今天過得怎么樣」、「你想喝點水嗎」等，受試者相應(yīng)地給出回答：「我很好」、「不，我不想喝水」等。

實驗結(jié)果顯示，這個腦機接口系統(tǒng)平均每分鐘可以實時解碼 15.2 個單詞，平均準確率為 74%。并且，每分鐘最多可以解碼 18 個單詞，準確率最高可以達到 93%。在事后分析中，研究者檢測到受試者試圖生成單個單詞的概率為 98%，并且在 81 周的研究期間，他們使用穩(wěn)定皮質(zhì)信號分類單詞的準確率達到了 47.1% 。

腦機接口技術(shù)仍需改進

在 2019、2020 年，Chang Lab 就發(fā)表過早期的 Project Steno 項目研究，該項目表明電極陣列和預(yù)測模型可以創(chuàng)建相對快速和復(fù)雜的思維類型系統(tǒng)。以前的打字方法都涉及用大腦植入物在屏幕上觸動光標，盡管其他一些研究人員也嘗試過例如可視化手寫字體這樣的方法，但都不理想。該實驗室的早期研究涉及解碼說話人的大腦活動，而最新的研究表明，即使受試者不 (或不能) 大聲說話，它也能起作用。

此次研究中未使用的 Facebook Reality Labs 耳機。

UCSF 神經(jīng)外科主任 Eddie Chang 表示，下一步是改進該系統(tǒng)，并讓更多的人進行測試。「在硬件方面，我們需要構(gòu)建具有更高數(shù)據(jù)分辨率的系統(tǒng)，以更快地記錄更多來自大腦的信息。在算法方面，我們需要有能夠?qū)⒋竽X中這些非常復(fù)雜的信號轉(zhuǎn)換成語言系統(tǒng)的能力，不是文本，而是真正的、可聽得到的口語。最重要的是要大大擴大詞匯量?！?/p>

這項研究對于那些沒有可用鍵盤輸入和其他現(xiàn)有接口的人來說很有價值，即使是有限的詞匯量，也能幫助他們進行更好的交流。但這與 Facebook 在 2017 年設(shè)定的宏偉目標相去甚遠，該目標是研究一種非侵入性 BCI 系統(tǒng)，可以讓人每分鐘打 100 個字，這個速度相當(dāng)于人在傳統(tǒng)鍵盤的打字速度。UCSF 最近的研究涉及植入技術(shù)，但還未到達這個數(shù)字（每分鐘打 100 個字），甚至是大多數(shù)人按手機鍵盤的速度也沒有到達。

此后，F(xiàn)acebook 在 2019 年收購了肌電圖 EMG 腕帶公司 CTRL-Labs，為其提供了 AR 和 VR 的替代控制選項?！肝覀?nèi)蕴幱卺尫磐蟛考‰妶D (EMG) 潛力的早期階段，但我們相信它將成為 AR 眼鏡的核心輸入，對 BCI 的了解將幫助我們更快地實現(xiàn)這一目標，」Facebook Reality Labs 研究主管 Sean Keller 說。Facebook 不會完全放棄頭戴式大腦接口系統(tǒng)，而是計劃將該軟件技術(shù)開源，并與外部研究人員共享硬件原型，同時停止研發(fā)頭戴式腦機接口技術(shù)，轉(zhuǎn)而專注一種不同的神經(jīng)接口方法。

參考鏈接：

https://www.sohu.com/a/477800341_114835

https://www.theverge.com/2021/7/14/22577095/facebook-bci-ucsf-chang-lab-brain-typing-research-update-project-steno-ar-vr

https://tech.fb.com/bci-milestone-new-research-from-ucsf-with-support-from-facebook-shows-the-potential-of-brain-computer-interfaces-for-restoring-speech-communication/