Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

杜伟、陈萍机器之心报道

让瘫痪失语患者「说话」,脑机接口首次从大脑活动解码完整句子,登上新英格兰医学杂志

Facebook 与加州大学旧金山分校(UCSF)Chang Lab 的脑机接口项目 Project Steno 取得了最新进展,该研究通过解码从运动皮层发送到声道的大脑信号,让严重瘫痪的失语患者重新恢复交流能力。

近年来,脑机接口(BCI)研究吸引了越来越多科研机构和科技企业的兴趣,也相继出现了很多令人瞩目的技术成果,如马斯克脑机接口公司 Neuralink 先后在猪、猴子等体内植入脑机接口设备、斯坦福大学脑机接口设备让瘫痪患者实现「意念写字」等。这些成果都为瘫痪患者重新与世界进行交互提供了新的希望。

一直以来,Facebook 也致力于脑机接口的研究,并专注于研发头戴式脑机接口设备。然而,Facebook 近日发表博客称其将停止研发头戴式脑机接口技术,转而专注一种不同的神经接口方法,即由肌电图驱动的腕带式设备。究其原因,该公司认为手腕式设备能在短期内进入市场。不过,Facebook 仍然相信头戴式脑机接口技术的长期前景。

与此同时,Facebook 也宣布其与加州大学旧金山分校(UCSF)Chang Lab 的脑机接口项目 Project Steno 取得了最新的进展。他们启动了一项名为「手臂和声音的脑机接口修复」(Brain-Computer Interface Restoration of Arm and Voice)新研究,并将一位 36 岁、瘫痪在床且失语多年的男子作为受试者。研究者在这位受试者的大脑中控制声道的区域植入一个电极阵列,当他试图回答屏幕上显示的问题时,机器学习算法自动识别出他脑中出现的单词,转换为实时的句子。

据了解,这是首次成功地从瘫痪失语患者言语皮质的大脑活动中直接解码完整句子

相关论文研究《Neuroprosthesis for Decoding Speech in a Paralyzed Person with Anarthria》发表在了《新英格兰医学杂志》上。

论文地址:https://www.nejm.org/doi/full/10.1056/NEJMoa2027540?query=featured_home

从大脑活动中直接解码完整句子

受试者在 16 年前因中风瘫痪在床并且失语多年,他通常使用头部运动控制辅助计算机打字与他人交流。

受试者。

在实验中,研究者在其大脑的感觉运动皮层(sensorimotor cortex)区域植入一个硬膜下、高密度的多电极阵列,用于控制受试者的言语。

实验中植入的多电极阵列。

研究者记录了 22 个小时的皮质活动,同时受试者试图从包含 50 个单词的词汇集中(其中包括水、家庭、好等日常生活中必不可少的词汇)说出单个单词。在实现受试者说出单词的过程中,研究者使用深度学习算法来创建相应的计算模型,用于从记录的皮质活动的模式中检测和分类单词

除了这些计算模型之外,他们还使用了一个自然语言模型,该模型在给定序列中前一个单词的情况下生成下一个单词的概率,以在受试者试图说出这些单词时解码完整的句子。如下图所示,研究者用到了神经信号处理、言语生成、单词分类和语言建模等技术。

原理示意图如下所示,可以看到从受试者试图回答(图 A)到皮质信号(图 B)、神经信号处理(图 C)、言语生成(图 D)、单词分类(图 E)、语言建模(图 F)和最后的解码响应(图 G),它们是一个完整的过程。

为了测试这一方法是否有效,研究者会通过屏幕显示问题,比如「你今天过得怎么样」、「你想喝点水吗」等,受试者相应地给出回答:「我很好」、「不,我不想喝水」等。

实验结果显示,这个脑机接口系统平均每分钟可以实时解码 15.2 个单词,平均准确率为 74%。并且,每分钟最多可以解码 18 个单词准确率最高可以达到 93%。在事后分析中,研究者检测到受试者试图生成单个单词的概率为 98%,并且在 81 周的研究期间,他们使用稳定皮质信号分类单词的准确率达到了 47.1% 。

脑机接口技术仍需改进

在 2019、2020 年,Chang Lab 就发表过早期的 Project Steno 项目研究,该项目表明电极阵列和预测模型可以创建相对快速和复杂的思维类型系统。以前的打字方法都涉及用大脑植入物在屏幕上触动光标,尽管其他一些研究人员也尝试过例如可视化手写字体这样的方法,但都不理想。该实验室的早期研究涉及解码说话人的大脑活动,而最新的研究表明,即使受试者不 (或不能) 大声说话,它也能起作用。

此次研究中未使用的 Facebook Reality Labs 耳机。

UCSF 神经外科主任 Eddie Chang 表示,下一步是改进该系统,并让更多的人进行测试。「在硬件方面,我们需要构建具有更高数据分辨率的系统,以更快地记录更多来自大脑的信息。在算法方面,我们需要有能够将大脑中这些非常复杂的信号转换成语言系统的能力,不是文本,而是真正的、可听得到的口语。最重要的是要大大扩大词汇量。」

这项研究对于那些没有可用键盘输入和其他现有接口的人来说很有价值,即使是有限的词汇量,也能帮助他们进行更好的交流。但这与 Facebook 在 2017 年设定的宏伟目标相去甚远,该目标是研究一种非侵入性 BCI 系统,可以让人每分钟打 100 个字,这个速度相当于人在传统键盘的打字速度。UCSF 最近的研究涉及植入技术,但还未到达这个数字(每分钟打 100 个字),甚至是大多数人按手机键盘的速度也没有到达。

此后,Facebook 在 2019 年收购了肌电图 EMG 腕带公司 CTRL-Labs,为其提供了 AR 和 VR 的替代控制选项。「我们仍处于释放腕部肌电图 (EMG) 潜力的早期阶段,但我们相信它将成为 AR 眼镜的核心输入,对 BCI 的了解将帮助我们更快地实现这一目标,」Facebook Reality Labs 研究主管 Sean Keller 说。Facebook 不会完全放弃头戴式大脑接口系统,而是计划将该软件技术开源,并与外部研究人员共享硬件原型,同时停止研发头戴式脑机接口技术,转而专注一种不同的神经接口方法。

参考链接:
https://www.sohu.com/a/477800341_114835
https://www.theverge.com/2021/7/14/22577095/facebook-bci-ucsf-chang-lab-brain-typing-research-update-project-steno-ar-vr
https://tech.fb.com/bci-milestone-new-research-from-ucsf-with-support-from-facebook-shows-the-potential-of-brain-computer-interfaces-for-restoring-speech-communication/
理论Facebook脑机接口
1
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

机器学习技术

机器学习是人工智能的一个分支,是一门多领域交叉学科,涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论,机器学习与推断统计学联系尤为密切,也被称为统计学习理论。算法设计方面,机器学习理论关注可以实现的,行之有效的学习算法。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

信号处理技术

信号处理涉及到信号的分析、合成和修改。信号被宽泛地定义为传递“关于某种现象的行为或属性的信息(如声音、图像和生物测量)”的函数。例如,信号处理技术用于提高信号传输的保真度、存储效率和主观质量,并在测量信号中强调或检测感兴趣的组件。我们熟悉的语音、图像都可以看做是一种信号形式。因此,对于语音、图像的增强、降噪、识别等等操作本质上都是信号处理。

图生成技术

根据给定信息信息生成图表。

推荐文章
暂无评论
暂无评论~