脑机接口新突破:实现迄今为止最快的打字速度

一个新型接口系统——使三位瘫痪病人的打字速度比之前快出 4 倍。


4b4c861f38ba9c517da9b2d5e5632fe7.jpg

斯坦福大学的 BrainGate 临床试验中,一位被试使用脑机接口,通过她的思想控制计算机光标来打字。来源:Courtesy Stanford University


十年前的一个雨天,Dennis Degray 出门扔垃圾时不慎滑倒,从此他的生活轨迹迥然改变。他撞到了下巴,造成了严重的脊髓损伤,以至于脖子以下全部瘫痪。如今研发出了一个系统,意在使瘫痪病人仅用大脑便可以打字;而他便是这个系统调查实验的明星参与者。


为了应用脑机接口(Brain-Computer Interface,BCI)使残疾人得到康复,研究人员努力了几十年,但能够被广泛应用的设备却很少,根据具体应用情况,会存在一些障碍。然而,对于打字而言,一个很大的障碍是不是足够快,这样,该技术才有采用价值,而这往往要动手术。eLife 在周二发表了一项研究成果,揭示了该系统的成效:三位被试——Degray,以及两位患肌萎缩侧索硬化症的病人(ALS,或称葛雷克氏症,一种导致进行性瘫痪的神经变性疾病)使用 BCI 后,能以最快速度打字,该技术的具体应用变得切实可行。斯坦福大学的神经外科医生及共同作者 Jamie Henderson 说:「我们已经成功了一半,例如,我可以在手机上打字」。


b8cc617cc941bcb26d93c0b751773461.jpg

图 1:实验配置 (a) 和在自由书写的问答环节的键入速度 (b)


研究人员用三个任务来测评其性能。为了尽可能在最自然的情境中证实该系统性能,研究人员会在「自由打字」任务中,评估一位被试情况,在这一任务中,被试要做的仅仅是使用设备来回答问题。但是,我们通常使用复制打字(copy typing,包括打出固定短语)来评测打字速度,所以,这三位被试都会以这种方式评估。进行「自由打字」的女士快于每分钟六个单词,另一个 ALS 病人打出了约三个单词,而 Degray 打出了约八个单词。2015 年 一期 *Nature Medicine *介绍了可比较的结果,不过,它们都是通过软件实现的,这些软件能够利用英语的统计学数据来预测后续字母。而这项研究中并未应用这类软件。


复制打字的缺点是:成绩可能会随所用特定短语和键盘布局的变化而变化。为了找到一个不受这些因素影响的度量,第三个任务便与在随机点亮的六乘六网格上选择正方形有关;这样更能接近量化系统输出信息的最大速度,并能轻易转换为数字「比特每秒」的度量。这个团队采用了这一系列任务,但没有使用预测软件,因为该研究的中心目标之一就是制定标准化的度量。斯坦福的博士后研究员及第一作者 Chethan Pandarinath 说:「我们需要建立度量,从而当受试者、方法和研究人员之间存在潜在差异时,同样可以说这种进步显著提高了绩效,因为我们有系统的比较方法,而这是推进该技术的关键。」


两个 ALS 患者分别达到 2.2 和 1.4 比特每秒,是之前记录(相同的参与者在之前的记录)的两倍以上。Degray 达到了 3.7 比特每秒,这比之前的最高速度快四倍。Pandarinath 说:「与之前的 BCI 临床研究相比,这在性能上是巨大的飞跃」。



其他研究者认为这些是最前沿的成果。匹兹堡大学的生物医学工程师 Jennifer Collinger 说:「他是使用 BCI 打字速度最快的一位。这项技术与眼动仪相同,但有些团队的技术对于如被锁定的人来说无效。这些速度也接近 ALS 患者在调查中所提出的 BCI 设备理想值。」他并没有参与到这项研究中。Collinger 说:「你们的技术性能已经足够顶尖,用户也真正想要这类设备」。


在受试者的大脑表面植入一或两个小型(六分之一英寸)电极阵列,这些「皮质内」植入物含有 96 个微电极,这些微电极能够穿透 1~1.5 毫米,进入控制手臂运动的运动皮质部分。其中两项手术由 Henderson 执行,他与资深共同作者生物工程师 Krishna Shenoy 共同领导斯坦福的神经假体平移实验室(Stanford‘ s Neural Prosthetics Translational Laboratory)。由电极记录的神经信号通过电缆传输到计算机,在这个计算机中,Shenoy 的实验室开发的算法会解码受试者的想法,并将信号转换为计算机光标的移动。斯坦福大学的团队是一个名为 BrainGate 的多学科联盟的一个分支,这个联盟还包括马萨诸塞州总医院以及布朗大学等等。


通过电极与大脑相连接的其他方法,包括将电极置于头皮上用于制作脑电图(EEG),以及将电极置于脑表面的头骨之下,制成脑电图(ECoG)。皮质内植入物的优点是:可以从单一细胞挑出具体行为,也可用其他方法捕获数千神经元的平均活动。匹兹堡大学的神经生物学家 Andrew Schwartz 说:「这比从 EEG 或 ECoG 得到的结果要好 10 倍,因为它们所拥有的信息,不足以完成该水平任务。」他同样没有参与到研究中。运动和疤痕会使约前两年植入的信号质量下降,但剩下的信号仍然有效——「比任何其他技术要好得多」。


目前最大的缺点便是从头部发出,将电线接到电缆上,这很繁琐也有风险。Pandarinath 说:「我们未来的目标便是研发无线设备,虽然现在还未实现,但 5 到 10 年后也许就会成为可能。这是关键的进步——你能用它来送一个人回家,而不必担心譬如感染这类潜在的风险」。这样的设备需要无线电源,已经有几个小组投入研究。Schwartz 说:「基本上大多数技术都是已知的,可以用线圈感应来实现,就像将你的手机置于一边带有线圈的支架上充电。」


团队把这些进展归功于更优的系统工程和解码算法。Pandarinath 说:「在实时控制系统中,快速执行重复计算至关重要」。去年,研究人员发表了一项斯坦福生物工程师 Paul Nuyujukian 领导下的研究。通过训练两只猕猴来执行与类似于本研究所用的网格练习的任务。猴子打字的方式是,通过改变屏幕上字符的颜色来选择字符,生成句子。(尽管他们不会理解这些单词的意思)。当他们添加了一个独立的算法来检测猴子的停止意图时,相应的最快速度每分钟增加了两个单词。


这个「离散型点击解码器(discrete click decoder)」也被用于当前的研究。Pandarinath 说:「基本上,我们在这里创建了一个类似于鼠标指明和点击的接口。对于现代智能手机或平板电脑而言,这是一个优质接口;它将开启超越沟通的全新功能领域:上网,播放音乐等正常人认为理所当然的各种方面。」


斯坦福大学的团队已在研究无线技术,并为该项目制定了雄伟的长期目标。Henderson 说:「我们的愿景是使无线接收器能够插入所有计算机,并能通过大脑进行使用。我们的目标之一便是:一年中的每日每夜,每分每秒都能够使用大脑信号来控制标准的计算机接口。」


论文:瘫痪者使用脑皮质内脑机接口的高性能通信(High performance communication by people with paralysis using an intracortical brain-computer interface)


5ca481cd803ba5a32fbab93a952e2447.jpg


摘要:脑机接口(BCI)有望通过将神经活动翻译成辅助通信设备的控制信号而帮助患有四肢瘫痪和构音不全的人重新获得交流能力。尽管之前的临床前和临床研究已经给出了有潜力的概念验证((Serruya et al., 2002; Simeral et al., 2011; Bacher et al., 2015; Nuyujukian et al., 2015; Aflalo et al., 2015; Gilja et al., 2015; Jarosiewicz et al., 2015; Wolpaw et al., 1998; Hwang et al., 2012; Spüler et al., 2012; Leuthardt et al., 2004; Taylor et al., 2002; Schalk et al., 2008; Moran, 2010; Brunner et al., 2011; Wang et al., 2013; Townsend and Platsko, 2016; Vansteensel et al., 2016; Nuyujukian et al., 2016; Carmena et al., 2003; Musallam et al., 2004; Santhanam et al., 2006; Hochberg et al., 2006; Ganguly et al., 2011; O』Doherty et al., 2011; Gilja et al., 2012),但人类临床 BCI 系统的表现还并不够好,还不足以支撑有语音方面的身体限制的人的广泛采用。在这里我们报告了一种用于交流的高性能的皮质内脑机接口(intracortical BCI / iBCI),其已经在三位瘫痪的临床试验参与者的身上进行了测试。该系统利用了之前的临床前和临床研究(Gilja et al., 2015; Kao et al., 2016; Gilja et al., 2012)所发展的解码器设计上的进步。在打字速度(是原来的 1.4–4.2 倍)和信息流通量(是原来的 2.2–4.0 倍)上,所有三位参与者的表现都超过了之前的 iBCI(Bacher et al., 2015; Jarosiewicz et al., 2015)。这种高水平的表现表明了 iBCI 作为运动功能受限者的强大辅助交流设备的潜在应用价值。


原文地址:https://www.scientificamerican.com/article/brain-computer-interface-allows-speediest-typing-to-date/

入门脑机接口理论论文医疗健康