开发板还能这么用？美国学者用Jetson Nano支持便携式AI假肢，控制每一根手指

Jetson Nano 还能这么用？

近年来，基于深度学习的神经解码器已成为实现神经假肢灵巧、直觉控制的主要方法。人类甚至已经设想出了这种假肢在医学领域的广泛应用图景。

然而，由于深度学习对计算的要求很高，很少有研究将其应用于临床。边缘计算设备的发展为解决这一问题提供了可能。

在一篇新论文中，来自明尼苏达大学等机构的研究者提出了一种基于嵌入式深度学习控制的神经假肢实现。该研究中的神经解码器基于 RNN 架构设计，部署在 NVIDIA Jetson Nano 上。NVIDIA Jetson Nano 拥有不错的 AI 算力，但体格非常小巧，这使得假肢安装者可以实时控制每一根手指，同时还能自由移动。

研究者利用外周神经信号在桡骨截肢的志愿者身上评估所提出的系统。实验结果显示，无论是在实验室还是真实环境下，该系统都能提供鲁棒、准确（95-99%）、低延迟（50-120 毫秒）的单个手指控制。

研究者表示，据他们所知，该系统是第一个在临床神经假肢应用的便携式平台上有效实现深度学习神经解码器的系统。这种新型假肢系统拥有嵌入式人工智能，可以作为新型可穿戴生物医学设备的基础，有助于加快深度神经网络在临床应用中的部署。

论文链接：https://arxiv.org/pdf/2103.13452.pdf

这一成果离不开之前研究取得的进展，包括 Overstreet 等人 2019 年提出的连接神经纤维和生物电子系统的神经束内微电极阵列；Nguyen 等人 2020 年设计的能同时展开神经记录和刺激的 Neuronix 神经接口微芯片；Luu 等人 2021 年提出的降低解码器计算复杂度的深度学习电机解码范式优化；以及 SOTA 边缘计算平台的软硬件实现等。

系统概览

下图展示了研究者提出的神经假肢神经解码器的大体构造：

该系统包含 Scorpius 神经接口、带有定制载板的 Jetson Nano、定制的手臂控制器以及一个可多次充电的锂电池。

下图是该系统的原型图。AI 引擎重 90 克，锂电池（7.4V，2200mAh）重 120 克。在实际应用中，整个系统都可以集成到假肢内部，替代假肢现有的 ENG 传感器和电子设备，因此对手臂的重量和美感影响极小。

神经数据是通过研究者之前提出的 Scorpius 神经接口获得的。每个 Scorpius 设备有 8 个记录通道，配有频率整形（FS）放大器和高精度模数转换器（ADC）。根据需要的通道数量，可以配置多个设备。FS 神经记录器被证明能够在抑制 artifact 的同时获得超低噪声神经信号。原始的神经数据会直接传输到 Jetson Nano 电脑进行进一步处理。

该系统的核心是由 Jetson Nano 平台支撑的 AI 引擎。研究者设计了一个定制的载板为 Nano 模块提供电源管理和 I/O 连接。该模块可工作在 10W 模式 (4 核 CPU 1900 MHz，GPU 1000 GHz) 或 5W 模式 (2 核 CPU 918 MHz，GPU 640 MHz) 下，按当前电池尺寸，可分别连续使用 2 小时和 4 小时左右。

在这个系统中，训练好的深度学习模型被部署到 AI 引擎上，实时地将神经信号转化为个体手指运动的真实意图。最后的预测被发送到手部控制器来驱动假手。

这个假手是基于英国科技公司 Touch Bionics 的 i-Limb 假肢平台设计的，有五个单独驱动的手指。研究者用定制的手部控制器替换了原来的 i-Limb 默认驱动器，从而根据深度学习模型的预测，直接操作隐藏在每根手指中的直流电机。该控制器是围绕 ESP32 模块设计的，带有一个低功耗微控制器。

下图 3 更详细地展示了各个组件的硬件实现：

关于该研究的更多细节可以参考原论文。

产业NVIDIA Jetson Nano嵌入式深度学习控制神经假肢

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

边缘计算技术

边缘运算（英语：Edge computing），又译为边缘计算，是一种分散式运算的架构，将应用程序、数据资料与服务的运算，由网络中心节点，移往网络逻辑上的边缘节点来处理。边缘运算将原本完全由中心节点处理大型服务加以分解，切割成更小与更容易管理的部分，分散到边缘节点去处理。边缘节点更接近于用户终端装置，可以加快资料的处理与传送速度，减少延迟。在这种架构下，资料的分析与知识的产生，更接近于数据资料的来源，因此更适合处理大数据。

来源：Edge Computing: Vision and Challenges

深度神经网络技术

深度神经网络（DNN）是深度学习的一种框架，它是一种具备至少一个隐层的神经网络。与浅层神经网络类似，深度神经网络也能够为复杂非线性系统提供建模，但多出的层次为模型提供了更高的抽象层次，因而提高了模型的能力。

来源：机器之心 Techopedia