无需摄像头、手套，仅凭一双手就能随时随地打字的虚拟键盘

不需要繁琐的设备、键盘，也不需要佩戴笨重的手环，只需在手上打印一条线就能实现凭空打字？近日，一项由斯坦福大学的研究人员开发的智能皮肤系统登上 Nature 子刊，它可以精确定位用户在键盘上想输入的位置，还可以与应用程序甚至是物体交互。

图源：KYUN KYU “RICHARD” KIM / 斯坦福大学

新的 AI 学习机制结合了智能皮肤，可以破译人手的动作，以识别打字、手语，甚至是简单日常物体的形状。开发人员说，这项技术可以在有限的数据和最少的训练下快速识别和解释手部动作，值得广泛应用。

除了应用于游戏和虚拟现实中，新的手部动作识别技术可以让人们通过手势与他人和机器进行交流。技术专家们认为，该项技术还可以让外科医生远程控制医疗设备，让机器人和假肢实现物体和运动识别的新模式。

目前人们开发的手势识别技术都离不开笨重的腕带，以测量肌肉产生的电信号，或者在每个关节上都有应变传感器的可穿戴手套。其他方法还有跟踪人体运动、并使用机器学习来解释动作的摄像头。这些动捕相机系统需要从多个角度拍摄图像，这意味着仅一个手势识别系统就需要配备多个相机。

韩国先进科学技术研究院（KAIST）计算学院教授 Sungho Jo 表示，这些多摄像头系统也受到了视觉传感器的固有限制。这些限制包括工作空间中没有能让多个摄像机覆盖的区域，以及当手或其他物体在视野中被遮挡时，难免会产生错误。

目前使用的软件也很麻烦。研究人员通常依赖于基于监督学习算法的机器学习模型，这种算法的计算强度很高。它们需要为每个新用户和任务收集大量数据，这都需要大量的人力来进行标记。

为了制造出更精简的动作识别系统，Sungho Jo 和来自首尔国立大学、斯坦福大学的同事们专注于研发更高效的传感器和算法。他说：「我们试图创建一个精简且适应性强的手势识别系统，希望它基本上可以适用于任何用户和任何数据有限的任务。」

该团队在《自然・电子学》杂志上发表了这一新系统的两个关键部分。一种是由数百万条镀有金的银纳米线组成的网格，这些纳米线被嵌入聚氨酯塑料涂层中。Sungho Jo 提到，这种网格既耐用又有弹性，有助于传感器附着在皮肤上。「它能与佩戴者的每根手指的皱纹和甚至细微褶皱实现高度吻合。」

研究人员表示，这种网格可以用便携式机器直接打印在皮肤上，非常轻薄，几乎察觉不到它的存在。而且这种材料还具有生物相容性和可呼吸性，可以在日常生活中使用（洗手也不碍事），除非用肥皂和水将它擦掉。

该团队直接将网格顺着用户的食指打印在用户的手背上。纳米线网络能感应到皮下皮肤拉伸时电阻的微小变化。当手移动时，纳米网格会产生独特的信号模式，并通过一个轻量级蓝牙单元无线发送到计算机进行处理。

图源：KYUN KYU “RICHARD” KIM / 斯坦福大学

这就是 AI 的用武之地。机器学习系统将电导率的变化模式映射到特定的物理任务和手势上。研究人员首先使用来自三个不同用户的随机手和手指动作来帮助 AI 学习动作之间的一般相关性。

然后，研究人员基于先验知识来训练它区分由特定任务产生的信号模式，例如在电话上打字，在键盘上双手打字，握着六个不同形状的物体并与之交互。每个用户执行与任务相关的个人手势 5 次，以生成一个小数据集，随后研究人员再用这些数据集训练模型。例如，算法会在用户往键盘上输入特定的字母，或者描摹金字塔的斜面的过程中学会识别。在测试中，该系统能够识别新用户拿着的物体和在虚拟键盘上输入的句子。

「这套学习方案不仅计算效率极高，而且用途广泛，因为它不需要太多的演示便可以快速适应不同的用户和任务，」Sungho Jo 说道。

研究人员还表示，他们现在计划尝试在多个手指上放置纳米网格设备，以便捕捉更大范围的手部运动。Sungho Jo 表示，放置的传感器越多，需要分析的数据也就越多，因此研究人员需要仔细斟酌，尽可能地平衡 AI 系统的准确性和计算工作量的合理性。

原文链接：https://spectrum.ieee.org/gesture-recognition-spray-on-skin

理论手势识别智能皮肤

相关数据

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

虚拟现实技术

虚拟现实，简称虚拟技术，也称虚拟环境，是利用电脑模拟产生一个三维空间的虚拟世界，提供用户关于视觉等感官的模拟，让用户感觉仿佛身历其境，可以及时、没有限制地观察三维空间内的事物。用户进行位置移动时，电脑可以立即进行复杂的运算，将精确的三维世界视频传回产生临场感。

来源：维基百科

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia

先验知识技术

先验（apriori ；也译作先天）在拉丁文中指“来自先前的东西”，或稍稍引申指“在经验之前”。近代西方传统中，认为先验指无需经验或先于经验获得的知识。先验知识不依赖于经验，比如，数学式子2+2=4；恒真命题“所有的单身汉一定没有结婚”；以及来自纯粹理性的推断“本体论证明”

来源：维基百科