把手机显示的内容投影到任意平面进行「触屏」操作，这事似曾相识又有点魔幻......
自从智能手机问世以来，使用触摸与数字内容进行交互变得无处不在。不过到目前为止，触摸屏主要限于袖珍设备。近日，来自日本多所大学的研究者组成的研究团队提出了一种新的低成本方法，能够将任何表面变成触摸屏，为人们与数字世界的交互提供了新的可能性。之前允许通过触摸操纵投影图像的工作大多依赖于特殊的输入设备、多个传感器或图像处理算法，难以处理混乱或令人困惑的视觉内容。而该研究提出的新系统只需在投影仪下方连接一个摄像头，系统从一个单一的相机图像上确定手指是否接触过屏幕表面，并且由于该方法仅捕获略高于屏幕的区域，因此该系统的投影图像具有鲁棒性，不会受到视觉干扰。论文地址：https://ieeexplore.ieee.org/stamp/stamp.jsp?tp=&arnumber=9495800该系统的关键是一种巧妙的光学技巧，该技巧能够确保仅检测到投影表面上方的运动。这使得系统在用户按下按钮时跟踪用户的手指，同时忽略相机视野中所有的其他内容。研究者希望这项技术可以用于在任何地方创建大型交互式显示器。该触摸感应系统由一台投影仪、一个摄像头和一个微控制器组成，不需要任何额外的摄像头、深度传感器或光源。其中，投影仪具有双重作用：1) 将图像投影到表面上；2) 与相机同步仅在投影屏幕略上方成像的光源。与其他基于相机的方法相比，该方法在隐私保护方面具有优势，因为设备仅从投影表面正上方的空间捕获光。换句话说，系统不会捕获感兴趣区域之外的隐私敏感部分，例如人脸或其他识别细节。系统通过识别相机拍摄的场景图像中指尖的位置来识别触摸感应，研究者开发了一种方法来选择性地仅捕获投影屏幕略上方的区域。第一个挑战是投影图像的视觉信息会干扰手部检测。特别是投影颜色在指尖皮肤上重叠，这使得从图像中提取指尖区域变得困难。此外，如果投影图像内容包括人手或显示内容中有人，则系统无法区分投影图像中的假手和触摸屏幕的真手。克服这一挑战的一种方法是使用额外的设备，例如红外摄像机或深度传感器，将真实手部区域检测为非平面物体。然而，这种额外的硬件增加了设备配置的复杂性。
第二个挑战来自基于单个固定相机的图像执行触摸检测和指尖定位。虽然多个摄像头可以对手指的 3D 坐标进行三角测量，但这也增加了交互设备的规模和计算复杂性。
以下图 2 为例，以下部分是不需要感知的：投影内容、指尖以外的手部区域、周围的风景、悬停的指尖、触摸屏幕范围外的指尖。为了选择性地仅捕获平面及所有与其相关的光学交互，该研究借助了 Slope Disparity Gating 方法。图 3. (a) Slope Disparity Gating 的概念图示，它允许相机捕获三维空间中的单个平面 [7]。(b) 成像选定区域。虽然投影仪在透视投影中投射出被蓝线包围的图像，但该研究的成像技术使其能够仅捕获被红线包围的区域。通过同步摄像头和投影仪这两个设备，可以让投影仪发出的光的水平面与相机接收的水平面相交。由于两个设备有轻微的偏移，借助三角测量原理可以计算出它们重叠的点的深度。这使得校准设置成为可能，以便相机仅在距投影仪特定距离处拾取光线，投影仪可以设置为悬停在投影图像的正上方。这意味着相机在用户按下投影图像的区域时跟踪他们手指的同时，也会忽略视觉场景的其余部分。此外，论文中详细描述了如何将这种设置与简单的图像处理算法结合，以跟踪用户手指相对于投影图像的位置，并且此跟踪信息可用作任何基于触摸的应用程序的输入。研究成员之一 Jayasuriya 说：「该系统最初的原型制作花费了大约 500 美元，如果商业化，成本还可能会大大减少。」目前，该设备一次只能跟踪一根手指，但启用多点触控只需研究人员将图像处理算法换成更智能的。研究团队希望该设备在未来的迭代中实现更复杂的手势识别。参考链接：https://spectrum.ieee.org/any-surface-a-touchscreen 
