研究人员展示了 FingerTrak 用于 AR / VR 输入的手跟踪腕带
随着虚拟现实和增强现实在视觉保真度和头戴式耳机舒适性方面的稳步发展,研究人员继续致力于比手持控制器更自然的输入解决方案。今天,一组研究人员宣布了 FingerTrak,这是一种基于腕带的解决方案,它使用热像仪以 3D 方式跟踪手的动作,从佩戴者手腕上的轮廓中提取出 20 个手指关节位置。FingerTrak 由康奈尔大学 SciFi 实验室在威斯康星州大学麦迪逊分校的研究人员的协助下开发,FingerTrak 使用深度神经网络将安装在手腕上的三到四个微型热像仪的输入缝合在一起,共同捕获整个手部姿势。使用摄像机生成的轮廓,骨干和回归网络可以估算指尖和关节的位置,尽管结果并不理想,但它们可用于某些形式的 VR 和 AR 输入。FingerTrak 的其他潜在应用包括人机交互和控制,手语翻译以及移动健康,包括早期发现的退化性疾病(如帕金森氏症和阿尔茨海默氏症)。有趣的是,研究人员认为,仅腕部轮廓就足以「准确预测整个手部姿势」,从而将整个传感系统放置在腕部上,而不需要手套,戒指或其他先前发布的技术。(VentureBeat)