我们学了很多关于操纵物体的技能：戳，推，刺，然后看它们作何反应。
但是我们无法对视频中的物体那么做——试着摸摸手机视频里的猫，看看会发生什么。但是如果我们采用这个视频并模拟视频上猫的动作，再也不和现实中的猫互动了，这样是不是有点疯狂呢？
不过来自 MIT 计算机科学与人工智能实验室（CSAIL）的研究员已经这么做了。他们开发出一种成像技术，叫互动的动态视频（IDV），可以让你「触摸」视频里的物体。IDV 使用的是传统的摄像头和算法，可以看着小到几乎看不见的振动物体，然后创建用户可以进行虚拟交互的视频模拟。
「这个技术让我们扑捉到了物体的肢体动作，这给了我们一个与它们在虚拟空间里玩耍的途径，」CSAIL 的博士生 Abe Davis 说，他本月会在最后的论文中公开这个研究。「让视频互动起来后，我们能预测物体会对一个未知的外力作用做出什么样的反应，并探索与视频互动的新方式。」
Davis 说 IDV 有很多潜在的用处，从为电影制作者生成新类型的视觉效果到为建筑师判定建筑结构是否稳固提供参考。比如，当下流行的 Pokemon Go 应用能将虚拟角色带入真实世界的环境中，与此相比，IDV 能做的更多，它能真正地让虚拟物体（包括 Pokemon）与它们所处的环境以特殊真实的方式进行互动，像是弹动灌木上的一片叶子。Davis 在今年年初与博士生 Justin G. Chen 和 Fredo Durand 教授合作发表的论文中大概描述了这个技术。
它是怎么做到的
模拟物体运动的最常见方法是建立一个 3D 模型。但是，3D 建模太贵了，而且对大多数物体来说几乎是不可能的。虽然有算法能跟踪并放大视频里物体的运动，但是没有一个能可靠地模拟未知环境中的物体。Davis 的研究显示，即便是一个 5 秒的视频也能有足够的信息创建一个真实的模拟。
为了模拟物体，这个研究小组分析了视频片段，找到不同频率的「振动模式」，每个振动的方式都不同，都代表了一个物体能做的运动。通过鉴别这些振动模式的形状，研究者们能开始预测这些物体在新的环境中如何运动。
「根据计算机图形学，我们使用 3-D 模型来建立互动的模拟，但是这个技术有点复杂，」斯坦福大学的计算机教授Doug James 说到。「Davis 和他的同事们已经提供了一个简单聪明的办法，从视频里非常小的振动中提取出一个有用的动态模型，并展示了如何用它来让一张图像变成动画。」
Davis 在多种物体上使用了 IDV 技术，包括一座桥， 废弃的健身房，还有一个和尤克里里琴。点击几下鼠标，他展示了他是如何推拉图像，以及在不同的方向上弯曲移动图像的。他甚至还展示了怎么能让他的手出现并用意念控制灌木上的叶子。
「如果你想建模一个物体如何动作以及如何对外力做出反应，你可以观察这个物体是怎么对外力产生反应的，并假设它会以相同的方式对新的外力做出反应，」Davis 说。他还发现这个技术甚至可以用在 YouTube 上的一些视频中。
应用
研究人员说这个工具在工程、娱乐等更多领域有很多潜在的用途。
例如，在电影中，让 CGI（电脑三维动画） 角色与真实世界里的环境互动的技术非常难也很昂贵，这需要电影制作者使用绿屏特效（green-screens）并创造出虚拟物体能与现场表演合成起来的细节模型。
但是有了 IDV 后，摄影师就可以先拍好真实世界环境的视频后，做一些小编辑，像掩蔽、消光、和阴影来达到类似效果，这样节省了很多时间，也降低了成本。
工程师也可以用这个系统来模拟一座老房子或桥在强风或地中会有什么反应。
「将现实世界的物体放入虚拟模型的技术很有价值，不仅仅是在娱乐业中的显而易见的应用，而且也能用来测试虚拟环境中的压力，以保护相应真实世界环境中的物体不受伤害。」Davis 说。他还说自己也非常渴望看到其他应用的出现，，从研究体育电影到创造新的虚拟现实形式。
「你看看像 Oculus 那样的虚拟现实公司，通常他们都研究在真实空间中模拟虚拟物体，」Davis说。
「这个研究突然出现在我的脑子里，让我们想看看在虚拟空间中捕捉和操纵真实的物体这件事上我们到底能做到什么程度。」
这项研究得到了美国国家科学基金会和卡塔尔计算研究所（Qatar Computing Research Institute）的支持。Chen 也通过 MIT 能源动议项目（ MIT Energy Initiative）得到了 Shell Research 的支持。
