UC伯克利CVPR入选论文引关注,「从视频中学习 3D 人体动力学」
机器之心获悉,一篇名为「从视频中学习 3D 人体动力学」的 CVPR2019 入选论文引社群关注。以下为论文概述:从行动中的人的形象,我们可以很容易地猜测人在的 3D 运动。这是因为我们有一个 3D 人体动力学的心理模型,我们通过观察运动中人类的视觉序列获得了这个模型。我们提出了一个框架,通过简单但有效的图像特征时间编码,类似地,从视频中学习人类 3D 动态的表示。在训练时,通过视频中学习的时间表示可以恢复平滑的 3D 网格预测。从单个图像中,我们的模型可以恢复当前的 3D 网格以及 3D 过去和未来的运动。我们的方法旨在使其能够以半监督的方式从具有 2D 姿势注释的视频中学习。但是,带注释的数据总是有限的。另一方面,互联网上每天都有数百万的视频上传。在这项研究中,我们通过使用从现成的 2D 姿势检测器获得的真实 2D 姿势,训练模型来获取互联网大规模的未标记数据。我们的实验表明,添加更多具有真实 2D 视频的视频可以单调提高 3D 预测性能。我们在最近具有挑战性的 3D Poses in the Wild 数据集中评估我们的模型,并在没有任何微调的情况下获得 3D 预测任务中的最先进性能表现。