CMU 新论文:远极 Transformer
CMU 和 Facebook 新论文「远极 Transformers(Epipolar Transformers)」入选 CVPR 2020。论文摘要概括如下:在同步和校准的多视图设置中对 3D 人体关节进行定位的常见方法包括两个步骤:(1)在每个视图上分别应用 2D 检测器以对 2D 进行关节定位,以及(2)对 2D 检测执行鲁棒的三角剖分从每个视图获取 3D 关节位置。但是,在第 1 步中,二维检测器仅限于解决具有挑战性的情况,而这些情况在 3D 中可能会得到更好的解决,例如遮挡和倾斜视角,而在 2D 中则完全不利用任何 3D 信息。因此,我们提出了可微分的 “远极 Transformers”,它使 2D 检测器能够利用 3D 感知功能来改善 2D 姿态估计。受立体声匹配的启发,对极 Transformers 利用对极约束和特征匹配来逼近 p' 处的特征。在 InterHand 和 Human3.6M 上进行的实验表明,我们的方法在基线上具有一致的改进。具体来说,在不使用外部数据的情况下,我们使用 ResNet-50 主干训练的 Human3.6M 模型和 256 x 256 的图像尺寸比最新技术高出 4.23 毫米,达到了 MPJPE 26.9 毫米。