论文链接：https://peizhuoli.github.io/neural-blend-shapes/papers/neural-blend-shapes-camera-ready.pdf
01 引 言
骨骼驱动的三维人物动画在游戏、影视等应用场景中随处可见。然而，使用骨骼驱动三维人物网格模型（mesh）进行变形并得到动画，通常需要经历繁琐的骨骼搭建（rigging）以及蒙皮权重绑定（skinning）。这些处理技术复杂而艰深，动画师通常需要数年的时间来尝试掌握。此外，一些常见的特定动作，例如弯曲肘部、蹲下，由于常用的蒙皮技术（线性融合蒙皮，Linear Blend Skinning）的局限性，关节区域的变形并不理想。
左：现有技术在关节区域的问题；右：本文技术生成的高质量且细节丰富的动画
为了简化骨骼搭建和蒙皮权重绑定的过程、高效利用动作捕捉数据以及生成高质量的动画，我们开发了一套能生成具有指定结构的骨骼以及精准绑定权重的神经网络。加以我们提出的神经融合形状（neural blend shapes）技术，我们实现了实时高质量三维人物模型动画的端到端自动生成
方法概览
02 方法简介
从处于 T 姿态的人物模型以及在给定的骨骼结构上的关节旋转开始，我们的包裹变形分支（envelope deformation branch）学习并预测出相应的骨骼以及蒙皮权重。与此同时，补偿变形分支（residual deformation branch）预测出对应的融合形状（blend shapes）并使用输入的关节旋转预测对应的融合系数，然后基于此插值得到补偿变形。综合以上中间结果，可微分包裹变形模块将生成最终的变形结果。这一设计使得我们的神经网络能够通过仅观察变形后的人物模型进行间接学习，而不需要对训练数据集的变形方法有任何限制，极大增广了该方法的适用范围。
方法框架
我们的神经网络使用了网格卷积[1]和骨骼卷积[2]搭建各个模块。基于这些最前沿技术的基本算子，我们的网络可以在具有任意网格连通性的人物模型上生成高质量的结果。下图展示了我们的网络的具体架构：
包裹变形分支
补偿变形分支
03 结果展示
我们的方法能准确的预测出与人物模型高度匹配的骨骼以及绑定权重：
骨骼以及绑定权重的可视化
特别的，我们的方法能生成符合预先指定结构的骨骼，这一点在使用动作捕捉数据时尤为关键。而 RigNet[3]只提供了十分有限的用户操纵参数，生成的骨骼结构难以控制：
从左至右分别为：RigNet(12), RigNet(25), RigNet(50), Ours
由于我们的神经网络直接在高质量变形模型上训练，仅使用包裹变形分支就已经超过了基准的线性融合蒙皮技术。再加上我们的神经融合形状技术，关节区域的变形结果便是更上一层楼：
动画结果对比
参考：
[1] Hanocka et al., 2019, MeshCNN: A Network with an Edge
[2] Aberman et al., 2020, Skeleton-Aware Networks for Deep Motion Retargeting
[3] Xu et al., 2020, RigNet: Neural Rigging for Articulated Characters
图文 | 李沛卓
Visual Computing and Learning (VCL)
