最近发生了一件互联网趣事:一款可以操控面部表情的神经网络 Demo——DeepWarp,它由 Yaroslav Ganin、Daniil Kononenko、Diana Sungatullina 和 Victor Lempitsky 联合创建,可以通过深度架构移动静态人像上的眼球。
首次出现在 Prosthetic Knowledge 的 DeepWarp 聚焦于现实版的「凝视操控(gaze manipulation)」。Demo 的创建者承认类似的项目已经存在(像微笑操纵器 FaceApp),但都没有像 DeepWarp 一样做到如此非凡与细节专注。
创建者指出,这项研究发现可用于解决眼睛运动的实际问题,例如「视频会议中的凝视校正」。它也适用于「头部特写」情景——当讲话者看提词器从而视线偏离镜头时。
DeepWarp 的 Demo 地址:http://163.172.78.19/
你只需选择一张人物面向正前方的大头照(水平视角的图像表现最好)。上传图像后,你有四种移动眼球的选择方式,包括滚动式和十字式。DeepWarp 最后会导出一个眼球转动之人的 mp4 文件。我用 Keanu Reeves 和几只狗的图像试了试,前者成功导出了文件,后者却失败了。
创建者在其研究中写道:DeepWarp 在应对不同头部姿势时表现相当稳健,并能正确处理戴眼镜的情况。大多数失效模式(例如,对应于极度倾斜的头部姿势或涉及眼睛不同部分的空洞的大的重定向角度)并非模型设计所固有,并可运用适当示例增加训练数据来解决。
研究者说,计划在未来提高 DeepWarp 的工作效率。