告别渣画质,视频会议带宽降90%,英伟达公开Maxine服务背后重要技术
如果让打工人用几个关键词总结 2020 年的生活,「视频会议」应该是其中一个。受疫情影响,这一年来,远程办公和视频会议正在成为新的潮流。在忍受会议枯燥的同时,很多人迷上了 AI 换脸,期望能够实现「一边开会,一边摸鱼」的梦想。给出一个人的源图像,和一个人的动作视频(此处称为驱动视频 (driving video),动作视频和源图像中的人物可以一致或不一致),如何合成逼真的说话者头部视频,即将源图像中的头像与驱动视频中的动作合二为一。源图像编码目标人物的外观,驱动视频决定输出视频中的人物动作。最近,针对这一任务,英伟达提出了一种纯神经式的渲染方法,即不使用人物头部的 3D 图模型,只使用在 one-shot 设置下训练而成的深度网络,进行说话者头部视频的渲染。