美图影像研究院（MT Lab）正式推出美图画质修复算法V2（升级版），全新迭代版本取得重大技术突破，能够在保留人脸身份信息（identity），保持人脸不发生形变的同时，实现人像细节修复能力的大幅度提升，有效解决图片画质压缩、模糊、失焦、噪声、马赛克等多个画质修复核心痛点问题。目前已在美图秀秀证件照、工具箱及视频剪辑（照片）中上线该算法。
美图画质修复算法推出V2升级版
摄影技术的广泛普及与飞速发展深刻地改变了大众的生活，不知不觉中早已对随时随地拿出手机拍摄记录习以为常。但对很多人而言，老照片却承载着心中绵长的岁月和难忘的回忆，凝滞着时光与那些不经意间被遗忘的美好瞬间，翻阅老照片就像是在与遥远过去进行的一场隔空对话。昔日旧照的分享也频登热门话题榜，带人们坐上时光穿梭机，掀起一场又一场的「复古风潮」。但由于年限久远，早期摄影设备的技术受限，手机搭载的摄像头像素较低，老照片的清晰度往往不高，许多照片还因经过数次转载与压缩导致画质受损严重。
美图深悉用户需求，2019年美图核心技术研发部门——美图影像研究院（MT Lab）正式推出人像画质修复技术，通过便捷的一键操作就能实现老照片中低画质人像的高清还原。与此同时，还能修复模糊、失焦以及因压缩所导致的画质受损等各类低清图像场景。此后，针对目前人像画质修复所面对的两个关键性挑战，其一是如何更好地去除图像上导致画质受损的噪声、马赛克、模糊等影响因素；其二是在人像画质修复过程中如何保留人脸身份信息（identity）并保持人脸不发生形变，MT Lab持续迭代升级AI图像生成技术，基于深度学习方法自主与前沿技术，自主研发全新生成网络结构MTIR-GAN，并在此基础上凭借美图数亿量级数据对模型进行训练学习，令MTIR-GAN具备优异的人像修复能力。
图（1）：美图画质修复算法V2效果（上为原图，下为效果图）
基于MTIR-GAN的美图画质修复算法V2（升级版）最终实现了对睫毛、眉毛、发丝和肤质等脸部细节最大程度地还原修复，并保留人脸身份信息（identity）保持人脸不发生形变。同时，有效解决因图像多次压缩所导致的画质受损以及由于拍摄环境如夜拍、抓拍和拍摄过程抖动等造成的照片模糊、失焦、噪声、马赛克等画质修复方面的关键问题。不仅如此，还通过算法升级不断优化美图自研神经网络推理框架，有效提升修复效率，用户在1.5秒以内即可看到单人像修复后的惊艳效果，最大限度地节省了用户的等待时间。
图（2）：美图画质修复算法V2效果（上为原图，下为效果图）
美图画质修复算法V2图像修复全流程
美图画质修复算法V2采取三个步骤对待修复图像进行处理。首先，基于MT Lab的人脸技术对人脸点进行精准定位，针对人脸面部细节多，需要精细化处理的情况，单独对脸部画质进行修复与还原。与此同时，同步对全图进行去彩噪、去噪、去马赛克、去jpeg压缩、去模糊、去轻微抖动等画质修复操作，实现全图画质效果的增强，其中包括低分辨率修复和高分辨率增强。此外，针对分辨率较高的图像处理耗时较为严重的问题，美图画质修复算法V2采取先将待修复图缩小到一定尺度，再进行分块、去噪等画质修复操作，最后通过guided-filter网络结构的画质增强方案将其恢复为原始分辨率，从而高效提升计算效率，大幅压缩处理所需的等候时长。上述脸部修复工作和全图修复工作并行处理完成，修复后的脸部将被贴回图像中，合成完整的修复图。最后，利用超分网络对合成的完整修复图进行处理，实现图像整体画质的清晰度提升。美图画质修复算法V2完整流程如下图（3）所示：
图（3）：美图画质修复V2全流程
图（4）：修复效果对比
图（5）：修复效果对比
人脸修复具体流程解析
人脸修复是本次美图画质修复算法升级的核心部分，人脸修复具体流程包括人脸裁框和脸部生成修复两个部分。
1、基于最小包围盒矩形框的人脸裁框
MT Lab在人脸裁框上舍弃了以往单纯利用眼睛间距进行人脸裁切的方式，而采用最小包围盒矩形框对人脸进行裁切，以最大限度保证人脸的完整性，具体步骤为：
(a)基于自研的人脸检测和人脸对齐技术实现对图像中人脸点集FP的高速读取，并计算其外接矩形，通过向外拓展得到人脸的裁切矩形。
(b)基于人脸的裁切矩形获得人脸的旋转角度，并从原图中裁取摆正后的人脸图像F。
2、基于MTIR-GAN网络设计的脸部生成修复
目前，StyleGAN2可以生成逼真且高清的人脸，但其生成的人脸是随机的，因而会导致人像身份信息发生改变，无法直接用于人像画质修复。对此，MTLab通过自研的 Encoder网络提取待修复人像的结构信息和纹理，基于结构信息保持人像五官形状，防止发生形变。同时，纹理信息可以用来引导人像发丝、肤色、睫毛等细节生成，继而再输入StyleGAN2的生成网络，就能够获得修复完好且保留人脸身份信息（identity），保持人脸不发生形变的人像照片，即实际上整个流程即通过替代StyleGAN2的w+空间向量和输入其生成网络的常量实现。例如，输入一张大小为1024 x 1024待修复的人像图，经过Encoder网络的8次下采样，可以得到4x4x32的结构特征和512维度的纹理向量，再经过StyleGAN2的生成网络即可得到1024x1024的修复脸部图，具体网络结构如下图（6）所示：
图（6）：MTIR-GAN 网络框架图
损失函数包括：L1 loss、Perceptual loss、Identity loss、Global D Loss、Facial D Loss。
通过修复后图像和target求得L1Loss，L1 Loss可以使图像恢复得更加清晰。
Perceptual Loss采用vgg-19网络进行计算，可以更好地恢复人像肤色、质感、细节等信息。
为更好地实现人像身份信息的保留，采用美图影像研究院（MT Lab)自研的人脸识别算法对人像图进行特征提取求得loss。
判别网络类型主要分为全局和局部，基于该分类可以确保修复后的人脸呈现更加真实的状态，局部五官信息则更加清晰并具有丰富细节。其中，全局网络采用类似StyleGAN2的合成方法；局部网络基于人脸点裁剪出眼睛、嘴巴、眉毛三个部位，然后统一resize到256x256尺度再输入判别网络求得loss。
MT Lab深耕AI领域，聚焦技术应用
目前，美图画质修复算法V2已于美图秀秀上线，满足用户对照片修复的多元需求，在实现对人像五官、发丝、眉毛、睫毛等人脸细节的进一步优化修复，提升皮肤真实、细腻质感的同时，也解决了在夜间拍摄、昏暗环境、拍摄抖动、抓拍等不同场景下对画质清晰度提升的关键需求。
MT Lab在自研人像画质修复算法上实现了优化升级与不断突破，作为美图公司的顶级研发团队，在人脸技术、美颜技术、美妆技术、人体技术、图像分割、图像生成等多个技术领域处于世界先进水平，以核心技术创新推动美图公司的业务发展，并通过美图AI开放平台（ai.meitu.com）与行业共享AI领域最前沿的专业算法服务与解决方案。未来，MT Lab也将继续深耕AI领域，积极推动前沿技术研究和应用落地。
