2022/01/26 15:11

杜伟、陈萍编辑

优于GAN、带上口罩都能还原，用去噪扩散概率模型极限修复图像，效果「真」极了

无论掩码类型如何多变，苏黎世联邦理工学院计算机视觉实验室（CVL）的图像修复方法都能还原出逼真的图像。

图像修复旨在填充图像中的缺失区域，被修复区域需要与图像的其余部分协调一致，并且在语义上是合理的。为此，图像修复方法需要强大的生成能力，目前的修复方法依赖于 GAN 或自回归建模。

近日，来自苏黎世联邦理工学院计算机视觉实验室（CVL）的研究者提出了 RePaint，这是一种基于 DDPM（Denoising Diffusion Probabilistic Model，去噪扩散概率模型）的修复方法，该方法还可以适用于极端情况下的蒙版。

论文地址：https://arxiv.org/pdf/2201.09865.pdf
代码连接：https://github.com/andreas128/RePaint

它的修复效果是这样的，RePaint 使用扩散模型填充缺失的图像部分：下面示例中，蓝色部分是图像缺失部分，也就是需要 RePaint 修复的部分，RePaint 会根据已知的部分生成缺失的部分。它的修复过程是这样的：首先从纯粹的噪音开始，然后对图像逐级降噪，中间的每一步使用图像已知部分来填充未知部分。

RePaint 还能重新绘制不同内容和形状的缺失区域，创建许多有意义的填充物。如面部表情和特征，如耳环或痣：

RePaint 在极端情况下修复质量也比较好：输入图像的每隔一行（例如只留下高度和宽度维度上 stride= 2 的像素）都是未知的，大多数修复方法都失败了，但是 RePaint 可以很好的进行修复：

上述图像修复过程采用预训练的无条件 DDPM 作为生成先验。为了调节生成过程，该研究仅通过使用给定的图像信息对未掩码区域进行采样来改变反向扩散迭代。由于该技术不会修改或调节原始 DDPM 网络本身，因此该模型可以为任何修复形式生成高质量和多样化的输出图像。

在实验部分，该研究使用标准和极端蒙版验证了面部和通用图像修复方法。RePaint 在六种掩码分布中至少有五种优于 SOTA 自回归和 GAN 方法。

预备知识：去噪扩散概率模型（DDPM）

研究者使用扩散模型作为生成模型。与其他生成模型一样，DDPM 学习给定训练集中图像的分布。在推理过程中，首先采样一个随机噪声向量 x_T 并逐步对其进行去噪，直到它生成高质量输出图像 x_0。在训练过程中，DDPM 方法定义一个扩散过程，从而在 T 个时间步内将图像 x_0 转换为高斯白噪声（white Gaussian noise） x_T ∼ N (0, 1)。前向中的每一步如下公式 (1) 所示：

训练 DDPM 以反转公式 (1) 中的过程。反转过程通过一个「预测高斯分布参数 µ_θ(x_t, t)和Σ_θ(x_t, t)」的神经网络进行建模。具体如下公式 (2) 所示：

公式 (2) 中模型的学习目标通过变分下界（variational lower bound）得到，具体如下公式 (3) 所示：

根据 Jonathan Ho 等人在论文《Denoising Diffusion Probabilistic Models》中的扩展，损失（loss）可以进一步分解为如下公式 (4) 所示：

在 Jonathan Ho 等人的这篇论文中，他们认为参数化模型的最佳方法是对添加到当前中间图像 x_t 的累积噪声ϵ_0 预测。如下公式 (5) 所示，研究者对预测的平均值 µ_θ(x_t, t)进行参数化表示。

为了训练 DDPM，研究者需要一个样本 x_t 以及相应的用于将 x_0 转换为 x_t 的噪声。最后，他们可以对公式 (1) 进行重写，作为一个单步执行，具体如下公式 (7) 所示

方法

已知区域的条件作用

图像修复的目标是，通过将掩码区域用作条件，预测一个图像的缺失像素。如前所述，研究者在本文中使用了一个训练过的非条件去噪扩散概率模型。

由于前向过程通过添加的高斯噪声的马尔可夫链（Markov Chain）来定义，研究者可通过定义 (7) 在任意点上采样中间图像 x_t。这使得他们在任意时间步 t 采样已知区域 m⊙x_t。因此，通过公式 (2) 处理未知区域和公式 (7) 处理已知区域，研究者得到了如下所示的反转步（reverse step）的表达式。

因此，研究者使用给定图像 m⊙x_0 中的已知像素对

进行采样，同时在给定上次迭代 x_t 时，

从模型中采样。

如下为使用 RePaint 方法进行图像修复的算法 1：

RePaint 方法的概览如下图 2 所示

重采样

当直接应用上述方法时，研究者观察到：只有内容类型（content type）与已知区域匹配。比如，在下图 3 中，当 n 为 1 时，图像修复的区域是与原始输入图像狗狗的皮毛相匹配的皮毛纹理。尽管图像修复的区域与邻近区域的纹理相匹配，但在语义上显然是不正确的。因此，虽然 DDPM 利用了已知区域的上下文，但它并没有很好地协调图像的其他部分。

由于 DDPM 被训练生成一个位于数据分布中的图像，它自然地想要生成一致性的结构。在研究者的重采样方法中，他们利用 DDPM 的这种特性来协调模型的输入。

实验结果

实验采用 V100 GPU，在 CelebA-HQ 和 Imagenet 数据集上进行了实验。表 1 中报告了定量结果，图 4 和图 5 中报告了视觉结果。

比较方法：该研究将 RePaint 与几种 SOTA 性能的基于自回归或基于 GAN 的方法进行比较。自回归方法包括 DSI 和 ICT，GAN 方法包括 DeepFillv2、AOT 和 LaMa。

宽和窄蒙版（Wide and Narrow masks）：为了在标准图像修复场景中验证 RePaint，该研究使用 LaMa 设置宽和窄蒙版。在 CelebA-HQ 和 ImageNet 中，对于 Wide 和 Narrow 设置，RePaint 以 95% 的显着性裕度（margin）优于所有其他方法。

厚蒙版：类似于最近邻超分辨率问题，「Super-Resolution 2×」蒙版只留下高度和宽度维度上 stride= 2 的像素，而「Alternating Lines」蒙版每隔一行删除图像中的像素。如图 4 和 5 所示，AOT 修复完全失败，而其他的要么产生模糊的图像，要么产生可见的伪影，或者两者兼而有之。RePaint 获得了 73.1% 到 99.3% 的用户投票（一种评估方法）。

图 1 展示了 RePaint 修复的多样性和灵活性。如面部修复（下图第一行），RePaint 可以修复人物表情和特征（如耳环或痣）；RePaint 还能修复电脑屏幕显示的不同图像、文本、标志等。

为了分析增加的计算预算是否会提高重采样性能，该研究将其与第 4.2 节中描述的缓慢扩散过程中常用技术进行了比较。图 6 和表 2 中展示了对每个设置使用相同计算预算的重采样和缓慢扩散。该研究观察到重采样使用额外的计算预算来协调图像，而在缓慢扩散过程方面没有明显的改进。

理论马尔可夫链计算机视觉GAN

相关数据

重采样技术

重采样是指根据一类象元的信息内插出另一类象元信息的过程。在遥感中，重采样是从高分辨率遥感影像中提取出低分辨率影像的过程。常用的重采样方法有最邻近内插法（nearest neighbor interpolation）、双线性内插法（bilinear interpolation）和三次卷积法内插（cubic convolution interpolation）。

来源：百度百科

高斯分布技术

正态分布是一个非常常见的连续概率分布。由于中心极限定理(Central Limit Theorem)的广泛应用，正态分布在统计学上非常重要。中心极限定理表明，由一组独立同分布，并且具有有限的数学期望和方差的随机变量X1,X2,X3,...Xn构成的平均随机变量Y近似的服从正态分布当n趋近于无穷。另外众多物理计量是由许多独立随机过程的和构成，因而往往也具有正态分布。

来源：Wikipedia

迭代技术

模型的权重在训练期间的一次更新。迭代包含计算参数在单个批量数据上的梯度损失。

来源：Google ML glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

噪音技术

噪音是一个随机误差或观测变量的方差。在拟合数据的过程中，我们常见的公式$y=f(x)+\epsilon$中$\epsilon$即为噪音。数据通常包含噪音，错误，例外或不确定性，或者不完整。错误和噪音可能会混淆数据挖掘过程，从而导致错误模式的衍生。去除噪音是数据挖掘（data mining）或知识发现（Knowledge Discovery in Database，KDD）的一个重要步骤。

来源：Han J.; Kamber M.; Pei J. (2011). Data mining: concepts and techniques. Morgan Kaufman.

上采样技术

在数字信号处理中，上采样、扩展和内插是与多速率数字信号处理系统中的重采样过程相关的术语。上采样可以与扩展同义，也可以描述整个扩展和过滤（插值）过程。

来源：维基百科

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科

马尔可夫链技术

马尔可夫链，又称离散时间马尔可夫链，因俄国数学家安德烈·马尔可夫得名，为状态空间中经过从一个状态到另一个状态的转换的随机过程。该过程要求具备“无记忆”的性质：下一状态的概率分布只能由当前状态决定，在时间序列中它前面的事件均与之无关。这种特定类型的“无记忆性”称作马尔可夫性质。

来源：维基百科

图像修复技术

面部修复技术