肖健作者

ICCV 2019 | SinGAN:从单幅图像学习生成模型,可应用于多种图像处理操作

本文对ICCV2019论文《SinGAN:Learning a Generative Model from a Single Natural Image》进行解读。

这篇论文提出了一种可以从单幅自然图像学习的非条件生成模型--SinGAN,能够捕捉图像的内部块分布信息,生成具有相同视觉内容的高质量、多变的样本。SinGAN包含一个金字塔结构的全卷积GAN,每个GAN负责学习图像不同尺度的分布信息。因此可以生成具有任意尺寸和纵横比的新样本,这些样本具有明显的变化,同时又可以保持训练图像的整体结构和精细的纹理特征。与之前的单图像GAN方案对比,本文方法不局限于纹理图像,而且是非条件的(即从噪声生成样本)。大量实验证明SinGAN生成的样本具有较好的真实性,而且可以应用于多种图像处理任务中。

论文地址:https://arxiv.org/abs/1905.01164

源码地址:https://github.com/tamarott/SinGAN

补充材料地址:http://webee.technion.ac.il/people/tomermic/SinGAN/SinGAN.htm

作者:Tamar Rott Shaham,Tali Dekel,Tomer Michaeli(以色列理工学院,Google Research

研究背景

生成对抗网络(GAN)在对视觉数据的高维分布建模方面取得了巨大飞跃。特别是用类别特定数据集(如人脸、卧室)进行训练时,非条件GAN在生成逼真的、高质量样本方面已取得显著成功。但建模具有多个类别、高度多样化的数据集(如ImageNet)的分布仍然是一项重大挑战,并且通常需要根据另一种输入信号来调节生成或为特定任务训练模型。

本文将GAN带入了一个新领域--从单幅自然图像中学习非条件生成模型。对单幅自然图像中的图像内部分布进行建模已被公认为是许多计算机视觉任务的有用先验,单幅自然图像通常具有足够的内部统计信息,可以使网络学习到一个强大的生成模型。作者提出了一种具有简单统一架构的模型SinGAN,能够处理包含复杂结构和纹理的普通自然图像,而不必依赖于具有同一类别图像的数据集。这是通过金字塔结构的全卷积GAN实现的,每个GAN负责捕捉不同尺度的图像分布。经过训练后,SinGAN可以以任意尺寸生成各种高质量的图像样本,这些样本在语义上类似于训练图像,但包含新的目标和结构,如图1所示。并且多种图像处理任务都可以应用SinGAN,如图像绘制、编辑、融合,超分辨率重建和动画化。

图 1 从单幅训练样本学习的图像生成模型。本文提出SinGAN--一种在单幅自然图像上训练的新型非条件生成模型。SinGAN使用多尺度对抗训练方案来跨多个尺度学习图像内部统计信息,可以将其用于生成新的逼真图像样本,该样本在生成新目标和结构的同时保留原始图像块分布。

相关工作

1.单幅图像深度模型。最近的一些工作提出在单个样本上训练一个“过拟合”的深度模型,它们都是为特定任务设计的,如超分辨率重建、纹理扩展等。Shocher等提出的InGAN是第一个基于内部GAN的单幅自然图像训练模型,其生成的样本取决于输入图像(即将图像映射到图像),并不能绘制随机样本。而本文框架是纯粹生成式的(即将噪声映射到图像样本),因此适合许多不同的图像处理任务。目前非条件单幅图像GAN模型仅对有纹理的图像进行研究,当在没有纹理的图像上训练这些模型时,不会生成有意义的样本,而本文方法不限于纹理,可以处理一般的自然图像,如图1。

2.用于图像处理生成模型在许多不同的图像处理任务中,基于GAN的方法已经证明了对抗学习的巨大优势,包括交互式图像编辑,草图合成图像和其他图像到图像翻译任务。但是,所有这些方法都是在特定类别的数据集上进行训练的,通常需要另外的输入信号调整生成。本文不关注如何获取同一类图像间的共同特征,而是考虑使用不同的训练数据源--单幅自然图像的多个尺度上所有重叠的图像块。作者表明,可以从这样的数据中学习强大的生成模型,并将其用于许多图像处理任务中。

方法

本文目标是学习一个非条件的生成模型,该模型可以捕捉单个训练图像x的内部统计信息。此任务在概念上与常规GAN设置相似,不同之处在于,此处训练样本是单幅图像不同尺度下的采样图像,而不是数据集中的整个图像样本。

模型选择处理更一般的自然图像,赋予模型生成纹理外的其他功能。为了捕捉图像中目标形状和排列位置这样的全局属性(如天空在顶部,地面在底部),以及精细的细节和纹理信息,SinGAN包含具有层级结构的patch-GANs(马尔可夫判别器),其中每个判别器负责捕捉x不同尺度的分布,如图2所示。虽然在GAN中已经探索使用了类似的多尺度结构,但本文还是第一个为从单幅图像进行内部学习而探索的网络结构。

1.多尺度结构

2.训练过程

实验结果

作者在图像场景跨度很大的数据集上对SinGAN进行了定性和定量的测试,定性生成的图像如图1和图4所示。SinGAN很好地保留目标的全局结构和较好的纹理信息,如图1中的山、图4中的热气球或金字塔。此外,模型很真实地合成了反射和阴影。

图 4 随机生成的图像样本在训练时使用较少数目的尺度,则最粗尺度的有效感受野会更小,从而只能捕获精细纹理。随着尺度数量的增加,出现了更大的支撑结构,并且更好地保留全局目标的排列(位置关系)。测试时可以选择开始生成的尺度,SinGAN的多尺度结构可以控制样本间差异的总量。从最粗尺度开始生成会导致整体结构变化很大,在某些具有较大的显著目标的情况下,可能会生成不真实的样本。当从较细的尺度开始,可以保持整体结构完整,同时仅会改变更精细的图像特征。

为了量化生成图像的真实性以及它们捕捉训练图像内部统计信息的程度,作者使用两个度量:AMT真假用户调研和FID的单幅图像版本。AMT测试结果发现,SinGAN可以生成很真实的样本,人类判别的混淆率较高。利用单幅图像FID量化SinGAN捕捉x内部统计信息的能力的结果如表1所示。从N-1尺度开始生成的SFID评价值比从N尺度开始生成低,这与用户调研一致。作者还报告了SIFID与假图像混淆率之间的相关性,两者之间存在显著的负相关性,这意味着较小的SIFID通常表示较大混淆率。

表 1 两种模式的SIFD值

结论

本文介绍了一种可以从单幅自然图像中学习的新型非条件生成框架--SinGAN。证明了其不仅可以生成纹理,还具有为复杂自然图像生成各种逼真样本的能力。与外部训练的生成方法相比,内部学习在语义多样性方面具有固有的限制。例如,如果训练图像只包含一条狗,SinGAN不会生成不同犬种的样本。不过,作者通过实验证明,SinGAN可以为多种图像处理任务提供非常强大的工具。

AMiner学术头条
AMiner学术头条

AMiner平台由清华大学计算机系研发,拥有我国完全自主知识产权。系统2006年上线,吸引了全球220个国家/地区800多万独立IP访问,数据下载量230万次,年度访问量1000万,成为学术搜索和社会网络挖掘研究的重要数据和实验平台。

https://www.aminer.cn/
专栏二维码
理论图像处理SinGANICCV 2019
2
相关数据
计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

对抗训练技术

对抗训练涉及两个模型的联合训练:一个模型是生成器,学习生成假样本,目标是骗过另一个模型;这另一个模型是判别器,通过对比真实数据学习判别生成器生成样本的真伪,目标是不要被骗。一般而言,两者的目标函数是相反的。

过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

图像生成技术

图像生成(合成)是从现有数据集生成新图像的任务。

图像处理技术

图像处理是指对图像进行分析、加工和处理,使其满足视觉、心理或其他要求的技术。 图像处理是信号处理在图像领域上的一个应用。 目前大多数的图像均是以数字形式存储,因而图像处理很多情况下指数字图像处理。

模型选择技术

模型选择是从给定数据的一组候选模型中选择统计模型的任务。对于具有类似预测或解释力的候选模型,最简单的模型最有可能是最佳选择(奥卡姆剃刀)。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

生成对抗网络技术

生成对抗网络是一种无监督学习方法,是一种通过用对抗网络来训练生成模型的架构。它由两个网络组成:用来拟合数据分布的生成网络G,和用来判断输入是否“真实”的判别网络D。在训练过程中,生成网络-G通过接受一个随机的噪声来尽量模仿训练集中的真实图片去“欺骗”D,而D则尽可能的分辨真实数据和生成网络的输出,从而形成两个网络的博弈过程。理想的情况下,博弈的结果会得到一个可以“以假乱真”的生成模型。

感受野技术

一个感觉神经元的感受野是指这个位置里适当的刺激能够引起该神经元反应的区域。感受野一词主要是指听觉系统、本体感觉系统和视觉系统中神经元的一些性质。

生成对抗技术

生成对抗是训练生成对抗网络时,两个神经网络相互博弈的过程。两个网络相互对抗、不断调整参数,最终目的是使判别网络无法判断生成网络的输出结果是否真实。

推荐文章
暂无评论
暂无评论~