高品质涂鸦图片生成

图像边缘、边界和轮廓是计算机视觉研究的重要课题。一方面,它们是组成3D图像的2D元素,另一方面,它们指示图像中的遮挡,用于分离对象或语义分割。本文,我们的目标是捕捉视觉场景的轮廓,生成轮廓图(contour drawings)。

现有技术常将此问题作为边界检测。但是,边界检测输出中呈现的视觉提示集和本文提出的不同,并且边界检测也忽虑了艺术风格。我们收集了一组轮廓图的数据集,并提出一种learning-based的方法来解决标注中的多样性。同时,和边界检测不同,即使标注与真实图像不完美对齐,该方法也能工作。
我们的方法,在数量和质量上都超过了之前的方法。我们的模型在BSDS500上进行微调时,表现出了非常好的性能。


方法

我们训练了一个新型带有MM-loss(Min-Mean-loss)的image-conditioned轮廓生成器,该生成器考虑了训练过程中遇到的一对多输出的问题。直接对整组图像轮廓对进行训练会产生相互冲突的梯度。为了纠正这一点,我们对鉴别器“GAN”损失和回归“Task”损失进行聚合。鉴别器对所有图像轮廓对的GAN损失进行平均,而回归损失找到与该图像配对的损失最小的轮廓(在学习期间动态确定)。


数据集

我们提出了新的图像对和轮廓图数据集,用于视觉理解和草图生成。该数据集包含1000张室外图像,每张图像与5张人类手绘配对(总共是5000张图像)。数据集是使用Amazon Mechanical Turk收集的。我们设计了带有详细说明的标签界面,以此来获得较高质量的标注,同时包括正面和反面的例子。


项目实操资料

数据集可以用于非商业的使用,下载地址:https://drive.google.com/file/d/1_AIxKnZXQms5Ezb-cEeVIDIoVG-eliHc/view

论文链接:https://arxiv.org/abs/1901.00542

代码地址:https://github.com/mtli/PhotoSketch

数据集运行效果查看:http://www.cs.cmu.edu/~mengtial/proj/sketch/dataset-viewer.html

极验
极验

极验是全球顶尖的交互安全技术服务商,于2012年在武汉成立。全球首创 “行为式验证技术” ,利用生物特征与人工智能技术解决交互安全问题,为企业抵御恶意攻击防止资产损失提供一站式解决方案。

工程计算机视觉领域图像生成
2
相关数据
计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

语义分割技术

语义分割,简单来说就是给定一张图片,对图片中的每一个像素点进行分类。图像语义分割是AI领域中一个重要的分支,是机器视觉技术中关于图像理解的重要一环。

推荐文章
暂无评论
暂无评论~