图像边缘、边界和轮廓是计算机视觉研究的重要课题。一方面，它们是组成3D图像的2D元素，另一方面，它们指示图像中的遮挡，用于分离对象或语义分割。本文，我们的目标是捕捉视觉场景的轮廓，生成轮廓图（contour drawings）。
现有技术常将此问题作为边界检测。但是，边界检测输出中呈现的视觉提示集和本文提出的不同，并且边界检测也忽虑了艺术风格。我们收集了一组轮廓图的数据集，并提出一种learning－based的方法来解决标注中的多样性。同时，和边界检测不同，即使标注与真实图像不完美对齐，该方法也能工作。
我们的方法，在数量和质量上都超过了之前的方法。我们的模型在BSDS500上进行微调时，表现出了非常好的性能。
方法
我们训练了一个新型带有MM-loss(Min-Mean-loss)的image-conditioned轮廓生成器，该生成器考虑了训练过程中遇到的一对多输出的问题。直接对整组图像轮廓对进行训练会产生相互冲突的梯度。为了纠正这一点，我们对鉴别器“GAN”损失和回归“Task”损失进行聚合。鉴别器对所有图像轮廓对的GAN损失进行平均，而回归损失找到与该图像配对的损失最小的轮廓(在学习期间动态确定)。
数据集
我们提出了新的图像对和轮廓图数据集，用于视觉理解和草图生成。该数据集包含1000张室外图像，每张图像与5张人类手绘配对（总共是5000张图像）。数据集是使用Amazon Mechanical Turk收集的。我们设计了带有详细说明的标签界面，以此来获得较高质量的标注，同时包括正面和反面的例子。
项目实操资料
数据集可以用于非商业的使用，下载地址：https://drive.google.com/file/d/1_AIxKnZXQms5Ezb-cEeVIDIoVG-eliHc/view
论文链接：https://arxiv.org/abs/1901.00542
代码地址：https://github.com/mtli/PhotoSketch
数据集运行效果查看：http://www.cs.cmu.edu/~mengtial/proj/sketch/dataset-viewer.html
