伯克利大学和Adobe开源深度学习图像编辑工具 iGAN

近日，伯克利和 Adobe 在 Github 上开源了新的深度学习图像编辑工具 iGAN。这是在 ECCV 2016 接收的的论文 Generative Visual Manipulation on the Natural Image Manifold中作者们介绍的工具。

Github 开源介绍

给定一些用户笔触（stroke），我们的系统能够实时产生最佳满足用户编辑的逼真图像样本。我们的系统基于 GAN、DCGAN 这样的深度生成模型。该系统有以下两个目标：

受笔触效果颜色和形状的启发，系统中的智能绘画界面能自动生成图像

系统中的交互视觉 debugging 工具能理解并可视化深度生成模型。通过与该生成模型交互，开发者能理解该模型可生成什么视觉内容，也有助于理解模型的缺陷。

我们正在研究支持更多的生成式模型（例如，变自编码器）和更多的深度学习框架（比如，TensorFlow）。欢迎提议更多的新变化或贡献更多的新特征（比如，TensorFlow 分支）。

开源代码地址：https://github.com/junyanz/iGAN#igan-interactive-image-generation-via-generative-adversarial-networks

论文：在自然图像流形上的生成式视觉操作（Generative Visual Manipulation on the Natural Image Manifold）

摘要：真实图像流形上的操作一直具有挑战性，因为它需要以一种用户可控的方式调整图像外貌，还要保留结果的真实性。除非用户有相当好的艺术技能，不然在编辑时候很容易减少自然图像的流形。在此论文中，我们提出使用生成式对抗网神经网络直接从数据中学习自然图像的流形。然后，我们定义了一类图像编辑操作，并依赖一直学习到的流形束缚它们的输出。该模型能自动调整输出，保持所有的编辑都是尽可能真实的。我们所有的处理方法都依据约束最优化来表达，几乎是实时的情况下被应用。我们在真实图像形状和颜色操作任务上评估该算法。该方法可进一步用于将一张图像改变为类似的一张，也可基于用户的涂鸦乱画生成新的图像。