Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

小舟、陈萍报道

给几个关键词就能出摄影大片,英伟达GauGAN上新2.0:将文本转成逼真图像

这么美的照片竟然不是出自摄影师之手?!

在 2019 年举办的 GTC 大会上,英伟达展示了一款新的交互应用 GauGAN:利用生成对抗网络(GAN)将分割图转换为栩栩如生的图像。

时隔 2 年,英伟达官方推出了 GauGAN 的继任者 GauGAN2,允许用户创建不存在的逼真风景图像。GauGAN2 将分割映射、修复和文本到图像生成等技术结合在一个工具中,旨在输入文字和简单的绘图就能创建逼真的图像。

英伟达表示:「与类似的图像生成模型相比,GauGAN2 的神经网络能够产生更多种类和更高质量的图像。」用户无需绘制想象场景的每个元素,只需输入一个简短的短语即可快速生成图像的关键特征和主题。

例如输入「海浪打在岩石上」,模型会根据生成的内容逐渐进行相应的调整,以生成与描述匹配的逼真图像。
目前 GauGAN2 还在研发阶段,但英伟达已为用户提供了一个 demo 地址,可在线试玩。

试玩地址:https://www.nvidia.com/en-us/research/ai-demos/

简单输入几个关键词就能生成想要的风景图,看起来非常有趣。

GauGAN2 的生成模式

GauGAN2 现在有几种模式,可以从不同的输入生成逼真的图像。

模式 1:输入简笔画。

模式 2:输入文本。

这种输入文本生成匹配图像的模式也是 GauGAN2 主要的创新,生成的图像会根据逐渐输入的文本不断发生变化,最终生成和文本匹配最佳的图像。

例如在下图的示例中,文本首先输入「sunshine(阳光)」,生成的图像中就只出现了一个太阳;之后继续输入「a tall tree(高树)」,图像中就出现了树(且为顶部树枝,匹配「高树」);最后,输入的全部文本是「sunshine in a tall tree forest」,意为「透过森林的阳光」,GauGAN2 最终生成的图像与之相匹配:

模式 3:输入图像并编辑部分内容。

例如,抹掉想要移除的内容,在生成的图像中会保留剩余的部分,并自动补全出多种新的完整图像:

此外,第一版 GauGAN 的涂鸦模式在 GauGAN2 也同样适用。

上述几种模式也可以混合叠加使用,例如在用涂鸦绘画等生成图像后,输入文本进行相应的修改,下图就生成了一座阳光下的「空中楼阁」:

从文本生成图像,如何实现?

从 2019 年开始,英伟达开始改进 GauGAN 系统,该系统由超过一百万个公共 Flickr 图像训练而成。与 GauGAN 一样,GauGAN2 可以理解雪、树、水、花、灌木、丘陵和山脉等物体之间的关系,例如降水类型随季节变化的事实。

GauGAN2 作为生成对抗网络 (GAN) 的一种变体,由生成器和鉴别器组成。生成器用于获取样本,例如获取与文本配对的图像,并预测可能与图片中元素(例如山水、树木)对应的数据。生成器试图通过「欺骗」鉴别器来进行训练,鉴别器则用于评估预测结果是否真实。虽然 GAN 的转换最初质量很差,但它随着鉴别器的反馈而不断改进。

与 GauGAN 不同的是,GauGAN2 是在 1000 万张图像上训练而成——可以将自然语言描述转换成风景图。GauGAN2 在单个模型中结合了分割映射、修复和文本到图像的生成。它不仅可以创建逼真的图像,艺术家还可以使用它来描绘超凡脱俗的风景,即实际中并不存在的艺术场景。

例如星球大战系列中塔图因星有两个太阳。借助 GauGAN2 只需输入文本「desert hills sun」来创建一个起点,之后用户可在已有一个太阳的情况下快速绘制草图,生成想要的效果。

这是一个迭代的过程,用户在文本框中键入的每个词都会为 AI 创建的图像添加更多内容,因而 GauGAN2 才能随着输入文本而不断变换图像。

GauGAN2 背后的 AI 模型使用 NVIDIA Selene 超级计算机,在 1000 万张高质量风景图像上进行了训练,这是一个 NVIDIA DGX SuperPOD 系统,是世界上最强大的 10 台超级计算机之一。GauGAN2 还借助神经网络来学习词汇与其对应的视觉效果之间的联系,例如「冬天」、「有雾」等。

面向实际应用

GauGAN2 从实用的角度讲是视觉创意生成器,在电影、软件、视频游戏、产品、时尚和室内设计中具有潜在应用。英伟达声称第一版 GauGAN 已被用于为电影和视频游戏创建概念艺术。类似地,GauGAN2 未来也将提供开源代码并投入应用。

与 GauGAN2 类似,今年年初 OpenAI 发布了号称图像版 GPT-3、120 亿参数的 DALL-E,后者可以将以自然语言形式表达的大量概念转换为合适的图像,效果十分惊艳。 

此类生成模型的一个缺点是可能存在偏见。例如在 DALL-E 中,OpenAI 使用 CLIP 模型来提高生成图像质量,但几个月前有研究发现 CLIP 存在种族和性别偏见问题。

英伟达暂不会对 GauGAN2 是否存在偏见给出回应。英伟达发言人表示:「该模型有超过 1 亿个参数,训练时间不到一个月(还在 demo 阶段),训练图像来自专有的风景图像数据集。因此 GauGAN2 只专注于风景,研究团队还对图像进行审核以确保图片中没有包含人的场景。」这将有助于减少 GauGAN2 的偏见。

参考链接:https://blogs.nvidia.com/blog/2021/11/22/gaugan2-ai-art-demo/
入门GauGAN2英伟达图像生成模型
相关数据
参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

映射技术

映射指的是具有某种特殊结构的函数,或泛指类函数思想的范畴论中的态射。 逻辑和图论中也有一些不太常规的用法。其数学定义为:两个非空集合A与B间存在着对应关系f,而且对于A中的每一个元素x,B中总有有唯一的一个元素y与它对应,就这种对应为从A到B的映射,记作f:A→B。其中,y称为元素x在映射f下的象,记作:y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域,记作f(A)。同样的,在机器学习中,映射就是输入与输出之间的对应关系。

图像生成技术

图像生成(合成)是从现有数据集生成新图像的任务。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

生成对抗网络技术

生成对抗网络是一种无监督学习方法,是一种通过用对抗网络来训练生成模型的架构。它由两个网络组成:用来拟合数据分布的生成网络G,和用来判断输入是否“真实”的判别网络D。在训练过程中,生成网络-G通过接受一个随机的噪声来尽量模仿训练集中的真实图片去“欺骗”D,而D则尽可能的分辨真实数据和生成网络的输出,从而形成两个网络的博弈过程。理想的情况下,博弈的结果会得到一个可以“以假乱真”的生成模型。

文本到图像生成技术

文本到图像生成是从文本描述或标题生成图像的任务。

推荐文章
暂无评论
暂无评论~