Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

开源文生图模型再进化,Stable Diffusion XL 1.0登场,出图效果不输Midjourney

Stable Diffusion XL 1.0 闪亮登场,给你不一样的色彩体验。

在大模型开启的 AIGC 时代,由明星 AI 初创公司 Stability AI 打造的文本到图像生成模型 Stable Diffusion 可谓风靡全球。

虽然从文本到图像的生成模型并不少,但 Stable Diffusion 是最受欢迎的开源模型。各路开发者也基于 Stable Diffusion 模型进行二创,推出各种各样、花式繁多的 AIGC 应用。

刚刚,Stability AI 正式推出了 Stable Diffusion XL(SDXL)1.0。文本到图像生成模型,又完成了进化过程中的一次重要迭代。

这是 Stability AI 最新的旗舰图像模型,也是当前图像生成领域最好的开源模型。
图片
在 SDXL 1.0 版本发布之前,Stability AI 在六月份推出的 SDXL 0.9 仅作研究用途。但从今天起,SDXL 1.0 将通过 Stability AI 的 API 开源开放给开发者,普通人也可以通过消费级应用 Clipdrop 和 DreamStudio 访问。

如何马上体验到 SDXL 1.0?目前有几种渠道:

  • Clipdrop:https://clipdrop.co/stable-diffusion
  • DreamStudio:https://dreamstudio.ai/generate
  • Stability AI Platform:https://platform.stability.ai/
  • Github:https://github.com/Stability-AI/generative-models

此外,鉴于与亚马逊的密切合作关系,SDXL 1.0 已经登陆亚马逊云科技的基础模型托管服务 Amazon Bedrock,而且还会登陆 Amazon SageMaker JumpStart。

SDXL 1.0,什么进化了?

1. 生成概念与风格更具挑战的作品

SDXL 1.0 几乎能够生成任何艺术风格的高质量图像,并且是实现逼真效果的最佳开源模型。用户可以在没有任何特定的「灵感」的情况下进行提示,确保风格的绝对自由,生成各具特色的图像。SDXL 1.0 在色彩的鲜艳度和准确度方面做了很好的调整,对比度、光线和阴影都比上一代更好,并全部采用原生 1024x1024 分辨率。

除此之外,SDXL 1.0 可以生成图像模型难以渲染的概念,例如手、文本以及空间的排列。

图片
图源:Stability AI 官网

图片
图源:Stability AI 官网

2. 语言更简洁、更智能


SDXL 1.0 只需几句话就能创建复杂、细致、美观的图像。用户不再需要用华丽的辞藻进行修饰就能够获得想要的高质量图像。

它甚至能够区分「The Red Square」(红场,一个著名景点)和「red square」(红色正方形)。
图片
3. 微调和高级控制

有了 SDXL 1.0 ,根据自定义数据对模型进行微调比以往任何时候都要容易。可生成自定义 LoRA 或检查点,减少数据处理的需要。Stability AI 正在利用专门用于 SDXL 的 T2I / ControlNet 构建下一代任务特定结构、样式和组成控制。这些功能目前处于测试预览阶段,可以随时关注微调的更新。SDXL 1.0 上的图像控制也即将推出。

自 4 月 13 日发布 SDXL beta 版本以来,ClipDrop 用户已经使用该模型生成超过 3500 万张图片,而 Stability AI 的 Discord 社区平均每天生成 2 万张图片。

看看用户使用 SDXL 1.0 的效果吧。

图片
推特:@pratzlowcode

从网友的图片生成效果来看,SDXL 1.0 在光线上把握更加精准,光线效果、色彩对比更加真实。

图片
推特:@foxtrotfrog

可以看到,在色彩的运用上,SDXL 1.0 更加大胆,饱和度较高的情况下光线与阴影的细节依然在线。
图片
推特:@ai_for_success

在这张图片中可以看到,景深较为合适,主体突出,色彩之间的过渡,甚至真实度都十分优秀。

图片

推特:@sizubito

网友制作了 SDXL 0.9 与 SDXL 1.0 的对比图,左边为 SDXL 0.9 生成图像,右边为 SDXL 1.0 生成图像。可以明显看出二者对于色彩运用的差距。SDXL 1.0 的色彩更加丰富且真实,光效表现也更加出色。
图片
也有网友在 SDXL 1.0 中使用 Midjourney 中的旧 prompt,评论中纷纷感叹,它的效果不比 Midjourney 差,甚至有些出乎意料的优秀。

SDXL 1.0 细节:Base 和 Refiner 模型

Stability AI 将 SDXL 1.0 与各种模型进行了对比测试:与 Stable Diffusion1.5/2.1、SDXL 0.9 等模型相比,人们更喜欢由 SDXL 1.0 生成的图像。

图片
SDXL 1.0 也是所有开放式图像模型中参数量最多的模型之一,它建立在一个创新的新架构上,由一个 35 亿参数的基础模型和一个 66 亿参数的细化模型组成。

完整模型包括一个用于潜在扩散的专家混合管道:第一步,基础模型生成(噪声)潜在变量,然后用专门用于最终去噪步骤的细化模型对其进行进一步处理。

基础模型也可以作为独立模块使用。细化模型为基础模型的输出添加更精确的颜色、更高的对比度和更精细的细节。

这种两阶段架构可确保图像生成的稳健性,而且不会影响速度或需要过多的计算资源。SDXL 1.0 可在配备 8GB VRAM 的消费级 GPU 或随时可用的云实例上有效运行。

图片
  • 论文地址:https://arxiv.org/pdf/2307.01952.pdf
  • 代码地址:https://github.com/Stability-AI/generative-models

参考链接:https://stability.ai/blog/stable-diffusion-sdxl-1-announcement
理论文生图
相关数据
Amazon机构

亚马逊(英语:Amazon.com Inc.,NASDAQ:AMZN)是一家总部位于美国西雅图的跨国电子商务企业,业务起始于线上书店,不久之后商品走向多元化。目前是全球最大的互联网线上零售商之一,也是美国《财富》杂志2016年评选的全球最大500家公司的排行榜中的第44名。

https://www.amazon.com/
相关技术
参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

图像生成技术

图像生成(合成)是从现有数据集生成新图像的任务。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

文本到图像生成技术

文本到图像生成是从文本描述或标题生成图像的任务。

推荐文章
暂无评论
暂无评论~