Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

值得你花时间看的扩散模型教程,来自普渡大学

Diffusion 不仅可以更好地模仿,而且可以进行「创作」。

扩散模型(Diffusion Model)是图像生成模型的一种。有别于此前 AI 领域大名鼎鼎的 GAN、VAE 等算法,扩散模型另辟蹊径,其主要思想是一种先对图像增加噪声,再逐步去噪的过程,其中如何去噪还原图像是算法的核心部分。而它的最终算法能够从一张随机的噪声图像中生成图像。

图片

近年来,生成式 AI 的惊人增长为文本到图像生成视频生成领域等许多令人兴奋的应用提供了支持。这些生成工具背后的基本原理是扩散的概念,这是一种特殊的采样机制,克服了以前的方法中被认为难以解决的一些缺点。

最近,来自普渡大学的 Stanley H. Chan 发布了一份扩散模型的教程《Tutorial on Diffusion Models for Imaging and Vision》,对该方向技术进行了直观详尽的解释。

本教程的目标是讨论扩散模型的基本思想,目标受众包括对扩散模型研究,或应用这些模型正在解决其他问题的本科生和研究生。

图片

文章链接:https://arxiv.org/abs/2403.18103

该教程包括四个部分,涵盖了最近研究文献中支持扩散生成模型的一些基本概念:变分自编码器(VAE)、DDPM(Denoising Diffusion Probabilistic Models)、SMLD(Score Matching with Langevin Dynamics)和 SDE,从多个角度独立导出了相同的扩散思想,共长 50 页。

图片

作者介绍

这篇教程的作者是美国普渡大学电气与计算机工程学院和统计学系 Elmore 副教授 Stanley H. Chan。

图片

Stanley Chan 2007 年在香港大学获得学士学位,2009 年、2011 年分别在加州大学圣地亚哥分校获得数学硕士学位和电气工程博士学位。2012 年至 2014 年在哈佛大学约翰・A・保尔森工程与应用科学学院担任博士后研究员。2014 年加入普渡大学。

Stanley Chan 主要从事计算成像研究。他的研究任务是通过共同设计传感器和算法来构建智能相机,以实现在所有成像条件下的可视性。

Stanley Chan 还多次获得论文奖项,包括 2022 年 IEEE 信号处理学会(SPS)最佳论文奖、2016 年 IEEE 国际图像处理会议(ICIP)最佳论文奖等等。

图片

参考链接:

https://engineering.purdue.edu/ChanGroup/stanleychan.html

入门扩散模型
相关数据
变分自编码器技术

变分自编码器可用于对先验数据分布进行建模。从名字上就可以看出,它包括两部分:编码器和解码器。编码器将数据分布的高级特征映射到数据的低级表征,低级表征叫作本征向量(latent vector)。解码器吸收数据的低级表征,然后输出同样数据的高级表征。变分编码器是自动编码器的升级版本,其结构跟自动编码器是类似的,也由编码器和解码器构成。在自动编码器中,需要输入一张图片,然后将一张图片编码之后得到一个隐含向量,这比原始方法的随机取一个随机噪声更好,因为这包含着原图片的信息,然后隐含向量解码得到与原图片对应的照片。但是这样其实并不能任意生成图片,因为没有办法自己去构造隐藏向量,所以它需要通过一张图片输入编码才知道得到的隐含向量是什么,这时就可以通过变分自动编码器来解决这个问题。解决办法就是在编码过程给它增加一些限制,迫使其生成的隐含向量能够粗略的遵循一个标准正态分布,这就是其与一般的自动编码器最大的不同。这样生成一张新图片就比较容易,只需要给它一个标准正态分布的随机隐含向量,这样通过解码器就能够生成想要的图片,而不需要给它一张原始图片先编码。

图像生成技术

图像生成(合成)是从现有数据集生成新图像的任务。

图像处理技术

图像处理是指对图像进行分析、加工和处理,使其满足视觉、心理或其他要求的技术。 图像处理是信号处理在图像领域上的一个应用。 目前大多数的图像均是以数字形式存储,因而图像处理很多情况下指数字图像处理。

信号处理技术

信号处理涉及到信号的分析、合成和修改。信号被宽泛地定义为传递“关于某种现象的行为或属性的信息(如声音、图像和生物测量)”的函数。例如,信号处理技术用于提高信号传输的保真度、存储效率和主观质量,并在测量信号中强调或检测感兴趣的组件。我们熟悉的语音、图像都可以看做是一种信号形式。因此,对于语音、图像的增强、降噪、识别等等操作本质上都是信号处理。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

文本到图像生成技术

文本到图像生成是从文本描述或标题生成图像的任务。

视频生成技术

视频生成是指利用深度学习等技术生成视频的任务。

推荐文章
暂无评论
暂无评论~