Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

超10秒高分辨率,北大Open Sora视频生成更强了,还支持华为芯片

北大团队联合兔展发起的 Sora 复现计划,现在有了新成果。

OpenAI 在今年年初扔出一项重大研究,Sora 将视频生成带入一个新的高度,很多人表示,现在的 OpenAI 一出手就是王炸。然而,众多周知的是,OpenAI 一向并不 Open,关于 Sora 的更多细节我们无从得知。谁能率先发布类 Sora 研究成了一个热门话题。

今年 3 月初,北大团队联合兔展启动了 Sora 复现计划 ——Open Sora Plan,该项目希望通过开源社区的力量复现 Sora。
图片
项目上线一个月,星标量已经达到 6.6k。
图片
  • 项目地址:https://github.com/PKU-YuanGroup/Open-Sora-Plan
  • 技术报告:https://github.com/PKU-YuanGroup/Open-Sora-Plan/blob/main/docs/Report-v1.0.0.md

现在这个项目终于有了新成果,Open-Sora-Plan v1.0.0 来了,新研究显著增强了视频生成的质量以及对文本的控制能力。研究者表示,他们正在训练更高分辨率(>1024)以及更长时间(>10s)的视频。目前该项目已支持国产 AI 芯片(华为昇腾 910b)进行推理,下一步将支持国产算力训练。

项目作者林彬表示:Open-Sora-Plan v1.0.0 可以生成1024×1024分辨率视频,也能生成10 秒、24 FPS 的高清视频。而且它还能够生成高分辨率图像。
图片
下面我们看一下 v1.0.0 的效果(为了展示,动图进行了一些压缩,会损失一些质量)。

文本到视频生成

提示:海上的日落。提示:黎明时分,宁静的海滩,海浪轻轻拍打着海岸,天空被涂上柔和的色调...... 
提示:沿海景观从日出到黄昏过渡的延时拍摄……

图片

文本到视频生成的更多效果展示:
文本到图像生成(512×512 )
图片
视频重建(720×1280)
图像重建(1536×1024):
图片
在实现细节方面,通过团队放出的技术报告,我们得知模型架构 CausalVideoVAE 概览图如下所示:
图片
CausalVideoVAE 架构继承自 Stable-Diffusion Image VAE。为了保证 Image VAE 的预训练权重能够无缝应用到 Video VAE 中,模型结构设计如下:

CausalConv3D:将 Conv2D 转换为 CausalConv3D,可以实现图像和视频数据的联合训练。CausalConv3D 对第一帧进行特殊处理,因为它无法访问后续帧。

初始化:Conv2D 扩展到 Conv3D 常用的方法有两种:平均初始化和中心初始化。但本文采用了特定的初始化方法 tail 初始化。这种初始化方法确保模型无需任何训练就能够直接重建图像,甚至视频。

训练细节:
图片
上图展示了 17×256×256 下两种不同初始化方法的损失曲线。黄色曲线代表使用 tail init 损失,而蓝色曲线对应中心初始化损失。如图所示,tail 初始化在损失曲线上表现出更好的性能。此外,该研究发现中心初始化会导致错误累积,导致在长时间内崩溃。

训练扩散模型。与之前的工作类似,该研究采用了多阶段级联训练方法,总共消耗了 2048 A800 GPU 小时。研究发现,图像联合训练显着加速了模型收敛并增强了视觉感知,这与 Latte 的研究结果一致。
图片
不过,目前发布的 CausalVideoVAE(v1.0.0)有两个主要缺点:运动模糊和网格效果。团队正在改进这些缺点,后续版本很快就会上线。

最后附上团队完整名单:

图片

产业Open Sora PlanSoraOpenAI
1
相关数据
华为机构

华为创立于1987年,是全球领先的ICT(信息与通信)基础设施和智能终端提供商。

https://www.huawei.com/cn/
权重技术

线性模型中特征的系数,或深度网络中的边。训练线性模型的目标是确定每个特征的理想权重。如果权重为 0,则相应的特征对模型来说没有任何贡献。

感知技术

知觉或感知是外界刺激作用于感官时,脑对外界的整体的看法和理解,为我们对外界的感官信息进行组织和解释。在认知科学中,也可看作一组程序,包括获取信息、理解信息、筛选信息、组织信息。与感觉不同,知觉反映的是由对象的各样属性及关系构成的整体。

图像重建技术

通过物体外部测量的数据,经数字处理获得三维物体的形状信息的技术。图像重建技术开始是在放射医疗设备中应用,显示人体各部分的图像,即计算机断层摄影技术,简称CT技术,后逐渐在许多领域获得应用。主要有投影重建、明暗恢复形状、立体视觉重建和激光测距重建。

收敛技术

在数学,计算机科学和逻辑学中,收敛指的是不同的变换序列在有限的时间内达到一个结论(变换终止),并且得出的结论是独立于达到它的路径(他们是融合的)。 通俗来说,收敛通常是指在训练期间达到的一种状态,即经过一定次数的迭代之后,训练损失和验证损失在每次迭代中的变化都非常小或根本没有变化。也就是说,如果采用当前数据进行额外的训练将无法改进模型,模型即达到收敛状态。在深度学习中,损失值有时会在最终下降之前的多次迭代中保持不变或几乎保持不变,暂时形成收敛的假象。

文本到图像生成技术

文本到图像生成是从文本描述或标题生成图像的任务。

视频生成技术

视频生成是指利用深度学习等技术生成视频的任务。

推荐文章
暂无评论
暂无评论~