机器之能报道
编辑:Sia
几分钟实现工作室质量的电影或动漫视频。
还记得《星际迷航》中的全息甲板(Holodeck)吗?它并不遥远。
最近,一家由 Y-Combinator 孵化的生成 AI 公司 Moonvalley.ai 推出了一款强大的从文本到视频的生成模型:仅靠文本提示即可生成高清、16:9 电影质量的视频,还能选择不同视频风格(比如超现实主义、动漫、幻想)。
产品有网页和 APP 两个版本,这是网站图。
你可以将它视为 Stable Diffusion,、Dall-E 或 Midjourney 的视频版本:
在它的 Discord 频道中生成视频,就像在 Midjourney 创建图像一样, 超级简单,但视频质量提高了很多。
当我们看到市场上文本到视频的生成 AI 进展速度不够快时,就投入了所有时间和资源来解决这个问题。Moonvalley 在博客中写道,公司的使命就是「将文字变成世界」,也得到 Y-Combinator 、Khosla Ventures 等知名机构的支持。
公司号称,这是「有史以来最强大的人工智能视频生成引擎。」目前,Moonvalley 处于 Beta 阶段,完全免费,使用 Discord 作为 UI。
机器之能也体验了一把这个新工具。新用户需要先注册,登录到社区界面后才能体验这款新工具。
登录成功后,你可以选择标记为 「 new-moon-x 」的房间(有好几个),择一进入并开始你的创造之旅。
我们选择了 「 new-moon-2 」,输入「 / 」,选择 「 creat 」:
输入我们的 Prompt 后,系统会自动提示选择你需要的视频风格以及时长。
目前,系统提供五种视频风格(比如动漫、幻想、现实主义、3D动画等)。视频时长也有短(大约 1 秒)、中( 3 秒)及长时间( 5 秒)三种选择。
生成视频时长不同,等待时间也不一。
这是我们在 11 点 29 分敲入的 Prompt:a dolphin jumped over the moon from the sea in a starry night 。
虽然生成的是一秒钟的视频,但直到 12 点 13 分才有结果。好在结果还可以,画面很清晰、内容表达也相对比较准确。
用户还可以在 prompt 中添加镜头运行方式,让自己的视频表达更具个性化。
目前,但凡文本到视频生成的应用都有一个比较明显的缺点,就是速度慢,需一顿饭的时间才能获得结果。Moonvalley 也不例外。
由于一次输入很难符合预期,往往需要反复修改,如果每次都要等待十几分钟甚至更久,不知道还有多少用户会和刚开始一样兴趣盎然。
另外,和其他生成AI的产品相比,Moonvalley 没有更多类似 guidance scale、 negative prompt 的输入调节。
有网友反映,模型需要专门针对手和脚的微小细节进行训练。比如,大多数人出生时都有 10 个手指、10 个脚趾,很少有例外,但这些常识性错误还是会出现在模型生成的作品中。对付这一问题的办法就是使用否定提示( negtive prompt )。
我们也顺便尝试了一下中文输入,无论是「飞流直下三千尺,疑似银河落九天」、「一只可爱的安哥拉兔子在月亮上种桂花树」,结果显示,系统都理解不了。
以下是一些社区和网友们生成的视频。他们甚至将 Moonvalley 和其他文生图工具联合起来,制作小电影。
有兴趣的用户可以加入他们的 Discord 社区玩玩。
传送门:discord.gg/moonvalley
参考链接
https://www.ycombinator.com/launches/Jb7-moonvalley-ai-generate-cinematic-videos-with-ai