Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

Stability AI开源47秒音频生成模型,虫鸣鸟叫、摇滚、鼓点都能生成

音频生成领域又有好消息:刚刚,Stability AI 宣布推出开放模型 Stable Audio Open,该模型能够生成高质量的音频数据。

图片

项目地址:https://huggingface.co/stabilityai/stable-audio-open-1.0

与 Stability AI 的商业 Stable Audio 产品(可生成长达三分钟的更长、连贯的音乐曲目)不同,Stable Audio Open 可以通过简单的文本提示生成长达 47 秒的高质量音频数据。

经过专业训练后,这个模型已经非常适合创建鼓点、乐器 riffs、环境音、拟声录音和其他用于音乐制作和声音设计的音频样本。虽然它可以生成简短的音乐片段,但它并未针对完整的歌曲、旋律或人声进行优化。

Stable Audio Open 的主要优势在于,用户可以根据自己的自定义音频数据对模型进行微调。

比如,下方是鼓手根据自己的鼓声录音样本进行微调生成的新节拍:生成森林中鸟儿唱歌的音频: 再生成一段「动次打次」的摇滚乐: 训练细节与数据集

Stable Audio Open 是基于 Transformer 架构的潜在扩散模型,由三个组件组成:将波形压缩为可管理序列长度的自编码器、用于文本调节的基于 T5 的文本嵌入,以及在自编码器的潜在空间中运行的基于 transformer 的扩散 (DiT) 模型。

随着包括 Stability 在内的音乐生成器越来越受欢迎,版权以及一些生成器创建者可能滥用版权的方式正成为人们关注的焦点。

Stability AI 对本次模型的训练采取了负责任的态度,在文生图模型训练上的「版权问题」曾让这家公司深陷争议之中。因此,Stable Audio Open 使用来自 FreeSound 和 Free Music Archive 的音频数据进行训练,确保未经许可未使用任何受版权保护或专有的材料。

数据集共包含 486492 个音频记录,其中 472618 个来自 Freesound,13874 个来自 Free Music Archive 。所有音频文件均为 CC0、CC BY 或 CC Sampling+ 许可。这些数据用于训练自编码器和 DiT,此外研究者使用了公开的预训练 T5 模型(t5-base)进行文本调节。

在开始训练之前,研究者进行了深入分析,以确保训练数据中没有未经授权的版权音乐。

他们首先使用基于 AudioSet 类别的 PANNs 音乐分类器识别了 FreeSound 中的音乐样本。被识别的音乐样本中至少有 30 秒的音乐被预测为属于音乐相关类别,阈值为 0.15(PANNs 输出概率范围为 0 至 1)。

识别出的音乐样本被发送到 Audible Magic(一家值得信赖的内容检测公司)的识别服务,以确保不存在受版权保护的音乐。Audible Magic 标记了疑似受版权保护的音乐,这些会被删除,然后再对数据集进行训练。大部分被删除的内容都是现场录音,其中的背景音乐都是受版权保护的。经过上述处理后,研究者得到了 266324 个 CC0、194840 个 CC-BY 和 11454 个 CC 采样 + 音频记录。

最后要确保的是, FMA 子集中不存在受版权保护的内容。在这种情况下,程序略有不同,因为 FMA 子集中包含音乐信号。研究者根据大型版权音乐数据库进行元数据搜索,并标记任何可能匹配的内容,被标记的内容会由人工逐一审核。这一过程之后,最终获得了 8967 首 CC-BY 和 4907 首 CC0 音乐。

局限性

Stable Audio Open 1.0 作为一个音频生成模型,也有一些局限性,包括:

  • 无法生成逼真的声音;

  • 使用英语描述进行训练,在其他语言中的表现不会那么好;

  • 不能适用于所有音乐风格和文化,训练数据缺乏多样性,模型可能无法在现有的各种音乐流派和声音效果上表现得同样好;

  • 有时很难评估哪种类型的文本描述可以提供最佳的生成效果,可能需要进行工程设计才能获得令人满意的结果。

值得注意的是,Stable Audio Open 是一个开放模型,但是从技术上讲它不是开源的。Stable Audio Open 并未使用实际的开放源代码促进会 (OSI) 批准的许可证,而是根据 Stability AI 非商业研究社区协议许可证向用户提供。 

与此同时,Stable Audio Open 也不能用于商业用途;服务条款禁止这样做。而且,它在不同音乐风格和文化中的表现并不一样好,或者在使用英语以外的语言描述时也表现不佳。

Stability AI 将此归咎于训练数据。模型描述中写道:「数据源可能缺乏多样性,数据集中并非所有文化都具有同等代表性。模型生成的样本将反映训练数据的偏差。」

产业Stable Audio OpenStability AI
相关数据
数据库技术

数据库,简而言之可视为电子化的文件柜——存储电子文件的处所,用户可以对文件中的数据运行新增、截取、更新、删除等操作。 所谓“数据库”系以一定方式储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型,尤其是在给定某些隐含参数的条件下。 它给观测值和标注数据序列指定一个联合概率分布。 在机器学习中,生成模型可以用来直接对数据建模(例如根据某个变量的概率密度函数进行数据采样),也可以用来建立变量间的条件概率分布。

Audi机构

奥迪是一间德国跨国豪华汽车制造商,主要从事豪华和高性能汽车制造业。总部位于德国巴伐利亚州的英戈尔施塔特。是大众集团的成员。奥迪与德国品牌宝马和梅赛德斯-奔驰一起,是世界上最畅销的豪华汽车品牌之一。

http://www.audi.com/
音乐分类技术

音乐分类是指将音乐样本依据其特点划分为某个类别或类型。

推荐文章
暂无评论
暂无评论~