Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

人工智能如何帮你找到好歌:探秘Spotify神奇的每周歌单

AI 时代音乐 App 的个人推荐系统背后有着什么样的技术?本文将以 Spotify 为例为你作出解答。

每周一,超过一亿 Spotify 用户都会接收到等着他们的新版推荐歌单。其中包含了 30 首用户从未听过,但很可能会喜欢的音乐。这一功能被称作 Discover Weekly,它引发了人们的热议。

本文作者也是 Spotify 的重度用户,对于 Discover Weekly 更是青睐有加。这一功能让我感觉到神奇,它的音乐品位超过了我所认识的任何人。每个星期,它都会向我推荐最喜欢的新歌,找到那些我自己永远无法找到——但喜欢的东西。

它长这个样子:


我这个星期的 Discover Weekly 歌单。

事实证明,沉迷 Discover Weekly 的并不只是我一个人,现在 Spotify 已经开始转变思路,试图在基于算法的歌曲推荐方面投入更大精力了。


自从 Discover Weekly 在 2015 年出现以来,我一直在试图研究它背后的技术。它是如何每周为你选好 30 首符合口味的新歌的?首先,让我们先来了解一下流媒体音乐服务和推荐系统,以及为什么 Spotify 比它的竞争对手们做得更好。

在线音乐 App 发展简史


回到 21 世纪初,Songza 开启了在线音乐服务时代,那个时候,App 还是通过人工管理为用户提供播放列表的。「人工管理」意味着存在一个「音乐专家」团队或其他监管者在挑选歌曲编写播放列表,而用户拿到的歌单多少取决于个人喜好(后来,Beats Music 也使用了相同的策略)。手工编辑的歌单本身没有问题,但它们很难符合每位用户的音乐喜好。

和 Songza 一样,Pandora 也是在线音乐服务的元老之一,它使用了稍稍先进一些的方法来代替手动编出的歌单——标记歌曲风格。通过让听完音乐的用户为每首歌打上标签,Pandora 可以简单地通过筛选标签的方式来制作播放列表。

与此同时,在著名的 MIT Media Lab 中,Echo Nest 诞生了,它是一个更为先进的个性化音乐推荐系统。Echo Nest 使用算法分析歌曲的声音和文本内容,这意味着它可以完成音乐识别、个性化推荐、创建歌单和分析等功能。

最后,Last.fm 又采用了另一种方法并一直沿用到了今天,这种被称为「协同过滤」的方法与其他方法略有不同。

以上是大多数其他流媒体音乐服务采用的推荐形式,Spotify 神奇的推荐引擎似乎比其他方法更加准确,后者是如何做到的呢?

Spotify 的三种推荐模型

Spotify 其实并没有发展出依靠单一算法的推荐模型——它参考了其他服务采用的方法,并整合出了自己的最佳策略,构建了名为 Discovery 的引擎。

为了创建 Discovery Weekly 歌单,Spotify 主要使用了三种推荐系统:

  • 协同过滤模型(与 Last.fm 使用的类似),通过分析你的行为和其他用户的行为来工作。
  • 自然语言处理(NLP)模型,通过分析文本来工作。
  • 语音模型,通过分析原始音轨工作。


让我们来深入了解一下这些推荐模式的运作方式吧。

推荐模型 #1:协同过滤


首先看看背景:当很多人都听到「协同过滤」这个词之后就会想起著名在线视频网站 Netflix,因为这是第一家使用协同过滤驱动推荐引擎的公司之一,Netflix 使用用户对于电影的打分类获知人们对电影的喜好程度并向「类似」用户进行推荐。

在 Netflix 成功之后,这种方法很快传播开来,现在评星打分系统通常是所有推荐模型的基础。

但与 Netflix 不同,Spotify 不会让用户为歌曲评星。取而代之的是,Spotify 的数据来自于隐式反馈——流媒体服务会记录我们所听的歌曲,同时留意其他一些数据,包括用户是否将歌曲保存在自己的歌单中,以及是否在听完歌后访问了艺术家的主页等等。

但什么是协同过滤?它是如何工作的?简而言之,就像 Daft Punk 所演示的:


这里面发生了什么?两个人都有一些自己喜欢的歌,左边那位喜欢 P、Q、R 和 S,右边那位喜欢 Q、R、S 和 T。

协同过滤使用以上数据我们可以这样认为:

「看来你们都喜欢 Q、R 和 S,所以你们很可能是相同类型的用户。所以你们应该听听对方喜欢——而自己没听过的那几首歌。」

所以我们应该给 Thomas(左)推荐歌曲 P,给 Guy-Manuel(右)推荐歌曲 T,很简单是不是。

但是把这个方法套用在 Spotify 上,实际上需要分析的是数百万用户的喜好,推荐的也是数百万用户的歌单,所以我们需要用上 Python 库。


在这里,你看到的矩阵是庞大的。每一行代表 Spotify 的 1.4 亿用户的一个(如果你是 Spotify 的用户,你在里面有自己的位置),每一列代表 Spotify 3000 万歌曲库里的一首。

在矩阵交点处,当某用户听过一首歌后标记为 1,否则为 0。如果我听了 Michael Jackson 的《Thriller》,那么在我这行里代表 Thriller 的位置会标记为 1。(注意:Spotify 已经在尝试让其中的数字更加复杂,不再仅限 1 和 0)

随后我们得到了一个非常稀疏的矩阵——所有人听过的歌都没有未听过的歌多,所以这个矩阵的大部分位置都会被「0」填充。但是,少量的「1」包含着决定性的信息。

随后,Python 库会运行下面这个公式:


做一些复杂的数学运算……

当这项工作完成后,我们会得到两种类型的向量,分别由 X 和 Y 来代表。X 是用户向量,代表一个用户的歌曲喜好,Y 是歌曲向量,代表一首歌的热度。


用户/歌曲矩阵产生两种类型的向量:用户向量和歌曲向量。

现在我们拥有了 1.4 亿个用户向量和 3000 万歌曲向量了。它们本身只是一些数字,但我们可以使用它们来进行很多比较。为了使用这些数据找到与我相近的用户,协同过滤使用点积比较了我的向量与所有其他用户的向量。同样的事情也发生在歌曲向量上,你可以用这种方法来找同类型的歌曲。

协同过滤是一个不错的方法,不过 Spotify 还要做得更好。

推荐模型 #2:自然语言处理(NLP)

Spotify 采用的第二种推荐模型是自然语言处理(NLP)模型。顾名思义,这种模型的数据源来自元数据、新闻、博客、评论和网络上能找到的其他各种文本。


自然语言处理是让计算机理解人类语言含义的技术,在业界通常通过情绪分析 API 来实现,NLP 是人工智能下的一个庞大领域。

NLP 背后的技术本文无法详细解释,但在此可以介绍一下高级层面上发生的事情:Spotify 会不断浏览网页,不断寻找有关音乐的博客和其他文本,然后试图分析人们对于特定的艺术家和歌曲评价如何——对于这些歌曲,他们都用了哪些形容词?在讨论歌曲本身的同时,其他哪些艺术家和歌曲被同时提到了?

在这之中 Spotify 最长提到的就是「文化向量(cultural vector)」或「顶级叙述词(top term)」了。每个艺人和每首歌曲都有数千个顶级叙述词。每个词都有相应的权重,权重则揭示了叙述词的重要性。(大概是人们用这个词形容这种音乐的概率)


「文化向量」或「顶级叙述词」。表格来自 Brian Whitman

随后,与协同过滤类似,NLP 模型会将这些叙述词的权重生成向量,代表歌曲的属性,同时比较出类似的歌曲。就是这样。

推荐模型 #3:原始音频模型


有了以上两种分析方式,你可能会问这个问题:

我们为什么还需要分析音频本身呢?

首先,加入更多的模型可以再次提升推荐系统的准确性。不过事实上,这是引入第三种模型的次要目的:原始音频模型主要用于处理新歌推荐任务。

举个例子,你的音乐人朋友在 Spotify 上发布了新歌——他/她可能只有 50 个听众——这意味着几乎不会有人会对新歌进行协同过滤,由于作者不太知名,网络上也没有人讨论它,所以 NLP 模型也不会抓取到信息。幸运的是,原始音频模型不会关注新歌的出处,有了它的帮助,你朋友的新歌就会和流行歌曲一样出现在不少人的 Discovery Weekly 上了!

所以,现在的问题是「how」——我们如何通过音频来分析音乐的风格?这似乎是抽象的。

使用卷积神经网络!

卷积神经网络是面部识别系统经常会用到的技术。在 Spotify 上,它被用于处理音频而不是像素。下图是一个神经网络架构的示例:


这个神经网络由四个卷积层,由图中左侧四个厚一些的矩形表示,三个致密层,由图中右侧三个矩形表示。输入信息是以时间-频率的形式表示的音频帧,他们随后被级联形成了频谱图。

音频帧通过这些卷积层,随后在最后一个卷积层会遇到「全局时域池化」层,它会对整个时间轴进行池化,可以有效地计算整首歌中学习到的特征并进行统计。

所有这些信息最后都被传递到输出层中,在这里系统会给出自己对于歌曲风格的理解:它是快节奏的吗?它是不插电版本的吗?它适合用作舞曲吗?所有这些特征都可以用神经网络在音频文件上准确地分析出来。

神经网络可以分析出节拍、重要部分、风格、速度和吵闹程度。下图是 Daft Punk 歌曲《Around the World》30 秒钟片段的分析示例。


最后,这些对于歌曲的理解让 Spotify 分析出不同歌曲之间的相似之处,把和用户收听列表中存在歌曲的类似新歌推送给你。综合以上三种方法,Discover Weekly 歌单形成了!


当然,这些推荐模型也与 Spotify 的整个生态系统链接,其中包含大量数据,使用大量 Hadoop 聚集推荐结果,并让这些模型能够稳定运行在大量数据组成的矩阵、无数网络文字以及音乐文件之上。现在,每个人都可以拥有自己的专属新歌单了。

产业产业推荐系统NLP卷积神经网络
1
好文,感谢