2022/03/01 14:37

泽南、小舟报道

LoveLive!出了一篇AI论文：生成模型自动写曲谱

我们终于知道那些折磨人的乐谱是怎么来的了 —— 都是 AI 生成的。

知名偶像企划 LoveLive! 发 AI 论文了，是的没错。

最近，预印版论文平台 arXiv 上的一篇论文引起了人们的注意，其作者来自游戏开发商 KLab 和九州大学。他们提出了一种给偶像歌曲自动写谱的模型，更重要的是，作者表示这种方法其实已经应用过很长一段时间了。

通过深度学习技术，AI 算法在图像分类，语音识别等任务上有了优异的表现，但在理解复杂、非结构化数据方面，机器学习面临的挑战更大，比如理解音频，视频，文本内容，以及它们产生的机制。物理学家费曼曾说过：「凡是我不能亲自创造出来的，我就不是真正理解。」

而随着技术的发展，深度生成模型已在学界和业界获得了广泛应用。在如今的游戏开发过程中，生成模型正在帮助我们构建各种内容，包括图形、声音、角色动作、对话、场景和关卡设计。

KLab 等机构提交的论文介绍了自己的节奏动作游戏生成模型。KLab Inc 是一家智能手机游戏开发商。该公司在线运营的节奏动作游戏包括《Love Live！学院偶像季：群星闪耀》（简称 LLAS）已以 6 种语言在全球发行，获得了上千万用户。已经有一系列具有类似影响的类似游戏，这使得该工作与大量玩家密切相关。

在 LLAS 中，开发者面临的挑战是为不同歌曲生成乐谱，提示玩家在不同时机点击或拉拽按键，这是节奏音乐游戏中所定义的挑战。在一局游戏中，飘过来的按钮被称为音符，它们形成类似于乐谱的空间图案，与后台播放的歌曲节奏对应。一首歌曲存在不同的难度模式，从初级、中级、高级和专家到挑战，复杂度顺序递增。

相对其他音游，LLAS 虽然不怎么考验反应速度，但机制相对复杂得多在全部按准的前提下还有 buff、debuff、三种属性分别对应体力、暴击和分数，想要高分还需要在打歌时不停切换队伍。

由于 LoveLive！是一个有 12 年历史的企划，包含四个团体和数个小团体，个人还有角色歌，很多歌曲都会在游戏中出现，设计对应的乐谱变成了一件极具挑战的工作。

随便一搜就上千首歌曲。

游戏开发者表示，他们的做法是通过 AI 辅助的半自动化方式：先由 AI 生成乐谱，再由 KLab 的艺术家进行微调，另一种方式是 AI 生成低难度乐谱，游戏设计师在这个基础上设计高难度。

KLab 表示，他们使用的 GenéLive! 模型成功地降低了一半业务成本，该模型已部署在公司日常的业务运营中，并在可预见的未来时间里持续应用。

降低乐谱生成的成本对于在线音游开发者来说是一个重要挑战，因为它是日常运营的瓶颈。KLab 提出的方法实现了只需要音频，就可以直接生成乐谱。

在研究过程中，开发者们首先提出了 Dance Dance Convolution (DDC) ，生成了具有人类高水平的，较高难度游戏模式的乐谱，但低难度反而效果不好。随后研究者们通过改进数据集和多尺度 conv-stack 架构，成功捕捉了乐谱中四分音符之间的时间依赖性以及八分音符和提示节拍的位置，它们是音游中放置按键的较好时机。

DDC 由两个子模型组成：onset（生成音符的时机）和 sym（决定音符类型，如轻按或滑动）

目前正在使用的 AI 模型在所有难度的曲谱上都获得了很好的效果，研究人员还展望了该技术扩展到其他领域的可能性。

论文链接：https://arxiv.org/abs/2202.12823

KLab 应用深度生成模型来合成乐谱，并改进乐谱的制作流程，将业务成本降低了一半。该研究阐明了如何通过专门用于节奏动作的多尺度新模型 GenéLive!，借助节拍等来克服挑战，并使用 KLab 的生产数据集和开放数据集进行了评估。

方法

此前，KLab 乐谱的生成工作流是在不考虑自动化的情况下形成的，几乎没有达成明确的规则或数学优化目标。因此，该研究选择使用监督机器学习。到 2019 年底，KLab 已经发布了数百首歌曲的音频序列和相应的人工生成乐谱。

一方面，这个项目被要求快速交付并起到协助的作用；另一方面，项目的目标具有挑战性，旨在改进 SOTA 深度生成模型。通常，研究新型神经网络架构需要大量的反复试验，这个过程需要六个月或更长时间。

为了解决时间上的问题，该研究组织了一个模型开发团队和一个模型服务团队，通过与艺术家团队保持联系获得反馈，将其反映到模型开发和服务中，并在第一时间提供更新的模型，从而使他们保持一致。

GenéLive! 的基础模型由卷积神经网络 CNN 层和长短期记忆网络 LSTM 层组成。对于频域中的信号，作者利用 CNN 层来捕获频率特征，对于时域利用 LSTM 层来完成任务。

GenéLive! 的模型架构。

在这里，卷积堆栈（conv-stack）的主要任务是使用 CNN 层从 mel 频谱图中提取特征。conv-stack 包括一个具有批量标准化的标准 CNN 层、一个最大池化层和一个 dropout 层，激活函数是 ReLU。最后为了规范输出，这里使用了全连接层。

时域方面采用了 BiLSTM，提供前一个 conv-stack 的输出作为输入。为了实现不同的难度模式，作者将难度编码为一个标量（初级是 10，中级是 20，以此类推）并将这个值作为新特征附加到 convstack 的输出中。

Conv-stack 架构。

在训练数据方面，GenéLive! 使用了几百首早期的 LLAS 歌曲，《歌之王子殿下》的歌曲，以及音乐游戏引擎「Stepmania」中可公开访问的音乐和乐谱。

模型开发

该模型是由 KLab 和九州大学合作完成的。两个团队之间需要一个基于 Web 的协作平台来共享源代码、数据集、模型和实验等。具体来说，该研究用于模型开发的系统架构如下图所示。

模型服务

为了使乐谱生成程序可供艺术家按需使用，它应该方便艺术家自行使用而无需 AI 工程师的帮助。并且由于该程序需要高端 GPU，将其安装在艺术家的本地计算机上并不是一个合适的选择。该模型服务系统架构如下图所示。

实验结果

为了度量该方法中每个组件的性能，研究者在「Love Live! All Stars」数据集上进行了消融实验。

下表 3 的结果表明 GenéLive! 模型优于此前的 SOTA 模型 DDC。

为了评估节拍指导的作用，消融实验的结果如下图 9 所示。

使用未修改版 conv-stack 训练模型和当前 GenéLive! 模型的结果差异如下图所示。

GenéLive! 模型一次性训练全部难度模式，为了查看这种训练方式的优势。该研究将其与每种难度模式单独训练的结果进行了比较，结果如下图所示。

LoveLive! 企划的活动范围包括动漫、游戏和真人偶像团体。音乐游戏《Love Live! School Idol Festival》自 2013 年开始运营，截至 2019 年 9 月在日本拥有超过 2500 万用户。新一代的游戏《Love Live! School Idol Festival All Stars》目前在全球已有上千万用户。

GenéLive! 的研究，说不定也能让音游在 AI 领域里火起来。

理论AI生成乐谱LoveLive!

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

激活函数技术

在计算网络中，一个节点的激活函数定义了该节点在给定的输入或输入的集合下的输出。标准的计算机芯片电路可以看作是根据输入得到"开"(1)或"关"(0)输出的数字网络激活函数。这与神经网络中的线性感知机的行为类似。一种函数（例如 ReLU 或 S 型函数），用于对上一层的所有输入求加权和，然后生成一个输出值（通常为非线性值），并将其传递给下一层。

来源：维基百科 Google ML glossary

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

最大池化技术

最大池化（max-pooling）即取局部接受域中值最大的点。

来源：百度百科

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

深度生成模型技术

深度生成模型基本都是以某种方式寻找并表达（多变量）数据的概率分布。有基于无向图模型（马尔可夫模型）的联合概率分布模型，另外就是基于有向图模型（贝叶斯模型）的条件概率分布。前者的模型是构建隐含层(latent)和显示层（visible)的联合概率，然后去采样。基于有向图的则是寻找latent和visible之间的条件概率分布，也就是给定一个随机采样的隐含层，模型可以生成数据。生成模型的训练是一个非监督过程，输入只需要无标签的数据。除了可以生成数据，还可以用于半监督的学习。比如，先利用大量无标签数据训练好模型，然后利用模型去提取数据特征（即从数据层到隐含层的编码过程），之后用数据特征结合标签去训练最终的网络模型。另一种方法是利用生成模型网络中的参数去初始化监督训练中的网络模型，当然，两个模型需要结构一致。

来源：机器之心 UT

卷积神经网络技术

卷积神经网路（Convolutional Neural Network, CNN）是一种前馈神经网络，它的人工神经元可以响应一部分覆盖范围内的周围单元，对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层（对应经典的神经网路）组成，同时也包括关联权重和池化层（pooling layer）。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比，卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路，卷积神经网路需要考量的参数更少，使之成为一种颇具吸引力的深度学习结构。卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据，它可以被认为是以一定时间间隔采样的一维网格，又如图像数据，其可以被认为是二维像素网格。

来源：Goodfellow, I.; Bengio Y.; Courville A. (2016). Deep Learning. MIT Press.维基百科

语音识别技术

自动语音识别是一种将口头语音转换为实时可读文本的技术。自动语音识别也称为语音识别(Speech Recognition)或计算机语音识别(Computer Speech Recognition)。自动语音识别是一个多学科交叉的领域，它与声学、语音学、语言学、数字信号处理理论、信息论、计算机科学等众多学科紧密相连。由于语音信号的多样性和复杂性，目前的语音识别系统只能在一定的限制条件下获得满意的性能，或者说只能应用于某些特定的场合。自动语音识别在人工智能领域占据着极其重要的位置。

来源：What is Automatic Speech Recognition?

生成模型技术

在概率统计理论中, 生成模型是指能够随机生成观测数据的模型，尤其是在给定某些隐含参数的条件下。它给观测值和标注数据序列指定一个联合概率分布。在机器学习中，生成模型可以用来直接对数据建模（例如根据某个变量的概率密度函数进行数据采样），也可以用来建立变量间的条件概率分布。

来源：维基百科

长短期记忆网络技术

长短期记忆(Long Short-Term Memory) 是具有长期记忆能力的一种时间递归神经网络(Recurrent Neural Network)。其网络结构含有一个或多个具有可遗忘和记忆功能的单元组成。它在1997年被提出用于解决传统RNN(Recurrent Neural Network) 的随时间反向传播中权重消失的问题（vanishing gradient problem over backpropagation-through-time)，重要组成部分包括Forget Gate, Input Gate, 和 Output Gate, 分别负责决定当前输入是否被采纳，是否被长期记忆以及决定在记忆中的输入是否在当前被输出。Gated Recurrent Unit 是 LSTM 众多版本中典型的一个。因为它具有记忆性的功能，LSTM经常被用在具有时间序列特性的数据和场景中。

来源：Hochreiter, Sepp & Schmidhuber, Jürgen. (1997). Long Short-term Memory. Neural computation. 9. 1735-80. 10.1162/neco.1997.9.8.1735.

图像分类技术

图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

来源：百度百科