研究人员提出新型学习框架能「听音起舞」
听音乐跳舞是人类的本能举动。但是学习根据音乐对相应的舞蹈的生成过程进行建模是一个很具挑战性的问题。由于需要同时考虑多个方面,例如音乐的风格和舞蹈的节拍,因此需要付出巨大的努力来确定音乐和舞蹈之间的相关性。本周,加州大学美熹德分校和英伟达的研究人员发表了一篇新论文,文中提出了一种综合分析学习框架,可以根据音乐生成相应的舞蹈。在分析阶段,他们将舞蹈分解为一系列基本的舞蹈单元,模型通过这些单元可以学习如何移动。在合成阶段,模型根据输入音乐判断多个基本的舞蹈动作来学习如何构成舞蹈。实验的定性和定量结果表明,该方法可以从音乐中合成逼真的、多样的、风格一致的和节拍匹配的舞蹈。