论文地址:https://arxiv.org/pdf/2007.10984.pdf
项目地址:http://foley-music.csail.mit.edu/
为了解决这个问题,由MIT-IBM 沃森人工智能实验室主任研究员淦创博士领导的研究小组提出了一种名为 “Foley Music” 的模型,可以从无声视频中生成富有表现力的音乐。该模型将视频作为输入,检测视频中的人体骨架,识别其与乐器之间的交互作用,预测相应的 MIDI 文件。论文已入选计算机视觉顶会 ECCV 2020。
![](https://image.jiqizhixin.com/uploads/editor/8020c781-8f04-4b3f-a02f-c5cea9ac849f/640.png)
![](https://image.jiqizhixin.com/uploads/editor/b241329c-d9ee-4651-bc2b-88b51f5a0118/640.png)
![](https://image.jiqizhixin.com/uploads/editor/56d6d879-decb-47f2-9adf-f727ed76810d/640.png)
![](https://image.jiqizhixin.com/uploads/editor/7297989d-8e09-4ae4-8432-992cef3beb13/640.png)
![](https://image.jiqizhixin.com/uploads/editor/ba998e7a-0d9d-4e7d-9825-166d090f17ac/640.png)
![](https://image.jiqizhixin.com/uploads/editor/ca38120d-260a-4d30-9ca8-302a65cc3019/640.png)
![](https://image.jiqizhixin.com/uploads/editor/bfc9db9d-e81d-4e40-8f91-c5a9ac73620a/640.png)
Auto Byte
专注未来出行及智能汽车科技
微信扫一扫获取更多资讯
Science AI
关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展
微信扫一扫获取更多资讯
从无声视频中生成音乐?这听起来很难。由MIT-IBM 沃森人工智能实验室主任研究员淦创博士领导的研究小组在 ECCV 2020 的一篇论文中,提出了一种名为 “Foley Music” 的模型,仅根据音乐家的身体动作就能自动生成一段极具表现力的音乐。
论文地址:https://arxiv.org/pdf/2007.10984.pdf
项目地址:http://foley-music.csail.mit.edu/
为了解决这个问题,由MIT-IBM 沃森人工智能实验室主任研究员淦创博士领导的研究小组提出了一种名为 “Foley Music” 的模型,可以从无声视频中生成富有表现力的音乐。该模型将视频作为输入,检测视频中的人体骨架,识别其与乐器之间的交互作用,预测相应的 MIDI 文件。论文已入选计算机视觉顶会 ECCV 2020。