MIT-IBM 沃森人工智能实验室主任研究员淦创博士领导的研究小组提出了一种名为 「Foley Music」的模型，可以从无声视频中生成富有表现力的音乐。该模型将视频作为输入，检测视频中的人体骨架，识别其与乐器之间的交互作用，预测相应的 MIDI 文件。本文已被ECCV 2020会议收录。