随着越来越多的人工智能应用程序转移到智能手机上，深度学习模型越来越小，以允许应用程序更快地运行并节省电池电量。现在，麻省理工学院的研究人员有了一种新的更好的压缩模型的方法。他们在上个月的一条推文中就公开了它：「训练模型，修剪其最弱的连接，以快速的早期训练速率对其进行重新训练，然后重复进行，直到模型达到您想要的尺寸为止。」现在担任麻省理工学院助理教授的宋瀚在一系列有影响力的论文的基础上，Han 提出了一种修剪算法，他称其为 AMC 或用于模型压缩的 AutoML，目前仍然是行业标准。在 Han 的技术下，多余的神经元和连接被自动删除，并且对模型进行了重新训练以恢复其初始精度。在当前的 ICLR 研究中，研究人员意识到该模型可以简单地倒退到其早期训练速度，而无需摆弄任何参数。在任何修剪方案中，模型变得越小，精度就越低。但是，当研究人员将此新方法与 Han 的 AMC 的重绕方法进行比较时，无论模型缩小多少，它的效果都更好。目前尚不清楚修剪技术为何能如此出色地起作用。研究人员说，他们将把这个问题留给其他人回答。研究人员说，对于那些想尝试的人，该算法与其他修剪方法一样容易实现，而无需花费时间进行调整。这项研究的支持来自国防高级研究计划局，谷歌，麻省理工学院的 IBM 沃森 AI 实验室，麻省理工学院的情报研究所和美国海军研究办公室。