来自 MIT、康奈尔大学、谷歌大脑以及 DeepMind 的研究团队近日发表了一篇名为「快速学习或功能重用？理解 MAML 的有效性」的研究。以下是该研究的完整摘要：机器学习的一个重要研究方向集中在开发元学习算法以解决小样本学习问题。其中一种特别成功的算法是模型不可知元学习（MAML）。该算法由两个优化循环组成，通过外循环找到一个元初始化，内循环可以从中有效地学习新任务。尽管 MAML 受欢迎，但仍然存在一个基本的开放问题：MAML 的有效性是得益于元初始化已准备好用于快速学习（表示中的大型有效更改），还是因为功能重用而元初始化已经包含了高质量的功能？研究人员通过消融研究和对潜在表示的分析来研究这个问题，研究发现特征重用是主要因素。这引出了 ANIL（几乎没有内部循环）算法，这是 MAML 的简化。研究人员删除了除 MAML 训练网络的（特定于任务的）头部以外的所有内部循环。ANIL 在基准快照图像分类和 RL 方面达到了 MAML 的性能，并且在 MAML 方面提供了计算上的改进。研究团队进一步研究了网络头部和主体的精确作用，表明测试任务的性能完全取决于所学功能的质量，研究人员甚至可以删除网络的头部（NIL 算法）。最后，研究团队将对元学习算法的快速学习与功能重用问题进行更广泛的讨论。