UCL等研究人员发表新论文 : 在线元学习
智能系统的核心功能是能够不间断地建立以前的经验基础之上,加速和增强新任务的学习。元学习将此问题视为学习先前的模型参数,该模型参数适合于在新任务上快速适应,但通常假设该组任务可作为批处理一起使用。相比之下,在线(regret based)学习则考虑了一个接一个地揭示问题的顺序设置,但是传统上只训练一个模型而没有任何特定任务的适应。在论文《Online Meta-Learning》中,伦敦大学学院(UCL)等研究人员引入了一个在线元学习设置,它融合了上述两种范式的思想,以更好地捕捉持续终身学习的思想和实践。研究者建议遵循元领导(meta leader)算法,该算法将MAML算法扩展到此设置。从理论上讲,这项工作提供了一个O(logT)regret保证,与标准在线设置相比,只有一个额外的高阶平滑度假设。研究者对三种不同的大规模任务的实验评估表明,所提出的算法明显优于基于传统在线学习方法的替代方案。