旷视提出One-Shot模型搜索框架的新变体
一步法(One-Shot)是一个强大的神经网络模型搜索(Neural Architecture Search/NAS)框架,但是它的训练相对复杂,并且很难在大型数据集(比如 ImageNet)上取得较有竞争力的结果。在论文《Single Path One-Shot Neural Architecture Search with Uniform Sampling》中,旷视研究院提出一个单路径 One-Shot 模型,以解决训练过程中面对的主要挑战。该模型的核心思想是构建一个简化的超网络——单路径超网络(Single Path Supernet),这个网络按照均匀的路径采样方法进行训练。所有子结构(及其权重)获得充分而平等的训练。基于这个已训练的超网络,可以通过进化算法快速地搜索最优子结构,其中无需对任何子结构进行微调。