韩松等人提出NN设计新思路:训练一次,全平台应用
论文《Once for All: Train One Network and Specialize it for Efficient Deployment》介绍了麻省理工学院与 MIT-IBM Watson AI Lab 的研究者提出的一种「一劳永逸」方法。通过分离模型训练与架构搜索过程,该方法能极大降低神经网络模型设计部署成本。这篇论文给出的解决方案是:设计一种 Once for All (OFA)的网络,使其可以直接在部署在不同的架构配置上。推理可以通过选择该 OFA 网络的一部分来实现。它无需再训练,就能灵活地支持不同的深度、宽度、核大小和分辨率。