近日，谷歌大脑发布一篇研究新作引社群关注，以下为论文概述：深度神经网络进行视觉训练时，预训练表示的迁移可以提高采样效率并简化超参数调整。我们将重新研究大型监督数据集上的预训练范例，并对目标任务的权重进行微调。我们扩大了预训练的规模，并创建了一个简单的配方，称为大转移（BiT）。通过组合一些精心选择的组件，并使用简单的试探法进行传输，我们在 20 多个数据集上实现了出色的性能。BiT 在广泛数据中表现出色 - 从 10 到 1M 标记的示例。BiT 在 ILSVRC-2012 上的 top-1 准确性达到 87.8％，在 CIFAR-10 上达到 99.3％，在视觉任务适应基准（包括 19 个任务）上达到 76.7％。在小型数据集上，在 ILSVRC-2012 上，BiT 达到 86.4％，每班 25 个示例；在 CIFAR-10 上，BiT 达到 97.6％。