近日，一篇由Geoffrey Hinton 等谷歌研究研究人士合著研究论文已经发表，便迅速引社群讨论。以下是论文概述：本文介绍了 SimCLR：用于视觉表示的对比学习的简单框架。我们简化了最近提出的对比自我监督学习算法，而无需专门的架构或存储库。为了了解什么使对比预测任务能够学习有用的表示形式，我们系统地研究了框架的主要组成部分。我们表明（1）数据扩充的组合在定义有效的预测任务中起着至关重要的作用；（2）在表示和对比损失之间引入可学习的非线性变换，大大提高了学习表示的质量，（3）对比学习相较于有监督的学习，批次处理的规模更大，训练步骤更多。通过结合这些发现，我们能够大大胜过 ImageNet 上用于自我监督和半监督学习的先前方法。SimCLR 学习到的基于自我监督表示形式训练的线性分类器达到了 76.5％的 top-1 准确性，相对于以前的最新技术，相对改进了 7％，与监督的 ResNet-50 的性能相匹配。当仅对 1％的标签进行微调时，我们可以达到 85.8％的 top-5 精度，其标签数量减少了 100 倍，超过了 AlexNet。