近日，来自 Inria 以及 Facebook AI Research 的研究团队发表了一篇「通过对比群集分配进行视觉特征的无监督学习」的新研究，以下是该研究的完整摘要分享：在有监督的预训练下，无监督的图像表示已显着缩小了差距，特别是在对比学习方法的最新成就方面。这些对比方法通常在线运行，并且依赖大量显式的成对特征比较，这在计算上具有挑战性。在本文中，研究团队提出了一种在线算法 SwAV，该算法利用对比方法的优势，而无需计算成对比较。具体来说，该方法同时对数据进行聚类，同时在为同一图像的不同增强（或「视图」）生成的聚类分配之间加强一致性，而不是像对比学习那样直接比较特征。简而言之，该团队使用「交换」预测机制，从另一视图的表示中预测视图的代码。该方法可以用大批量和小批量进行训练，并且可以扩展到无限量的数据。与先前的对比方法相比，该方法具有更高的存储效率，因为它不需要大量的存储库或特殊的动量网络。此外，该团队还提出了一种新的数据扩充策略，即多作物（multi-crop），它使用具有不同分辨率的视图混合来代替两个全分辨率视图，而不会增加内存或计算需求。研究人员使用 ResNet-50 在 ImageNet 上达到 75.3％的 top-1 准确性，并且在所有考虑的传输任务上都超过了监督预培训，从而验证了其发现。Colab 传送门：bit.ly/3lMV8gd