2021/03/06 21:39

陈萍编辑

13亿参数，无标注预训练实现SOTA：Facebook提出自监督CV新模型

Facebook AI 用 10 亿张来自Instagram的随机、未标注图像预训练了一个参数量达 13 亿的自监督模型 SEER，该模型取得了自监督视觉模型的新 SOTA，可能会为计算机视觉领域打开一个新篇章。

近日，Facebook 宣布了一项重要新工作：他们提出的自监督 AI 模型 SEER 能够在没有人类手动标注的情况下，从 10 亿张来自 Instagram 的随机图片中学习识别和分类照片中的主要对象。最终，该模型在 ImageNet 上的 top-1 准确率达到 84.2%，比现有的 SOTA 自监督模型高出一个百分点。

对此，Facebook AI 首席科学家、图灵奖得主 Yann Lecun 发推表示祝贺，并将显著结果进行了展示：

在大家的认知里，大多数计算机视觉模型都是从标记的数据集中学习。与此不同的是，Facebook 的模型则是通过暴露数据各部分之间的关系从数据中生成标签。

这一步被认为对有朝一日实现人类级的机器智能至关重要。

研究人员认为，AI 的未来在于做出一种自动化系统：其可以从任何给定的信息中进行推断，而不依赖于标注的数据集。给定一份文本、图像或其他类型的数据，AI 系统最好能够识别照片中的物体、读懂文本，或执行要求它完成的其他无数任务中的任何一项。

Facebook 声称，他们已经朝着这一目标迈出了一步，推出了一种名为 SEER 的计算机视觉模型。SEER 是 SElf-supERvised 的缩写，包含 13 亿个参数，可以从互联网上的任何一组随机图像中学习，而不需要标记数据。

论文地址：https://arxiv.org/pdf/2103.01988.pdf?fbclid=IwAR3sRgn_9uiOc_yZFROfEfyXylMZX5-C-yTDN_QRggHev9ai2snQkemh81w

SEER有何创新之处？

参数一直是机器学习系统的基本组成部分，是从历史训练数据中得到的模型的一部分。AI 的未来在于是否能够不依赖于带注释的数据集，从给定的信息中进行推理。

视觉自监督是一项极具挑战性的任务。对于文本来说，语义概念可以分解为离散的词，自监督学习在自然语言处理中已经取得突破，在数量越来越多的未标记文本上训练算法已使诸如问答、机器翻译、自然语言推理等应用程序取得了进展。

但是对于图像，计算机视觉尚未完全进入自监督的学习，在现有的技术中心，模型必须决定哪个像素属于哪个概念。因此，要抓住围绕一个概念的变化，就需要查看大量不同的图像。

正如 Facebook AI Research 的软件工程师 Priya Gopal 所解释的那样，SEER 是该领域的首创。与现有的在 ImageNet 数据集上训练的计算机视觉的自监督模型相比，SEER 是第一个可以随机训练互联网上图像上的完全自监督的计算机视觉模型。

研究人员通过 Instagram 公开的 10 亿张图片进行模型训练。

经过研究，Facebook 的研究人员发现，扩展 AI 系统以处理复杂图像数据至少需要两个核心部分：

第一为算法，其需要从大量的随机图像中学习，而不需要任何元数据或注释；
第二为卷积网络，ConvNet——模型需要足够大，可以从数据中捕捉和学习每一个视觉概念。

卷积网络最早是在 20 世纪 80 年代被提出的，它的灵感来自于生物过程，即模型各部分之间的连接模式类似于视觉皮层。

在开发 SEER 的过程中，Facebook 采用了一种称为 SwAV 的算法。SwAV 使用了一种聚类技术，可以快速地对来自相似视觉概念的图像进行分组，并利用它们的相似性，与以前最先进的自监督学习相比有了改进，同时所需的训练时间缩短为原来的1/6。

SEER 模型架构的简化示意图。图源：Facebook

PriyaGoyal 介绍说，为了训练 SEER，Facebook 的团队使用了具有 32GB RAM 的 512 块英伟达 V100 GPU，耗时 30 天完成。

训练 SEER，还需要 VISSL 通用库，它一种基于 PyTorch 的全能库，用于自监督学习，该库是开源的。VISSL 通过整合现有的几种算法，减少了对每个 GPU 的内存需要，提高了任意一个给定模型的训练速度，促进了大规模的自监督学习。

项目地址：https://github.com/facebookresearch/vissl

性能评价及未来工作

Facebook 的研究人员使用 ImageNet 数据集作评估 SEER 性能的基准，他们发现自监督模型在诸如物体检测、分割和图像分类等任务上优于最新的自监督 AI 系统。结果表明，SEER 在对 10 亿张 Instagram 公共图片进行预训练后，性能优于现有的 SOTA 自监督系统。

当使用 ImageNet 数据集中 10% 的数据进行训练时，SEER 仍然达到 77.9% 的准确率。当只使用 ImageNet 数据集中 1% 的数据训练时，SEER 的准确率为 60.5%。

这一结果表明，研究人员不需要像 ImageNet 这样的高度精选的数据集，对随机图像的自监督学习就可以产生非常高质量的模型。

当被问及 Instagram 用户是否知道自己的照片被用来训练 SEER，或有机会选择退出研究时，Goyal 表示说，Facebook 在其数据政策中告知 Instagram 账户持有人，他们上传的照片可能会被用来进行研究，同时包括 SEER。

同时这也意味着，Facebook 没有计划分享图像数据集或 SEER 模型本身。

Facebook 在博客中写道：自监督学习一直是 Facebook AI 关注的焦点，因为它使机器能够直接从大量可用的信息中学习，而不仅仅是从专门为 AI 研究创建的训练数据中学习。

自监督学习对计算机视觉的未来有着难以置信的影响，就像它在其他研究领域中的那样。

消除对人类注释和元数据的需求，可以使计算机视觉模型能够处理更大、更多样化的数据集，从随机的公共图像中学习，并可能减轻数据管理中的一些偏见。

自监督学习还可以帮助我们在图像或元数据有限的领域（如医学成像）进行专门研究。而且，无需预先进行标记，就可以更快地创建和部署模型，从而能够更快、更准确地响应快速变化的情况。

参考链接：

https://ai.facebook.com/blog/seer-the-start-of-a-more-powerful-flexible-and-accessible-era-for-computer-vision/

https://venturebeat.com/2021/03/04/facebooks-new-computer-vision-model-achieves-state-of-the-art-performance-by-learning-from-random-images/

理论SOTA论文自监督学习Facebook

相关数据

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

参数技术

在数学和统计学裡，参数（英语：parameter）是使用通用变量来建立函数和变量之间关系（当这种关系很难用方程来阐述时）的一个数量。

来源：维基百科

计算机视觉技术

计算机视觉（CV）是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

来源：机器之心

数据管理技术

数据管理是利用计算机硬件和软件技术对数据进行有效的收集、存储、处理和应用的过程，其目的在于充分有效地发挥数据的作用。

来源：百度百科

机器翻译技术

机器翻译（MT）是利用机器的力量「自动将一种自然语言（源语言）的文本翻译成另一种语言（目标语言）」。机器翻译方法通常可分成三大类：基于规则的机器翻译（RBMT）、统计机器翻译（SMT）和神经机器翻译（NMT）。

来源：机器之心

准确率技术

分类模型的正确预测所占的比例。在多类别分类中，准确率的定义为：正确的预测数/样本总数。在二元分类中，准确率的定义为：(真正例数+真负例数)/样本总数

来源：Google ML Glossary

自然语言处理技术

自然语言处理（英语：natural language processing，缩写作 NLP）是人工智能和语言学领域的分支学科。此领域探讨如何处理及运用自然语言；自然语言认知则是指让电脑“懂”人类的语言。自然语言生成系统把计算机数据转化为自然语言。自然语言理解系统把自然语言转化为计算机程序更易于处理的形式。

来源：维基百科

图像分类技术

图像分类，根据各自在图像信息中所反映的不同特征，把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析，把图像或图像中的每个像元或区域划归为若干个类别中的某一种，以代替人的视觉判读。

来源：百度百科

聚类技术

将物理或抽象对象的集合分成由类似的对象组成的多个类的过程被称为聚类。由聚类所生成的簇是一组数据对象的集合，这些对象与同一个簇中的对象彼此相似，与其他簇中的对象相异。“物以类聚，人以群分”，在自然科学和社会科学中，存在着大量的分类问题。聚类分析又称群分析，它是研究（样品或指标）分类问题的一种统计分析方法。聚类分析起源于分类学，但是聚类不等于分类。聚类与分类的不同在于，聚类所要求划分的类是未知的。聚类分析内容非常丰富，有系统聚类法、有序样品聚类法、动态聚类法、模糊聚类法、图论聚类法、聚类预报法等。

来源：百度百科

自然语言推理技术

自然语言推理是在给定“前提”的情况下确定“假设”是真（蕴涵），假（矛盾）还是未确定（中立）的任务。

来源：nlpprogress

自监督学习技术

一个例子中的内容特别多，而用一个例子做一个任务，就等于把其他的内容浪费了，因此我们需要从一个样本中找出多个任务。比如说遮挡图片的一个特定部分，用没遮挡部分来猜遮挡的部分是一个任务。那么通过遮挡不同的部分，就可以用一个样本完成不同任务。Yann Lecun描述的这个方法被业界称作「自监督学习」