Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

DeepMind:谁说卷积网络不如ViT?

本文通过评估按比例扩大的 NFNets,挑战了 ConvNets 在大规模上表现不如 ViTs 的观点。

深度学习的早期成功可归功于卷积神经网络(ConvNets)的发展。近十年来,ConvNets 主导了计算机视觉基准测试。然而近年来,它们越来越多地被 ViTs(Vision Transformers)所取代。

很多人认为,ConvNets 在小型或中等规模的数据集上表现良好,但在那种比较大的网络规模的数据集上却无法与 ViTs 相竞争。

与此同时,CV 社区已经从评估随机初始化网络在特定数据集 (如 ImageNet) 上的性能转变为评估从网络收集的大型通用数据集上预训练的网络的性能。这就提出了一个重要的问题:在类似的计算预算下,Vision Transformers 是否优于预先训练的 ConvNets 架构?

本文,来自 Google DeepMind 的研究者对这一问题进行了探究,他们通过在不同尺度的 JFT-4B 数据集(用于训练基础模型的大型标签图像数据集)上对多种 NFNet 模型进行预训练,从而获得了类似于 ViTs 在 ImageNet 上的性能。

图片

论文地址:https://arxiv.org/pdf/2310.16764.pdf

本文考虑的预训练计算预算在 0.4k 到 110k TPU-v4 核计算小时之间,并通过增加 NFNet 模型家族的深度和宽度来训练一系列网络。本文观察到这一现象,即 held out 损失与计算预算之间存在 log-log 扩展率(scaling law)。

例如,本文将在 JFT-4B 上预训练的 NFNet 从 0.4k 扩展到 110k TPU-v4 核小时(core hours)。经过微调后,最大的模型达到了 90.4% 的 ImageNet Top-1,在类似的计算预算下与预训练的 ViT 相竞争。

图片

可以说,本文通过评估按比例扩大的 NFNets,挑战了 ConvNets 在大规模数据集上表现不如 ViTs 的观点。此外,在足够的数据和计算条件下,ConvNets 仍然具有竞争力,模型设计和资源比架构更重要。

看到这项研究后,图灵奖得主 Yann LeCun 表示:「计算是你所需要的,在给定的计算量下,ViT 和 ConvNets 相媲美。尽管 ViTs 在计算机视觉方面的成功令人印象深刻,但在我看来,没有强有力的证据表明,在公平评估时,预训练的 ViT 优于预训练的 ConvNets。」

图片

不过有网友评论 LeCun,他认为 ViT 在多模态模型中的使用可能仍然使它在研究中具有优势。

来自 Google DeepMind 的研究者表示:ConvNets 永远不会消失。

图片

接下来我们看看论文具体内容。

预训练的 NFNets 遵循扩展定律

本文在 JFT-4B 上训练了一系列不同深度和宽度的 NFNet 模型。

如下图 2 所示,验证损失与训练模型的计算预算呈线性关系,这与使用 Transformer 进行语言建模(Brown et al., 2020; Hoffmann et al., 2022)时观察到的双对数(log-log)扩展定律相匹配。最佳模型大小和最佳 epoch 预算(实现最低验证损失)都会随着计算预算的增加而增加。

图片

下图 3 绘制了 3 个模型在一系列 epoch 预算中观察到的最佳学习率(最大限度地减少验证损失)。研究团队发现对于较低的 epoch 预算,NFNet 系列模型都显示出类似的最佳学习率 𝛼 ≈ 1.6。然而,随着 epoch 预算的增加,最优学习率会下降,并且对于大型模型,最优学习率下降得更快。研究团队表示可以假设最优学习率随着模型大小和 epoch 预算的增加而缓慢且单调地下降,从而在 2 次试验内有效地调整学习率

图片

值得注意的是,图 2 中一些预训练模型的表现不如预期。研究团队认为出现这种情况是因为如果训练运行被抢占 / 重新启动,那么数据加载 pipeline 不能保证每个训练样本在每个 epoch 都会采样一次,如果训练运行多次重新启动,则可能导致某些训练样本采样次数不足。

NFNet vs ViT

该研究在 ImageNet 上的实验表明:经过微调的 NFNet 与 Vision Transformer 性能相当。

具体来说,该研究在 ImageNet 上微调了预训练 NFNet,并绘制了预训练计算与 Top-1 error 关系图,如上述图 1 所示。

随着计算预算的增加,ImageNet Top-1 准确性不断提高。其中最昂贵的预训练模型是预训练 8 个 epoch 的 NFNet-F7+,ImageNet Top-1 准确率达到了 90.3%,需要大约 110k TPU-v4 核小时进行预训练和 1.6k TPU-v4 核小时进行微调。此外,如果在微调期间额外引入重复增强(repeated augmentation),那么可以实现 90.4% 的 Top-1 准确率。NFNet 从大规模预训练中受益匪浅。

尽管 NFNet 和 ViT 两种模型架构之间存在显著差异,但预训练 NFNet 与预训练 ViT 性能相当。例如,在 JFT-3B 上预训练 210k TPU-v3 核小时后,ViT-g/14 在 ImageNet 上实现了 90.2% 的 Top-1 准确率,在 JFT-3B 上预训练超过 500k TPU-v3 核小时后,ViT-G/14 实现了 90.45% 的 Top-1 准确率

本文评估了这些模型在 TPU-v4 上的预训练速度,并估计 ViT-g/14 需要 120k TPU-v4 核小时来预训练,而 ViTG/14 则需要 280k TPU-v4 核小时数,SoViT-400m/14 将需要 130k TPU-v4 核小时数。本文使用这些估计来比较图 1 中 ViT 和 NFNet 的预训练效率。研究注意到,NFNet 针对 TPU-v4 进行了优化,在其他设备上评估时表现较差。

最后,本文注意到,预训练的 checkpoints 在 JFT-4B 上实现了最低的验证损失,然而微调后并不总能在 ImageNet 上实现最高的 Top-1 准确率。特别是,本文发现,在固定的预训练计算预算下,微调机制始终倾向于稍大的模型和稍小的 epoch 预算。直观上来说,更大的模型具有更大的容量,因此能够更好地适应新任务。在某些情况下,稍大的学习率(在预训练期间)在微调后也能获得更好的性能。

工程ConvNetsDeepMind
相关数据
DeepMind机构

DeepMind是一家英国的人工智能公司。公司创建于2010年,最初名称是DeepMind科技(DeepMind Technologies Limited),在2014年被谷歌收购。在2010年由杰米斯·哈萨比斯,谢恩·列格和穆斯塔法·苏莱曼成立创业公司。继AlphaGo之后,Google DeepMind首席执行官杰米斯·哈萨比斯表示将研究用人工智能与人类玩其他游戏,例如即时战略游戏《星际争霸II》(StarCraft II)。深度AI如果能直接使用在其他各种不同领域,除了未来能玩不同的游戏外,例如自动驾驶、投资顾问、音乐评论、甚至司法判决等等目前需要人脑才能处理的工作,基本上也可以直接使用相同的神经网上去学而习得与人类相同的思考力。

https://deepmind.com/
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

基准技术

一种简单的模型或启发法,用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

学习率技术

在使用不同优化器(例如随机梯度下降,Adam)神经网络相关训练中,学习速率作为一个超参数控制了权重更新的幅度,以及训练的速度和精度。学习速率太大容易导致目标(代价)函数波动较大从而难以找到最优,而弱学习速率设置太小,则会导致收敛过慢耗时太长

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

卷积神经网络技术

卷积神经网路(Convolutional Neural Network, CNN)是一种前馈神经网络,它的人工神经元可以响应一部分覆盖范围内的周围单元,对于大型图像处理有出色表现。卷积神经网路由一个或多个卷积层和顶端的全连通层(对应经典的神经网路)组成,同时也包括关联权重和池化层(pooling layer)。这一结构使得卷积神经网路能够利用输入数据的二维结构。与其他深度学习结构相比,卷积神经网路在图像和语音识别方面能够给出更好的结果。这一模型也可以使用反向传播算法进行训练。相比较其他深度、前馈神经网路,卷积神经网路需要考量的参数更少,使之成为一种颇具吸引力的深度学习结构。 卷积网络是一种专门用于处理具有已知的、网格状拓扑的数据的神经网络。例如时间序列数据,它可以被认为是以一定时间间隔采样的一维网格,又如图像数据,其可以被认为是二维像素网格。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

推荐文章
暂无评论
暂无评论~