Auto Byte

专注未来出行及智能汽车科技

微信扫一扫获取更多资讯

Science AI

关注人工智能与其他前沿技术、基础学科的交叉研究与融合发展

微信扫一扫获取更多资讯

还在为图像训练数据少发愁吗?那是因为你还不会这几招

如果要把深度学习开发过程中几个环节按重要程度排个序的话,相信准备训练数据肯定能排在前几位。要知道一个模型网络被编写出来后,也只是一坨代码而已,和智能基本不沾边,它只有通过学习大量的数据,才能学会如何作推理。因此训练数据其实和一样东西非常像!——武侠小说中的神功秘笈,学之前菜鸟一只,学之后一统江湖!

但很可惜的是,训练数据和秘笈还有一个特点很相似,那就是可遇而不可求!也就是说很难获取,除了那些公共数据集之外,如果用户想基于自己的业务场景准备数据的话,不仅数据的生产和标注过程会比较复杂,而且一般需要的数量规模也会非常庞大,因为只有充足的数据,才能确保模型训练的效果,这导致数据集的制作成本往往非常高。这个情况在计算机视觉领域尤甚,因为图像要一张一张拍摄与标注,要是搞个几十万图片,想想都让人“不寒而栗”!

为了应对上述问题,在计算机视觉领域中,图像数据增广是一种常用的解决方法,常用于数据量不足或者模型参数较多的场景。如果用户手中数据有限的话,则可以使用数据增广的方法扩充数据集。一些常见的图像分类任务中,例如ImageNet一千种物体分类,在预处理阶段会使用一些标准的数据增广方法,包括随机裁剪和翻转。除了这些标准的数据增广方法之外,飞桨的图像分类套件PaddleClas还会额外支持8种数据增广方法,下面将为大家逐一讲解。

8大数据增广方法

首先咱们先来看看以ImageNet图像分类任务为代表的标准数据增广方法,该方法的操作过程可以分为以下几个步骤:

  1. 图像解码,也就是将图像转为Numpy格式的数据,简写为 ImageDecode。
  2. 图像随机裁剪,随机将图像的长宽均裁剪为 224 大小,简写为 RandCrop。
  3. 水平方向随机翻转,简写为 RandFlip。
  4. 图像数据的归一化,简写为 Normalize。
  5. 图像数据的重排。图像的数据格式为[H, W, C](即高度、宽度和通道数),而神经网络使用的训练数据的格式为[C, H, W],因此需要对图像数据重新排列,例如[224, 224, 3] 变为 [3, 224, 224],简写为 Transpose。
  6. 多幅图像数据组成 batch 数据,如 BatchSize 个 [3, 224, 224] 的图像数据拼组成 [batch-size, 3, 224, 224],简写为 Batch。

相比于上述标准的图像增广方法,研究者也提出了很多改进的图像增广策略,这些策略均是在标准增广方法的不同阶段插入一定的操作,基于这些策略操作所处的不同阶段,大概分为三类:

  1. 图像变换类:对 RandCrop 后的 224 的图像进行一些变换,包括AutoAugment和RandAugment。
  2. 图像裁剪类:对Transpose 后的 224 的图像进行一些裁剪,包括CutOut、RandErasing、HideAndSeek和GridMask。
  3. 图像混叠:对 Batch 后的数据进行混合或叠加,包括Mixup和Cutmix。

PaddleClas中集成了上述所有的数据增广策略,每种数据增广策略的参考论文与参考开源代码均在下面的介绍中列出。下文将介绍这些策略的原理与使用方法,并以下图为例,对变换后的效果进行可视化。

图像变换类

通过组合一些图像增广的子策略对图像进行修改和跳转,这些子策略包括亮度变换、对比度增强、锐化等。基于策略组合的规则不同,可以划分为AutoAugment和RandAugment两种方式。

01

AutoAugment

论文地址:

https://arxiv.org/abs/1805.09501v1

不同于常规的人工设计图像增广方式,AutoAugment是在一系列图像增广子策略的搜索空间中通过搜索算法找到并组合成适合特定数据集的图像增广方案。针对ImageNet数据集,最终搜索出来的数据增广方案包含 25 个子策略组合,每个子策略中都包含两种变换,针对每幅图像都随机的挑选一个子策略组合,然后以一定的概率来决定是否执行子策略中的每种变换。

PaddleClas中AutoAugment的使用方法如下所示。

from ppcls.data.imaug import DecodeImage from ppcls.data.imaug import ResizeImage from ppcls.data.imaug import ImageNetPolicy from ppcls.data.imaug import transform size = 224 # 图像解码 decode_op = DecodeImage() # 图像随机裁剪 resize_op = ResizeImage(size=(size, size)) # 使用AutoAugment图像增广方法 autoaugment_op = ImageNetPolicy() ops = [decode_op, resize_op, autoaugment_op] # 图像路径 imgs_dir = “/imgdir/xxx.jpg”   fnames = os.listdir(imgs_dir) for f in fnames:     data = open(os.path.join(imgs_dir, f)).read()     img = transform(data, ops)

变换结果如下图所示。

02

RandAugment

论文地址:

https://arxiv.org/pdf/1909.13719.pdf

AutoAugment 的搜索方法比较暴力,直接在数据集上搜索针对该数据集的最优策略,计算量会很大。在 RandAugment对应的论文中作者发现,针对越大的模型,越大的数据集,使用 AutoAugment 方式搜索到的增广方式产生的收益也就越小;而且这种搜索出的最优策略是针对指定数据集的,迁移能力较差,并不太适合迁移到其他数据集上。

在 RandAugment 中,作者提出了一种随机增广的方式,不再像 AutoAugment 中那样使用特定的概率确定是否使用某种子策略,而是所有的子策略都会以同样的概率被选择到,论文中的实验也表明这种数据增广方式即使在大模型的训练中也具有很好的效果。

PaddleClas中RandAugment的使用方法如下所示。

from ppcls.data.imaug import DecodeImage from ppcls.data.imaug import ResizeImage from ppcls.data.imaug import RandAugment from ppcls.data.imaug import transform size = 224 # 图像解码 decode_op = DecodeImage() # 图像随机裁剪 resize_op = ResizeImage(size=(size, size)) # 使用RandAugment图像增广方法 randaugment_op = RandAugment() ops = [decode_op, resize_op, randaugment_op] # 图像路径 imgs_dir = “/imgdir/xxx.jpg”   fnames = os.listdir(imgs_dir) for f in fnames:     data = open(os.path.join(imgs_dir, f)).read()     img = transform(data, ops)

变换结果如下图所示。

图像裁剪类

图像裁剪类主要是对Transpose 后的 224 的图像进行一些裁剪,即裁剪掉部分图像,或者也可以理解为对部分图像做遮盖,共有CutOut、RandErasing、HideAndSeek和GridMask四种方法。

03 

Cutout

论文地址:

https://arxiv.org/abs/1708.04552

Cutout 可以理解为 Dropout 的一种扩展操作,不同的是 Dropout 是对图像经过网络后生成的特征进行遮挡,而 Cutout 是直接对输入的图像进行遮挡,相对于Dropout对噪声的鲁棒性更好。作者在论文中也进行了说明,这样做法有以下两点优势:

  • 通过 Cutout 可以模拟真实场景中主体被部分遮挡时的分类场景。
  • 可以促进模型充分利用图像中更多的内容来进行分类,防止网络只关注显著性的图像区域,从而发生过拟合

PaddleClas中Cutout的使用方法如下所示。

from ppcls.data.imaug import DecodeImage from ppcls.data.imaug import ResizeImage from ppcls.data.imaug import Cutout from ppcls.data.imaug import transform size = 224 # 图像解码 decode_op = DecodeImage() # 图像随机裁剪 resize_op = ResizeImage(size=(size, size)) # 使用Cutout图像增广方法 cutout_op = Cutout(n_holes=1, length=112) ops = [decode_op, resize_op, cutout_op] # 图像路径 imgs_dir = “/imgdir/xxx.jpg”   fnames = os.listdir(imgs_dir) for f in fnames:     data = open(os.path.join(imgs_dir, f)).read()     img = transform(data, ops)

裁剪结果如下图所示:

04

RandomErasing

论文地址:

https://arxiv.org/pdf/1708.04896.pdf

RandomErasing 与 Cutout 方法类似,同样是为了解决训练出的模型在有遮挡数据上泛化能力较差的问题,作者在论文中也指出,随机裁剪的方式与随机水平翻转具有一定的互补性。作者也在行人再识别(REID)上验证了该方法的有效性。与Cutout不同的是,在RandomErasing中,图片以一定的概率接受该种预处理方法,生成掩码的尺寸大小与长宽比也是根据预设的超参数随机生成。

PaddleClas中RandomErasing的使用方法如下所示。

from ppcls.data.imaug import DecodeImage from ppcls.data.imaug import ResizeImage from ppcls.data.imaug import ToCHWImage from ppcls.data.imaug import RandomErasing from ppcls.data.imaug import transform size = 224 # 图像解码 decode_op = DecodeImage() # 图像随机裁剪 resize_op = ResizeImage(size=(size, size)) # 使用RandomErasing图像增广方法 randomerasing_op = RandomErasing() ops = [decode_op, resize_op, tochw_op, randomerasing_op] # 图像路径 imgs_dir = “/imgdir/xxx.jpg”   fnames = os.listdir(imgs_dir) for f in fnames:     data = open(os.path.join(imgs_dir, f)).read()     img = transform(data, ops)     img = img.transpose((1, 2, 0))

裁剪结果如下图所示。

05

HideAndSeek

论文地址:

https://arxiv.org/pdf/1811.02545.pdf

HideAndSeek方法将图像分为若干大小相同的区域块(patch),对于每块区域,都以一定的概率生成掩码,如下图所示,可能是完全遮挡、完全不遮挡或者遮挡部分。

PaddleClas中HideAndSeek的使用方法如下所示:

from ppcls.data.imaug import DecodeImage from ppcls.data.imaug import ResizeImage from ppcls.data.imaug import ToCHWImage from ppcls.data.imaug import HideAndSeek from ppcls.data.imaug import transform size = 224 # 图像解码 decode_op = DecodeImage() # 图像随机裁剪 resize_op = ResizeImage(size=(size, size)) # 使用HideAndSeek图像增广方法 hide_and_seek_op = HideAndSeek() ops = [decode_op, resize_op, tochw_op, hide_and_seek_op] # 图像路径 imgs_dir = “/imgdir/xxx.jpg”   fnames = os.listdir(imgs_dir) for f in fnames:     data = open(os.path.join(imgs_dir, f)).read()     img = transform(data, ops)     img = img.transpose((1, 2, 0))

裁剪结果如下图所示。

06

GridMask

论文地址:

https://arxiv.org/abs/2001.04086

作者在论文中指出,之前的图像裁剪方法存在两个问题,如下图所示:

  • 过度删除区域可能造成目标主体大部分甚至全部被删除,或者导致上下文信息的丢失,导致增广后的数据成为噪声数据;
  • 保留过多的区域,对目标主体及上下文基本产生不了什么影响,失去增广的意义。

因此如何避免过度删除或过度保留成为需要解决的核心问题。GridMask是通过生成一个与原图分辨率相同的掩码,并将掩码进行随机翻转,与原图相乘,从而得到增广后的图像,通过超参数控制生成的掩码网格的大小。

在训练过程中,有两种以下使用方法:

  • 设置一个概率p,从训练开始就对图片以概率p使用GridMask进行增广。
  • 一开始设置增广概率为0,随着迭代轮数增加,对训练图片进行GridMask增广的概率逐渐增大,最后变为p。

论文中表示,经过验证后,上述第二种方法的训练效果更好一些。

PaddleClas中GridMask的使用方法如下所示。

from data.imaug import DecodeImage from data.imaug import ResizeImage from data.imaug import ToCHWImage from data.imaug import GridMask from data.imaug import transform size = 224 # 图像解码 decode_op = DecodeImage() # 图像随机裁剪 resize_op = ResizeImage(size=(size, size)) # 图像数据的重排 tochw_op = ToCHWImage() # 使用GridMask图像增广方法 gridmask_op = GridMask(d1=96, d2=224, rotate=1, ratio=0.6, mode=1, prob=0.8) ops = [decode_op, resize_op, tochw_op, gridmask_op] # 图像路径 imgs_dir = “/imgdir/xxx.jpg”  fnames = os.listdir(imgs_dir) for f in fnames:     data = open(os.path.join(imgs_dir, f)).read()     img = transform(data, ops)     img = img.transpose((1, 2, 0))

结果如下图所示:

图像混叠

前文所述的图像变换与图像裁剪都是针对单幅图像进行的操作,而图像混叠是对两幅图像进行融合,生成一幅图像,Mixup和Cutmix两种方法的主要区别为混叠的方式不太一样。

07

Mixup

论文地址:

https://arxiv.org/pdf/1710.09412.pdf

Mixup是最先提出的图像混叠增广方案,其原理就是直接对两幅图的像素以一个随机的比例进行相加,不仅简单,而且方便实现,在图像分类目标检测领域上都取得了不错的效果。为了便于实现,通常只对一个 batch 内的数据进行混叠,在Cutmix中也是如此。

如下是imaug中的实现,需要指出的是,下述实现会出现对同一幅进行相加的情况,也就是最终得到的图和原图一样,随着 batch-size 的增加这种情况出现的概率也会逐渐减小。

PaddleClas中Mixup的使用方法如下所示。

from ppcls.data.imaug import DecodeImage from ppcls.data.imaug import ResizeImage from ppcls.data.imaug import ToCHWImage from ppcls.data.imaug import transform from ppcls.data.imaug import MixupOperator size = 224 # 图像解码 decode_op = DecodeImage() # 图像随机裁剪 resize_op = ResizeImage(size=(size, size)) # 图像数据的重排 tochw_op = ToCHWImage() # 使用HideAndSeek图像增广方法 hide_and_seek_op = HideAndSeek() # 使用Mixup图像增广方法 mixup_op = MixupOperator() ops = [decode_op, resize_op, tochw_op] imgs_dir = “/imgdir/xxx.jpg”  #图像路径 batch = [] fnames = os.listdir(imgs_dir) for idx, f in enumerate(fnames):     data = open(os.path.join(imgs_dir, f)).read()     img = transform(data, ops)     batch.append( (img, idx) ) # fake label new_batch = mixup_op(batch)

混叠结果如下图所示。

08

Cutmix

论文地址:

https://arxiv.org/pdf/1905.04899v2.pdf

与 Mixup 直接对两幅图进行相加不一样,Cutmix 是从另一幅图中随机裁剪出一个 ROI(region of interest, 感兴趣区域),然后覆盖当前图像中对应的区域,代码实现如下所示:

from ppcls.data.imaug import DecodeImage from ppcls.data.imaug import ResizeImage from ppcls.data.imaug import ToCHWImage from ppcls.data.imaug import transform from ppcls.data.imaug import CutmixOperator size = 224 # 图像解码 decode_op = DecodeImage() # 图像随机裁剪 resize_op = ResizeImage(size=(size, size)) # 图像数据的重排 tochw_op = ToCHWImage() # 使用HideAndSeek图像增广方法 hide_and_seek_op = HideAndSeek() # 使用Cutmix图像增广方法 cutmix_op = CutmixOperator() ops = [decode_op, resize_op, tochw_op] imgs_dir = “/imgdir/xxx.jpg”  #图像路径 batch = [] fnames = os.listdir(imgs_dir) for idx, f in enumerate(fnames):     data = open(os.path.join(imgs_dir, f)).read()     img = transform(data, ops)     batch.append( (img, idx) ) # fake label new_batch = cutmix_op(batch)

混叠结果如下图所示:

实验

经过实验验证,在ImageNet1k数据集上基于PaddleClas使用不同数据增广方式的分类精度如下所示,可见通过数据增广方式可以有效提升模型的准确率

注意

在这里的实验中,为了便于对比,将l2 decay固定设置为1e-4,在实际使用中,更小的l2 decay一般效果会更好。结合数据增广,将l2 decay由1e-4减小为7e-5均能带来至少0.3~0.5%的精度提升。

PaddleClas数据增广避坑

指南以及部分注意事项

最后再为大家介绍几个PaddleClas数据增广使用方面的小Trick:

  • 在使用图像混叠类的数据处理时,需要将配置文件中的use_mix设置为True,另外由于图像混叠时需对label进行混叠,无法计算训练数据的准确率,所以在训练过程中没有打印训练准确率
  • 在使用数据增广后,由于训练数据更难,所以训练损失函数可能较大,训练集的准确率相对较低,但其拥有更好的泛化能力,所以验证集准确率相对较高。
  • 在使用数据增广后,模型可能会趋于欠拟合状态,建议可以适当的调小l2_decay的值来获得更高的验证集准确率
  • 几乎每一类图像增广均含有超参数,PaddleClas在这里只提供了基于ImageNet-1k的超参数,其他数据集需要用户自己调试超参数,当然如果对于超参数的含义不太清楚的话,可以阅读相关的论文,调试方法也可以参考训练技巧的章节(https://github.com/PaddlePaddle/PaddleClas/blob/master/docs/zh_CN/models/Tricks.md)。

如在使用过程中有问题,可加入飞桨官方QQ群进行交流:1108045677。

如果您想详细了解更多飞桨的相关内容,请参阅以下文档。

·飞桨官网地址·

https://www.paddlepaddle.org.cn/

·飞桨开源框架项目地址·

GitHub: 

https://github.com/PaddlePaddle/Paddle

Gitee: 

https://gitee.com/paddlepaddle/Paddle

·飞桨PaddleClas项目地址·

GitHub: 

https://github.com/PaddlePaddle/PaddleClas

Gitee: 

https://gitee.com/paddlepaddle/PaddleClas

飞桨PaddlePaddle
飞桨PaddlePaddle

飞桨(PaddlePaddle)是中国首个自主研发、功能完备、开源开放的产业级深度学习平台。

https://www.paddlepaddle.org
专栏二维码
理论深度学习
1
相关数据
欠拟合技术

使用太少参数,以致于不能很好的拟合数据,称为拟合不足(欠拟合)现象

Dropout技术

神经网络训练中防止过拟合的一种技术

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

损失函数技术

在数学优化,统计学,计量经济学,决策理论,机器学习和计算神经科学等领域,损失函数或成本函数是将一或多个变量的一个事件或值映射为可以直观地表示某种与之相关“成本”的实数的函数。

超参数技术

在机器学习中,超参数是在学习过程开始之前设置其值的参数。 相反,其他参数的值是通过训练得出的。 不同的模型训练算法需要不同的超参数,一些简单的算法(如普通最小二乘回归)不需要。 给定这些超参数,训练算法从数据中学习参数。相同种类的机器学习模型可能需要不同的超参数来适应不同的数据模式,并且必须对其进行调整以便模型能够最优地解决机器学习问题。 在实际应用中一般需要对超参数进行优化,以找到一个超参数元组(tuple),由这些超参数元组形成一个最优化模型,该模型可以将在给定的独立数据上预定义的损失函数最小化。

验证集技术

验证数据集是用于调整分类器超参数(即模型结构)的一组数据集,它有时也被称为开发集(dev set)。

计算机视觉技术

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

神经网络技术

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

准确率技术

分类模型的正确预测所占的比例。在多类别分类中,准确率的定义为:正确的预测数/样本总数。 在二元分类中,准确率的定义为:(真正例数+真负例数)/样本总数

过拟合技术

过拟合是指为了得到一致假设而使假设变得过度严格。避免过拟合是分类器设计中的一个核心任务。通常采用增大数据量和测试样本集的方法对分类器性能进行评价。

图像分类技术

图像分类,根据各自在图像信息中所反映的不同特征,把不同类别的目标区分开来的图像处理方法。它利用计算机对图像进行定量分析,把图像或图像中的每个像元或区域划归为若干个类别中的某一种,以代替人的视觉判读。

目标检测技术

一般目标检测(generic object detection)的目标是根据大量预定义的类别在自然图像中确定目标实例的位置,这是计算机视觉领域最基本和最有挑战性的问题之一。近些年兴起的深度学习技术是一种可从数据中直接学习特征表示的强大方法,并已经为一般目标检测领域带来了显著的突破性进展。

暂无评论
暂无评论~