雨天美图大法:单图去雨的RESCAN新方式

最近一周的南北方降雨量可能不相上下,不仅雨量大,而且每场雨都在瓢泼。

南方台风中的画风是这样的👇

而北京进入“看海”节奏,根本不需要台风👇

雨滴会严重降低能见度,除了给日常出行造成各种不便,也导致许多当前的计算机视觉算法都无法工作。特别是在大雨中,来自各个方向的雨水积累和使背景场景朦胧,严重影响比如视频监控,物体检测,以及在自动驾驶跟踪等方向的准确性。

因此,除去雨水并从雨水图像中恢复背景,是一项重要的任务。

其实在过去十年中,图像去除已经有了不少有趣的研究。

现有方法可以分为两类,包括基于视频的方法和单图去除方法。基于视频的方法可以利用视频中图片的关系框架,因此相对容易;相对而言,单图像去除更具挑战性。

在今年的雨季,来自北京大学和上海交通大学的几位研究者,针对“单图去雨”任务进行了研究,他们基于深度卷积和循环神经网络建立了一种新颖的神经网络架构,并获得了不错的结果。

这一成果在ArXiv上发表,并已被ECCV(欧洲计算机视觉国际会议,计算机视觉三大会议之一)采纳。

除了论文成果,里边对之前各种关于单图去雨的历史研究论述总结颇为详细,在今天读来是个很应景的话题,感兴趣的同学可以自行下载👇

我们对论文的精华编译如下:

对于单图像去除,传统方法,例如判别稀疏编码、低秩表示以及高斯混合模型,都可以应用于这项任务,并且有不错的表现。最近,基于深度学习的消除方法,由于其强大的特征表示能力而受到广泛关注。但是所有这些相关方法仍有很多空间需要改进。

现有方法主要有两个局限。

一方面,根据之前的研究,空间背景信息对于雨点的消除非常有用。然而,许多当前的方法基于图像补丁去除雨条纹,忽略了大区域的背景信息。

另一方面,由于大雨中的雨滴会呈现各种各样的方向和形状,它们会以不同的方式让背景模糊不清。

分解整体,通过不同的阶段去除雨水条纹,是一种常见的方法,这种方法可以将问题分解为多个阶段,以便我们可以迭代地去除雨条纹。然而,现有方法只对每个阶段独立除雨,而不考虑它们的相关性。

我们提出了一种新颖的深度网络架构,基于深度卷积和递归神经网络对单张图像的雨水进行去除。

在大雨中,雨滴有各种各样的方向和形状,由于雨条纹层各自重叠,在一个阶段去除雨水并不容易。所以我们进一步分解雨水为多个阶段。利用循环神经网络以保留前几个阶段的有用信息,有利于后期去雨。我们在合成和真实数据集上进行了大量实验,所有评估指标的表现都优于先前的方法。

在解决上述两个局限性后,我们提出了一种新颖的深层网络,从而用于单个图像的除雨。例如上图,体现了逐步消除雨条纹的阶段。

在每个阶段,我们都使用有多个卷积层的集成网络对背景图像的雨水条纹进行消除。由于雨条纹有各种方向和形状,我们让每个网络层对应一种雨条纹,并根据其在每个卷积层中的相互依赖性为其赋值。

受益于指数级增加的卷积层,这一神经网络接受域大且深度低,可以获取更多的背景图信息。我们接下来利用三种不同的循环神经网络(RNN),进一步最大限度的利用之前几个阶段搜集到的背景信息,来指导后期的雨滴去除。

我们将这一方法命名为REcurrent SE Context Aggregation Net(RESCAN)。

本文的主要贡献如下:

1、对于单图除雨提出了一种新颖的集成深度网络。

2、据我们所知,这是首篇考虑不同阶段除雨相关性的论文。通过RNN体系结构的三种不同循环单元,可以结合前几个阶段的来指导后期阶段。这一神经网络适用于复杂的下雨环境。

3、与最先端的方法相比,我们的深度网络在不同数据集上展现了更卓越的性能。

入门图像去除单图除雨RESCAN
1
相关数据
神经网络技术
Neural Network

(人工)神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型,那时候研究者构想了「感知器(perceptron)」的想法。这一领域的研究者通常被称为「联结主义者(Connectionist)」,因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型,它们都是前馈神经网络:卷积神经网络(CNN)和循环神经网络(RNN),其中 RNN 又包含长短期记忆(LSTM)、门控循环单元(GRU)等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习,但也有一些为无监督学习设计的变体,比如自动编码器和生成对抗网络(GAN)。

计算机视觉技术
Computer Vision

计算机视觉(CV)是指机器感知环境的能力。这一技术类别中的经典任务有图像形成、图像处理、图像提取和图像的三维推理。目标识别和面部识别也是很重要的研究领域。

高斯混合模型技术
Gaussian Mixture Model

高斯混合模型(Gaussian Mixture Model,GMM)是单一高斯概率密度函数的延伸,就是用多个高斯概率密度函数(正态分布曲线)精确地量化变量分布,是将变量分布分解为若干基于高斯概率密度函数(正态分布曲线)分布的统计模型。

自动驾驶技术
self-driving

从 20 世纪 80 年代首次成功演示以来(Dickmanns & Mysliwetz (1992); Dickmanns & Graefe (1988); Thorpe et al. (1988)),自动驾驶汽车领域已经取得了巨大进展。尽管有了这些进展,但在任意复杂环境中实现完全自动驾驶导航仍被认为还需要数十年的发展。原因有两个:首先,在复杂的动态环境中运行的自动驾驶系统需要人工智能归纳不可预测的情境,从而进行实时推论。第二,信息性决策需要准确的感知,目前大部分已有的计算机视觉系统有一定的错误率,这是自动驾驶导航所无法接受的。

深度学习技术
Deep learning

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

大数据文摘
大数据文摘

秉承“普及数据思维,传播数据文化,助⼒产业发展”的企业⽂化,我们专注于数据领域的资讯、案例、技术,形成了“媒体+教育+⼈才服务”的良性⽣态,致⼒于打造精准数据科学社区。

大数据文摘
大数据文摘

秉承“普及数据思维,传播数据文化,助⼒产业发展”的企业⽂化,我们专注于数据领域的资讯、案例、技术,形成了“媒体+教育+⼈才服务”的良性⽣态,致⼒于打造精准数据科学社区。

推荐文章
返回顶部