Pedro 思源参与

无需额外硬件,全卷积网络让机器学习学会夜视能力

极低照明度下,传统增加亮度的方法会放大噪点和色彩失真。而最近 UIUC 和英特尔的研究者通过全卷积网络处理这一类黑黑的照明度图像,并在抑噪和保真的条件下将它们恢复到正常亮度。这种端到端的方法将为机器赋予强大的夜视能力,且还不需要额外的硬件。

噪声或噪点在成像系统中普遍存在,它会使弱光环境下的成像十分困难。提高 ISO 值可以增加亮度,但同时也会放大噪点。我们虽然可以用缩放或直方图拉伸等后期处理方式来降低前述影响,但这并不能解决光子数低导致的低信噪比(SNR)问题。有一些物理手段可以提高弱光环境的信噪比,比如增大光圈、延长曝光时间和使用闪光灯等,但是每一种方法都有其缺点。例如,增加曝光时间在不采用三脚架的条件下会导致(成像)模糊。

弱光环境快速成像在计算摄影界是众所周知的难,但相关研究仍在进行。研究人员已经提出了图像去噪、去模糊和增强低照度图像的技术 [34,16,42]。这些技术通常假定图像是在略微昏暗的环境中捕捉,并且噪声不大。相比之下,我们对光照严重受限(如月光)和短时间曝光(甚至是视频速率)等极低照度环境成像更感兴趣。在这些场景中,传统的相机处理流程完全没用,图像必须通过原始传感器数据进行重建。

图 1 说明了我们的环境配置。环境非常暗:相机处照度低于 0.1 勒克斯。曝光时间设定为 1/30 秒。光圈为 f / 5.6。在 ISO 为 8000(一般情况下被认为是一个较高的值)时,尽管使用具有高感光度的全画幅索尼传感器,相机仍会产生基本上为黑色的图像。ISO 为 409600 时(大部分相机达不到这个水平),场景内容可辨,但图像暗淡、噪声多且色彩失真。即使是最先进的去噪技术 [32] 也不能消除这种噪声或解决色偏问题。一种解决办法是使用一组连拍图像 [24,14] 合成,但在极低照度的情况下,连拍对齐算法也很容易会失败,并且连拍流程不能用于视频捕捉。

图 1:使用卷积网络得到的低照度图像(昏暗的室内环境,相机的照度(illuminance)<0.1 勒克斯,索尼 α7SII 传感器曝光 1/30 秒)。(a)ISO 为 8000 的相机得到的图像。(b)ISO 为 409600 的相机得到的图像。图像受到了噪音和颜色偏差的影响。(c)基于(a)中原始传感器数据,并经过我们提供的卷积网络处理得到的图像。

我们提出了一种新的图像处理流程,即通过数据驱动的方式解决极低照度环境摄像问题。具体来说,我们通过训练深度神经网络得到一个处理低光度原始数据的图像处理流程,包括颜色转换、去除马赛克、降噪和图像增强。端到端的训练流程可以避免噪声放大和误差累积,这也是传统相机处理流程的特点。

大多数现有处理低照度图像的方法都是在合成数据或无效的低照度图像上进行评估的。就我们所知,还没有合适的、能用于训练或测试处理快速低照度图像技术的数据集。因此,我们收集了一些在低照度条件下快速曝光拍摄的原始图像作为新数据集。每个低照度图像都具有对应的长曝光高质量参考图像。我们在新数据集上取得了良好的成果:低照度图像被放大了 300 倍的同时,其噪声也得到了有效的抑制且颜色转换正确。

表 1:SID 数据集包含 5094 个原始短时曝光图像,每个图像都有一个长时间曝光图像作为对应参考。图像由两台相机收集(顶部和底部)。从左到右分别是:输入图像和参考图像的曝光时间比、滤波器阵列、输入图像的曝光时间以及每种情况的图像数量。

图 2:SID 数据集中的示例图像。前两排是户外图像,下面是室内图像。长时间曝光的参考图像(有效)在前面显示,短时曝光的输入 图像(基本黑色)在有效图像后面显示。室外相机处照度一般在 0.2 到 5 勒克斯之间,室内为 0.03 到 0.3 勒克斯之间。

方法

从成像传感器获取原始数据后,传统的图像处理流程会用一系列模块(如白平衡、去马赛克、去噪、锐化、色彩空间转换、伽马校正等)对其进行处理。这些模块通常会根据相机的不同进行微调。Jiang 等人 [18] 提出使用大量经过学习的局部线性(L3)滤波器来模仿常见成像系统里的复杂非线性流程,然而传统流程和 L3 流程都无法很好地处理快速低照度成像,因为它们无法处理极低的信噪比。Hasinoff 等人 [14] 提出了适用于手机相机的连拍成像流程。该方法通过对齐混合多个图像得到良好的结果,但同时会增加其复杂度(例如对应密度估计),且可能难以将其应用于视频捕获。

图 3:不同图像处理流程的结构。(a)从上到下分别是:传统的图像处理流程、L3 流程 [18] 和连拍成像流程 [14]。(b)我们的流程。

建议使用端到端学习来实现快速低照度图像的直接单图像处理。具体来说,训练一个全卷积网络(FCN)[22,25] 来执行整个图像处理流程。近期的成果表明,纯 FCN 可以有效地承载很多图像处理算法 [40,5],因此我们尝试将这种方法应用到极低照度成像中。我们不使用传统相机处理流程生成的 sRGB 图像,而是使用 RAW 格式的原始传感器数据。

图 3(b)给出了我们流程的结构。对于贝叶斯阵列(Bayer arrays),我们将输入数据馈送到四个通道中,并相应地将每个维度上的空间分辨率降低两倍。对于 X-Trans 阵列(未在图中显示),原始数据被放在 6×6 的矩阵中,并通过交换相邻元素将它合并为 9 个通道而非 36 个通道。我们减去黑阶亮度并按照所需比例(例如 100 倍或 300 倍)缩放数据,数据在合并放大之后输入全卷积网络。输出是一个空间分辨率为之前一半的 12 通道图像,它通过一个子像素层的处理恢复原始分辨率 [37]。

初步研究之后,重点关注全卷积网络中多次出现的两个结构:多尺度上下文聚合网络(Context Aggregation Network,CAN)[5] 和 U-net[35]。其他研究已经研究了残差连接 [20,34,41],但是这些没什么用,可能是因为输入和输出所在颜色空间不同。影响结构选择的另一因素是内存消耗:我们选择了可以在 GPU 内存中处理全分辨率图像(例如分辨率为 4240×2832 或 6000×4000)的结构。因此我们得以避免使用需要处理小图像块并重新组装它们的全连接层 [26]。默认架构是 U-net [35]。

图 4:放大系数作用于 SID 数据集(Sony x100 子集)中室内图像的效果。放大系数作为外部输入提供给我们的参数,类似于相机中的 ISO 设置。更高的放大倍数可以产生更明亮的图像。这张图显示了具有不同的放大系数的输出图像。

放大率决定了输出亮度,类似于相机中的 ISO 设置。图 4 显示了不同放大率的效果。用户可以通过设置不同的放大系数来调节输出图像的亮度。测试时,流程并不会抑制噪声、转换颜色,网络直接在 sRGB 空间输出处理后的图像。

图 5:(a)富士 X-T2 相机在夜间拍摄的图像(ISO 为 800,光圈为 f / 7.1,曝光 1/30 秒)。相机照度约为 1 勒克斯。(b)传统方法不能有效处理原始数据中的噪声和颜色偏差。(c)我们的结果(使用相同的原始数据)。

图 7:Sony x300 拍得的图像。(a)经过传统图像处理流程和线性缩放处理的低照度输入图像。(b)经过传统图像处理流程和线性缩放处理且用 BM3D 去噪后得到的图像。(c)我们的结果。

论文:Learning to See in the Dark



论文链接:https://arxiv.org/abs/1805.01934

摘要:由于低光子数和低信噪比,弱光环境成像十分困难。短时曝光的图像会受到噪声影响,而长时间曝光会导致图像模糊。之前提出的各种去噪、去模糊和增强技术极端条件下效果十分有限(例如晚上的视频速率成像)。为了推进基于学习的低照度图像处理研究,我们引入了原始 RAW 格式的短曝光低照度图像数据集以及相应的长曝光参考图像。使用这个数据集,我们开发了一个基于端到端训练的全卷积网络进行低照度图像处理。这个网络直接处理原始传感器数据,并且基本不使用传统图像处理流程方法。

理论论文CVPR 2018CVPR全卷积网络图像处理
相关数据
深度神经网络技术
Deep neural network

深度神经网络(DNN)是深度学习的一种框架,它是一种具备至少一个隐层的神经网络。与浅层神经网络类似,深度神经网络也能够为复杂非线性系统提供建模,但多出的层次为模型提供了更高的抽象层次,因而提高了模型的能力。

图像增强技术
Image enhancement

图像增强技术用于增强图像中的有用信息,它可以是一个失真的过程,其目的是要改善图像的视觉效果,针对给定图像的应用场合。它通过有目的地强调图像的整体或局部特性,将原来不清晰的图像变得清晰或强调某些感兴趣的特征,扩大图像中不同物体特征之间的差别,抑制不感兴趣的特征,使之改善图像质量、丰富信息量,加强图像判读和识别效果,满足某些特殊分析的需要。

图像处理技术
Image processing

图像处理是指对图像进行分析、加工、和处理,使其满足视觉、心理或其他要求的技术。 图像处理是信号处理在图像领域上的一个应用。 目前大多数的图像均是以数字形式存储,因而图像处理很多情况下指数字图像处理。

参数技术
parameter

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

英特尔机构
Intel

英特尔是计算创新领域的全球领先厂商,致力于拓展科技疆界,让最精彩体验成为可能。英特尔创始于1968年,已拥有近半个世纪产品创新和引领市场的经验。英特尔1971年推出了世界上第一个微处理器,后来又促进了计算机和互联网的革命,改变了整个世界的进程。如今,英特尔正转型成为一家数据公司,制定了清晰的数据战略,凭借云和数据中心、物联网、存储、FPGA以及5G构成的增长良性循环,提供独到价值,驱动日益发展的智能互联世界。英特尔专注于技术创新,同时也积极支持中国的自主创新,与产业伙伴携手推动智能互联的发展。基于明确的数据战略和智能互联全栈实力,英特尔瞄准人工智能、无人驾驶、5G、精准医疗、体育等关键领域,与中国深度合作。面向未来,英特尔致力于做中国高价值合作伙伴,在新科技、新经济、新消费三个方面,着力驱动产业协同创新,为实体经济增值,促进消费升级。

涉及领域
噪音技术
Noise

噪音是一个随机误差或观测变量的方差。在拟合数据的过程中,我们常见的公式$y=f(x)+\epsilon$中$\epsilon$即为噪音。 数据通常包含噪音,错误,例外或不确定性,或者不完整。 错误和噪音可能会混淆数据挖掘过程,从而导致错误模式的衍生。去除噪音是数据挖掘(data mining)或知识发现(Knowledge Discovery in Database,KDD)的一个重要步骤。

卷积技术
Convolution

机器之心
机器之心

机器之心编辑

返回顶部