2018/07/11 10:44

英伟达提出仅使用噪点图像训练的图像增强方法，可去除照片噪点

如果有一天，在低亮度环境中拍摄的照片中的噪声可以被自动清除，并且自动修复失真，那将会如何？你的照片库里是否有很多带噪点的粗糙照片，很想修复它们？今天要介绍的这个基于深度学习的方法，仅通过观察原始的低质量图像就可以修复照片。这项研究由来自英伟达、阿尔托大学和 MIT 的研究者开展，将在本周的瑞典斯德哥尔摩 ICML 2018 上展示。

近期在深度学习领域的研究聚焦于通过展示带噪点和清晰的图像示例对来训练神经网络修复图像。然后 AI 系统学习如何弥补差异。新方法的不同之处在于，它仅需要两张都带噪点的输入图像来训练。

在没有展示无噪点图像的情况下，这个 AI 系统也可以移除照片上的失真、噪点、颗粒，并自动增强照片。

研究人员在其论文中表示：「在没有观察到清晰信号的情况下，学习恢复信号并非不可能，并且有时还会超过使用清晰样本训练的性能。[神经网络] 与利用清晰样本的最先进方法相当——使用完全相同的训练方法，并且在训练时间或表现上通常没有明显的缺点。」

该团队使用 NVIDIA Tesla P100 GPU 和 cuDNN 加速的 TensorFlow 深度学习框架在 ImageNet 验证集上对其系统进行了 50000 张图像的训练。

为了测试系统，他们在三个不同的数据集上验证了神经网络。

该方法甚至可以应用在核磁共振图像（MRI）的增强上，可能为医学成像的大幅改进开辟一条康庄大道。

「在现实世界中想要获得清晰的训练数据是很困难的：微光摄影（如天文图像）、基于物理的渲染图像、核磁共振图像」，研究团队说「我们的概念验证式的演示通过消除对于收集清晰数据的需求，来为这些应用找到潜在的益处。当然，天下没有免费的午餐——我们无法学习获取输入数据中不存在的特性——但这同样适用于清晰目标的训练。」

该研究团队将会在 ICML 会议上通过口头演讲和海报的形式展示他们的工作内容。你可以在 7 月 12 日星期四的监督学习口头会议 (2:20 pm) 和 6:15 pm 海报展上与该团队见面。

论文：Noise2Noise: Learning Image Restoration without Clean Data

论文地址：https://arxiv.org/pdf/1803.04189.pdf

我们将基本统计推理应用于机器学习的信号重构——学习将损坏的观察结果映射到干净的信号上——由此得到一个简单而有力的结论：在某些常见的情况下，可以在不观察清晰信号的前提下学会恢复信号，达到接近或等于使用清晰样本进行训练的性能。我们展示了该技术在图像噪声去除、合成蒙特卡罗图像降噪以及从欠采样输入重建核磁共振扫描中的应用，所有这些都是基于仅观察损坏的数据。

原文地址：https://news.developer.nvidia.com/ai-can-now-fix-your-grainy-photos-by-only-looking-at-grainy-photos/

理论超分辨率图像去噪计算机视觉

相关数据

深度学习技术

深度学习（deep learning）是机器学习的分支，是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。深度学习是机器学习中一种基于对数据进行表征学习的算法，至今已有数种深度学习框架，如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

来源：LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. nature, 521(7553), 436.

机器学习技术

机器学习是人工智能的一个分支，是一门多领域交叉学科，涉及概率论、统计学、逼近论、凸分析、计算复杂性理论等多门学科。机器学习理论主要是设计和分析一些让计算机可以自动“学习”的算法。因为学习算法中涉及了大量的统计学理论，机器学习与推断统计学联系尤为密切，也被称为统计学习理论。算法设计方面，机器学习理论关注可以实现的，行之有效的学习算法。

来源：Mitchell, T. (1997). Machine Learning. McGraw Hill.

重构技术

代码重构（英语：Code refactoring）指对软件代码做任何更动以增加可读性或者简化结构而不影响输出结果。软件重构需要借助工具完成，重构工具能够修改代码同时修改所有引用该代码的地方。在极限编程的方法学中，重构需要单元测试来支持。

来源：维基百科

TensorFlow技术

TensorFlow是一个开源软件库，用于各种感知和语言理解任务的机器学习。目前被50个团队用于研究和生产许多Google商业产品，如语音识别、Gmail、Google 相册和搜索，其中许多产品曾使用过其前任软件DistBelief。

来源：维基百科

张量技术

张量是一个可用来表示在一些矢量、标量和其他张量之间的线性关系的多线性函数，这些线性关系的基本例子有内积、外积、线性映射以及笛卡儿积。其坐标在维空间内，有个分量的一种量，其中每个分量都是坐标的函数，而在坐标变换时，这些分量也依照某些规则作线性变换。称为该张量的秩或阶（与矩阵的秩和阶均无关系）。在数学里，张量是一种几何实体，或者说广义上的“数量”。张量概念包括标量、矢量和线性算子。张量可以用坐标系统来表达，记作标量的数组，但它是定义为“不依赖于参照系的选择的”。张量在物理和工程学中很重要。例如在扩散张量成像中，表达器官对于水的在各个方向的微分透性的张量可以用来产生大脑的扫描图。工程上最重要的例子可能就是应力张量和应变张量了，它们都是二阶张量，对于一般线性材料他们之间的关系由一个四阶弹性张量来决定。

来源：维基百科

验证集技术

验证数据集是用于调整分类器超参数（即模型结构）的一组数据集，它有时也被称为开发集(dev set)。

来源：Wikipedia

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

欠采样技术

欠采样是信号处理学中的一种采样技术，也叫带通采样（bandpass sampling），是一种以低于其奈奎斯特采样定理（采样频率两倍高于被采样频率）的采样率对带通滤波信号进行采样且仍然能够重建信号的技术。

来源：Wikipedia

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

监督学习技术

监督式学习（Supervised learning），是机器学习中的一个方法，可以由标记好的训练集中学到或建立一个模式（函数 / learning model），并依此模式推测新的实例。训练集是由一系列的训练范例组成，每个训练范例则由输入对象（通常是向量）和预期输出所组成。函数的输出可以是一个连续的值（称为回归分析），或是预测一个分类标签（称作分类）。

来源：Wikipedia