高璇 Chita编译

比无所不能的DIP更强大的图像恢复方法:DeepRED

此前,深度图像先验(DIP)被证明可以在不用学习的情况下解决图像去噪、去水印、超分辨率问题。但这一方法与最先进的替代方法相比,效果并不理想。本文基于 DIP 和去噪正则化(RED)概念,提出了 DeepRED 方法。它将两者结合,获得了非常有效的结果。

成像中的逆问题(inverse problem)是基于给定的损坏程度 y 对未知图像 x 的恢复。由于逆问题往往是病态(ill-posed)的,因此恢复过程成功的关键是正则化的选择。作为稳定逆向退化的图像先验,正则化将结果导向更合理的图像。

Ulyanov[13,14] 等人最近的工作为逆问题与深度学习的融合做出了特殊贡献。本文提出了深度图像先验(DIP)方法,这是一种在逆问题中处理正则化任务的新策略。与大多数早期的方法不同,DIP 建议使用深度网络本身作为逆问题的正则化工具,而不是采用监督的方法。

更具体点来说,DIP 移除了显式正则化,取而代之的是假设未知图像 x 是来自学习到的网络的生成图。当 DIP 与损坏图像的网络参数相匹配时,就可以根据要处理的图像进行调整。研究人员对这项研究的极大兴趣是源于一个绝妙的想法,即隐式地使用网络的架构来获得恢复图像 x 的正则化效果。

虽然 DIP 已经被证明十分有效,并在去噪、去水印、图像修复、超分辨率等多个成像逆问题中获得成功,但它的效果远没有达到当前最佳水平。因此研究人员提出通过返回显式正则化为 DIP 提供额外提升的想法,以便丰富隐式正则化,从而更好地恢复图像。

那应该从如此多的正则化方法中选择哪种呢?有趣的是,《Image restoration using total variation regularized deep image prior》中最近提出了对额外正则化的需求,它使用 Total-Variation 改善了修复结果。

在本文中,研究人员建议引入最近的去噪正规化概念 (RED)[17],并将它与 DIP 融合。RED 的特别吸引力在于它优于其它许多正则化方案,并且依赖现有的去噪算法来定义正则化项。本研究的一个特殊挑战是找到训练新的复合目标 DIP + RED 的方法,同时避免去噪函数的显式求导。

这些都是通过使用交替方向乘子法 (ADMM)[18] 实现的,它有一个额外的优势:相对于所采用的停止规则,它有一个稳定的恢复。这个方案被称为 DeepRED,经过图像去噪、单张图像超分辨率和图像去模糊方面的测试,RED 显示出明显优势。结果表明,无论是相对于 [17] 中的自然 RED 或 DIP 本身,所有结果都得到了显著改善。事实上,尽管 DeepRED 是一种无监督的方法,但它更接近于逆问题的监督求解器。

论文 :DeepRED: Deep Image Prior Powered by RED

论文链接:https://arxiv.org/abs/1903.10176

多年来,研究人员使用各种策略、工具和理论对成像中的逆问题进行了广泛研究。最近,这一领域受到了深度学习技术的巨大影响。Ulyanov 等人的深度图像先验(DIP)研究就是其中之一。DIP 为逆问题的正则化提供了一种新方法。尽管 DIP 已被证明是有效的,但与最先进的替代方法相比,它的效果并不理想。

在这项工作中,研究人员的目标是通过添加一个显式先验来增强 DIP,这丰富了整体正则化效果,从而可以更好地恢复图像。更具体地说,研究人员建议引入去噪正则化(RED)的概念,它利用现有的降噪器来正则化逆问题。本文的研究展示了如何将两者(DeepRED)合并到高效的恢复过程中,同时避免区分所选的降噪器,并产生非常有效的结果,这在几个已测试的逆问题中得到了证明。

DeepRED 方案

将 DIP 和 RED 合并,目标函数变为:

注意,要避免使用 x,并定义关于未知数 Θ的整体优化。这需要求解: 

虽然这看起来很简单,但实际上行不通。因为在 T 上反向传播需要对去噪函数 f(·) 求导。对于大多数降噪器来说,这是一项必须避免的艰巨任务。如上所述,在适当条件下,RED 可以避免这种直接求导,研究人员想利用的也是它这个特性。

解决这一问题的方法是采用交替方向乘子法 [18]。从等式 (4) 开始,利用增广拉格朗日乘子法 (AL) 将约束项转化为惩罚项。

在这个表达式中,u 代表等式约束集合的拉格朗日乘子向量,而µ是被选择的自由参数

ADMM 算法相当于此表达式中三个未知数——Θ、x 和 u 的顺序更新。

算法 1 总结了应用此整体算法处理 DeepRED 目标最小化的步骤。

实验结果

本文在一系列实验中测试了提出的 DeepRED 方案。下面考虑了三种应用:图像去噪和单张图像超分辨率(SISR)以及图像去模糊。

图 2 显示了从这些实验中获得的两个可视化视觉结果,以说明获得的图像恢复效果。

超分辨率结果。上两行:花朵 (Set14),比例因子 4。下两行:斑马 (Set14),比例因子 4。

研究人员分别测试了 4 和 8 的比例因子,并将结果与 DIP [13] 和 RED [17] 在两个数据集上进行了比较。表 2 和表 3 对结果进行了总结。可以看出,RED+DIP 的效果始终优于单独使用 DIP 或 RED。

表 2:Set5 的超分辨率结果。

表 3:Set14 的超分辨率结果。

研究人员将 DeepRED 与 DIP、RED 和 NCSR Deblur 在 4 幅彩色图像上进行了比较。结果如表 5 所示。此外,图 4、图 5 和图 6 给出了该实验的三组结果,结果表明 RED 正则化效果优势明显。

表 5:图像去模糊结果

图五和图六分别是鹦鹉和树叶的图像去模糊结果比较。

理论图像去噪DeepRED图像修复
4
相关数据
深度学习技术

深度学习(deep learning)是机器学习的分支,是一种试图使用包含复杂结构或由多重非线性变换构成的多个处理层对数据进行高层抽象的算法。 深度学习是机器学习中一种基于对数据进行表征学习的算法,至今已有数种深度学习框架,如卷积神经网络和深度置信网络和递归神经网络等已被应用在计算机视觉、语音识别、自然语言处理、音频识别与生物信息学等领域并获取了极好的效果。

参数技术

在数学和统计学裡,参数(英语:parameter)是使用通用变量来建立函数和变量之间关系(当这种关系很难用方程来阐述时)的一个数量。

目标函数技术

目标函数f(x)就是用设计变量来表示的所追求的目标形式,所以目标函数就是设计变量的函数,是一个标量。从工程意义讲,目标函数是系统的性能标准,比如,一个结构的最轻重量、最低造价、最合理形式;一件产品的最短生产时间、最小能量消耗;一个实验的最佳配方等等,建立目标函数的过程就是寻找设计变量与目标的关系的过程,目标函数和设计变量的关系可用曲线、曲面或超曲面表示。

正则化技术

当模型的复杂度增大时,训练误差会逐渐减小并趋向于0;而测试误差会先减小,达到最小值后又增大。当选择的模型复杂度过大时,过拟合现象就会发生。这样,在学习时就要防止过拟合。进行最优模型的选择,即选择复杂度适当的模型,以达到使测试误差最小的学习目的。

图像修复技术

推荐文章
暂无评论
暂无评论~