龚元浩作者

CVPR2019 Oral | SWF:边窗滤波,一篇非深度学习的论文

今年的CVPR Oral论文的接收率不到5.6%(288/5160约5.6%,或者288/1300约22.2%),很不容易。我们组2017年刚刚成立,今年的第一篇CVPR论文Side Window Filtering非常幸运地被评为了Oral。有趣的是,我们的论文不是一篇深度学习的论文。

这篇文章的第一作者是殷慧博士,共同一作是本人(龚元浩),通信作者是邱国平教授。

论文链接:https://arxiv.org/abs/1905.07177

https://github.com/YuanhaoGong/SideWindowFilter

这篇文章的思想源于我的博士论文,可以参考基于曲率的图像处理。博士毕业以后,我也陆陆续续写了一些关于半窗口滤波的论文,比如曲率滤波,Bernstein滤波,Sub-window Box Filter (VCIP2018论文链接),Generic Geometric Prior (GGP)等等。但是这次CVPR的论文使得子窗口回归站到了更大的学术舞台上。

不管原来的滤波器保不保边,Side Window都让它保边!非常霸气!

这篇文章首先分析了为什么之前的滤波算法不保边:因为传统方法都使用全窗口回归,也就是把窗的中心位置放在待处理像素的位置。即便是用非线性各向异性加权,仍然无法杜绝沿着图像边缘的扩散(可能只是沿着边缘的扩散比较大,而沿着法线的扩散的比较小,比较小也是扩散,这是传统方法不保边的本质原因)。

典型的图像边缘,以及相邻两个像素对应的半窗口

基于这一分析,为什么不把窗口的边缘直接放在待处理像素的位置呢?这就切断了可能的法线方向的扩散。这就是这篇文章的核心思想。如上图所示,在图像的边缘附近,相邻的两个像素a和b。虽然他们物理上相邻,但是他们选择的半窗口却是朝向两个不同的方向。从而不会出现边缘的模糊。

有人可能会说:这跟双边滤波的空间加权和灰度值加权非常像啊!但其实还是有本质的区别。我们的方法本质上切断了法向扩散,而不是像之前的保边算法那样仅仅是减少了法向扩散。因此,我们的方法从数学原理上就可以保证保边。而之前的方法本质上是不能保边的。

但是具体到一个像素位置的时候,如何选择哪一个方向呢?我们可以直接枚举八个可能的方向,让数据自适应地选择一个最佳的方向就行了,如下图所示。这样横平竖直的子窗口可以利用可分离滤波来加速计算。另外,我们可以利用重叠的子窗口来减少重复计算。所以,最终的计算量只是原来滤波器的2到3倍。

基于这种side window的思想,我们可以把传统的Box Filter,Gaussian Filter,median Filter,Bilateral Filter,Guided Filter等等都变成Side Window版本。不管原来的滤波器保不保边,Side Window版本都让它保边!强不强大?欢不欢喜?

Side Window方法把原本不保边的滤波器变成保边滤波器

然后就是各种应用,表明Side Window版本比原来的效果要好了,包括除噪,平滑,HDR应用,结构纹理分解,深度估计,上颜色等等。

Side Window版本的方法能够在平滑的同时保边

用了Side Window,color leakage也没有了

总之,这个技术很简单,实现很简单,效果很强大,您值得拥有:)。审稿人认为这篇论文“will be a great paper in CVPR! ”。欢迎大家来CVPR围观!

为了感谢您阅读本文所花费的宝贵时间,一小段代码拱手奉上: 边窗盒子滤波

https://github.com/YuanhaoGong/SideWindowFilter
CVer
CVer

一个专注于计算机视觉方向的平台。涉及目标检测,图像分割,目标跟踪,人脸检测&识别,姿态估计,GAN和医疗影像等。

理论图像处理
1
暂无评论
暂无评论~