2023/03/28 20:02

雷晨阳、任烜池专栏

CVPR 2023 | 一键去除视频闪烁，该研究提出了一个通用框架

消除各种闪烁伪影。

高质量的视频通常在时间上具有一致性，但由于各种原因，许多视频会出现闪烁。例如，由于一些老相机硬件质量较差，不能将每帧的曝光时间设置为相同，因此旧电影的亮度可能非常不稳定。此外，具有非常短曝光时间的高速相机可以捕捉室内照明的高频率（例如 60 Hz）变化。

将图像算法应用于时间上一致的视频时可能会带来闪烁，例如图像增强、图像上色和风格转换等有效的处理算法。

视频生成方法生成的视频也可能包含闪烁伪影。

由于时间上一致的视频通常更具视觉上的吸引力，从视频中消除闪烁在视频处理和计算摄影领域中非常受欢迎。

该 CVPR 2023 论文致力于研究一种通用的闪烁去除方法：（1）对于各种闪烁模式或水平均具有较高的泛化性（例如，旧电影、高速相机拍摄的慢动作视频），（2）仅需要一段闪烁视频，并不需要其他辅助信息（例如，闪烁类型、额外的时间一致视频）。由于该方法没有过多假设，它具有广泛的应用场景。

代码链接：https://github.com/ChenyangLEI/All-in-one-Deflicker

项目链接：https://chenyanglei.github.io/deflicker

论文链接：https://arxiv.org/pdf/2303.08120.pdf

方法

通用的闪烁去除方法很具有挑战性，因为在没有任何额外指导的情况下很难强制整个视频的时间一致性。

现有的技术通常为每种闪烁类型设计特定的策略，并使用特定的知识。例如，对于由高速摄像机拍摄的慢动作视频，之前的工作可以分析照明频率。对于通过图像处理算法处理的视频，盲目视频时域一致性算法可以利用时域上一致的未处理视频上作为参考，从而获得长期的一致性。然而，闪烁类型或未经处理的视频并不总是可用的，因此现有的特定于闪烁的算法无法应用于这种情况。

一个直观的解决方案是使用光流来跟踪对应关系。然而，从闪烁视频中获得的光流不足够准确，光流的累积误差也会随着帧数的增加而增加。

通过两个关键的观察和设计，作者成功提出了一个通用的、无需额外指导的通用去闪烁方法，可以消除各种闪烁伪影。

一种良好的盲去闪烁模型应该具有跟踪所有视频帧之间对应点的能力。视频处理中的多数网络结构只能采用少量帧作为输入，导致感知野较小，无法保证长期一致性。研究者观察到神经图集非常适合闪烁消除任务，因此将引入神经图集到这项任务中。神经图集是视频中所有像素的统一且简洁的表示方式。如图 (a) 所示，设 p 为一个像素，每个像素 p 被输入到映射网络 M 中，该网络预测 2D 坐标（up，vp），表示像素在图集中对应的位置。理想情况下，不同帧之间的对应点应该共享图集中的一个像素，即使输入像素的颜色不同也应该如此。也就是说，这可以确保时间一致性。

其次，虽然从共享的图层中获取的帧是一致的，但图像的结构存在缺陷：神经图层不能轻松地建模具有大运动的动态对象；用于构建图层的光流也不完美。因此，作者们提出了一种神经过滤策略，从有缺陷的图层中挑选好的部分。研究者们训练了一个神经网络来学习两种类型的失真下的不变性，这两种失真分别模拟了图层中的伪影和视频中的闪烁。在测试时，该网络可作为过滤器很好地工作，以保留一致性属性并阻止有缺陷的图层中的伪影。

实验

研究者构建了一个包含各种真实闪烁视频的数据集。广泛的实验表明，在多种类型的闪烁视频上，研究者的方法实现了令人满意的去闪烁效果。研究者的算法甚至在公共基准测试中优于使用额外指导的基线方法。

研究者提供了 (a) 处理的到的闪烁视频和合成的闪烁视频的定量比较，研究者的方法的变形误差比基线要小得多，根据 PSNR，研究者的结果在合成数据上也更接近于真实值。对于其他真实世界视频，研究提供了 (b) 双盲实验以进行比较，大多数用户更喜欢研究者的结果。

如上图所示，研究者的算法可以很好的去除输入视频中的闪烁。注意，第三列图片展示了神经图层的结果，可以观察到明显的缺陷，但是研究者的算法可以很好的利用其一致性又避免引入这些缺陷。

该框架可以去除老电影、AI生成视频中包含的不同类别的闪烁。

理论

相关数据

感知技术

知觉或感知是外界刺激作用于感官时，脑对外界的整体的看法和理解，为我们对外界的感官信息进行组织和解释。在认知科学中，也可看作一组程序，包括获取信息、理解信息、筛选信息、组织信息。与感觉不同，知觉反映的是由对象的各样属性及关系构成的整体。

来源：维基百科

基准技术

一种简单的模型或启发法，用作比较模型效果时的参考点。基准有助于模型开发者针对特定问题量化最低预期效果。

来源：Google ML Glossary

神经网络技术

（人工）神经网络是一种起源于 20 世纪 50 年代的监督式机器学习模型，那时候研究者构想了「感知器（perceptron）」的想法。这一领域的研究者通常被称为「联结主义者（Connectionist）」，因为这种模型模拟了人脑的功能。神经网络模型通常是通过反向传播算法应用梯度下降训练的。目前神经网络有两大主要类型，它们都是前馈神经网络：卷积神经网络（CNN）和循环神经网络（RNN），其中 RNN 又包含长短期记忆（LSTM）、门控循环单元（GRU）等等。深度学习是一种主要应用于神经网络帮助其取得更好结果的技术。尽管神经网络主要用于监督学习，但也有一些为无监督学习设计的变体，比如自动编码器和生成对抗网络（GAN）。

来源：机器之心

映射技术

映射指的是具有某种特殊结构的函数，或泛指类函数思想的范畴论中的态射。逻辑和图论中也有一些不太常规的用法。其数学定义为：两个非空集合A与B间存在着对应关系f，而且对于A中的每一个元素x，B中总有有唯一的一个元素y与它对应，就这种对应为从A到B的映射，记作f：A→B。其中，y称为元素x在映射f下的象，记作：y=f(x)。x称为y关于映射f的原象*。*集合A中所有元素的象的集合称为映射f的值域，记作f(A)。同样的，在机器学习中，映射就是输入与输出之间的对应关系。

来源：Wikipedia

图像处理技术

图像处理是指对图像进行分析、加工和处理，使其满足视觉、心理或其他要求的技术。图像处理是信号处理在图像领域上的一个应用。目前大多数的图像均是以数字形式存储，因而图像处理很多情况下指数字图像处理。

来源：维基百科

图像增强技术

图像增强技术用于增强图像中的有用信息，它可以是一个失真的过程，其目的是要改善图像的视觉效果，针对给定图像的应用场合。它通过有目的地强调图像的整体或局部特性，将原来不清晰的图像变得清晰或强调某些感兴趣的特征，扩大图像中不同物体特征之间的差别，抑制不感兴趣的特征，使之改善图像质量、丰富信息量，加强图像判读和识别效果，满足某些特殊分析的需要。

来源：百度百科

视频生成技术

视频生成是指利用深度学习等技术生成视频的任务。