Learning to See in the Dark


Learning to See in the Dark


ref:http://web.engr.illinois.edu/~cchen156/SID.html

这里写图片描述

介绍

去噪、去模糊都有,不过在低光照下还是比较难的。高ISO可以提亮,但也会放大噪声。直接缩放或者拉伸直方图,也有一定效果,不过并不能弥补光子不足的缺陷。增加曝光时间,如果移动了会变模糊。这篇文章就是喜欢严重缺少亮度的低光照条件,最好曝光时间还短。传统的去噪方法不行,拍一系列暗图也不行,这些在极低光照条件下基本都会失效。

本文采用的是数据驱动的方法,设计了一个深度神经网络,能实现颜色转换、去马赛克、减少噪声和图像增强。这种端到端的设计能减少噪声的放大和误差的积累。这篇文章提到以往大家做低光照的研究都是用的合成图像,或者没有ground truth的低光照,因此他们就收集了一些与低光照对应的清晰图像(可作为benchmark)。

相关工作:

去噪:全变分、小波域变换、稀疏编码、核范数最小化、BM3D(光滑、稀疏、低秩、自适应)。缺点:数据集一般都是合成的。一般认为BM3D在真实图片的表现结果比大部分其他算法好(Benchmarking denoising algorithms with real photographs)。多图效果不错,但本文想单图

低光照图像增强:直方图均衡化、图像灰度校正(伽马校正)、暗通道反转、小波变换、Retinex model、光强映射估计。这些方法都认为退化图已经包含比较好的潜在信息,而没有考虑噪声和颜色扭曲的影响。

含噪数据集:RENOIR对应图片不是完美匹配、HDR+没有极低光照照片、DND也是白天获取的。本文收集了一些数据。

“看见黑暗”数据集

数据集是作者采集的,有5094张低曝光和高曝光的数据集。场景包含室内室外,都是在固定位置用三脚架拍的。采用app远程设置光圈、ISO等参数,室外光照在0.2勒克斯和5勒克斯之间,室内的更加黑暗。数据采集的原则是高曝光的只要保持视觉效果好即可,不一味追求移除全部噪声。他们称自己的数据集叫SID

方法

pipeline

这里写图片描述

部分方法流程图,其中L3指local,linear and learned filters。传统和L3都没有很好处理极低光照的情况。burst序列虽然可以满足一定的需求,但比较苛刻,而且需要“lucky imaging”。

这里写图片描述

本文用的是全卷积网络(FCN),而且不是处理普通的sRGB图片,而是用原始的传感器数据。

文章用到多尺度聚集网络(multi-scale context aggregation network (CAN))和U-net(U-net: Convolutional networks for biomedical image segmentation),其中U-net是本文默认的网络。其他方法如残差并不适合这里,也许是因为色彩空间不一样。另外要尽量避免全连接层,因为完整的分辨率图可能有6000×4000。

这里写图片描述

放大率决定了输出的亮度,这是输入的时候提供的,网络的最终输出直接就是sRGB空间。

训练

L1和Adam,剪裁成512,学习率1e-4到1e-5,共4000个epoch。

实验

质量和感知

与传统的比,传统的含噪严重,颜色扭曲。

他说BM3D在真实图片的去噪效果好,所以就用BM3D来比。不过BM3D需要手动输入一个预估的噪声等级,对结果非常有影响。

实验结果放到Amazon Mechanical Turk平台上对比,由10个工作者来完成。

控制变量实验

用CAN替换U-net、用sRGB替换原始信号,SSIM或L2替换L1等等。其中不用原始信号那个掉得最快,其余的差并不太多。

这里写图片描述

整体的实验效果显然这个算法无敌,看起来就和白天一样。有时候会稍微过平滑一点,不过看上去视觉效果都还可以。

讨论

低光照成像有很少的光子数量和低信噪比。本文设计了数据驱动的方法,能有效提高成像表现,还贡献了SID数据集。

未来的方向:没有处理亮度域的映射,可能会损失一些两端的信息。缺少动态物体。放大倍数也要人为来选,以后可以让它像自动ISO那样。

算法也不够实时,在两个数据集上需要0.38或0.66秒。

我个人觉得这个算法是很不错的benchmark,但是数据集实在太大了,而且RAM的消耗非常大。