低照度增强调研情况
目前使用的低照度增强方法主要包括四种:基于直方图均衡化的方法(HE);基于Retinex理论的方法;基于去雾模型的方法以及基于深度学习的方法。这些方法都是基本的方法,对于其他的一些方法大都是基于这些方法进行改进得到的。
基于直方图均衡的方法
直方图均衡化的思想就是将图像的灰度直方图从较为集中的某灰度区间拉伸至全部灰度范围内,用以扩大图像灰度值的范围,提升图像对比度并突出部分细节效果。对于一副图片来说其直方图可以用来表示灰度值的分布。其中如果大部分像素集中在低灰度区间则图片整体较暗,相反则图片较亮。所以我们可以对于灰度分布图采用均衡化的方法将其灰度的分布范围在整个区域平均化,这样就相当于减少了低灰度的像素个数,整个图片就会变亮一些。
基于Retinex的方法
Retinex方法主要是基于人类的视觉系统可以不受光源强度和照射不均匀等不确定因素的干扰而准确感知物体的颜色和亮度这一理论提出的。提出这一理论主要是基于真实世界中物体的颜色由光与物体的相互作用产生的,其本身是无颜色的;构成颜色的基本单元是红、绿、蓝三原色光波、单位区域的颜色由红绿蓝三原色光波决定这几个理论。
根据上述理论,我们可以得出物体的颜色不受反射光强和非均匀光照的影响仅有物体的反射光线决定。基于此,我们假设如下公式:,其中表示视觉系统最终的图片(人看到的图片),表示物体特有的性质称为物体的反射特性,表示入射光的影响。根据公式我们需要的是,已知的是,需要估计的是。
为了简化计算,我们对上式两边同时取对数(乘除变加减)则可以得到:
由上式可知,我们只需要估计出就可以得到对应的。对于的估计采用高斯卷积函数进行:
其中表示的是高斯函数,*表示卷积运算。的表达式为:
表示的是一个尺度,表示高斯函数的尺度选择,其满足。该式中是需要求的。因此对于一个彩色通道的图片,其某一通道对应的图像变换后为:
然后在利用就可以求出每一个通道的值。最终就得到了每个通道处理后的值进而得到处理后的图片。
上述方法采用了一个高斯核,因此一般被称为单尺度Retinex方法(SSR)。现在假设整个过程采用了个高斯核,则每个在评估的时候就会出现个不同的值,如果把这些值综合起来就行成了多尺度的Retinex方法(MSR),其具体公式如下:表示权重。
由于MSR会存在色差,有人提出来在通道上加入调节因子来消除色差,其具体如下:
表示的是调节因子,其对应的取值方式不同往往会产生不同的效果。现在常用的有基于其各通道的均值 ,方差计算出最小值和最大值,然后用最小值和最大值进行归一化。
其中取值越小,增强效果越明显,一般取2-3最适宜。
基于去雾模型的图片增强
去雾模型一般是针对雾霾或者大雾天气,考虑到空气中的悬浮物导致的图片效果不佳时需要采用的方法。该方法假设:
其中表示待去雾的图像,表示无雾图像,表示全球大气光成分,表示折射率(大气传递系数)。在使用过程中是要求的,为输入的,和是需要通过暗通道先验来进行估计的。
暗通道先验规律是指每一个图片的局部区域都很有可能有至少一个颜色通道有很低的值。根据这个规律我们定义了暗通道的值如下:
通过上式可以看出,求暗通道的值首先是求出通道的最小值。在根据通道最小值求出区域内的最小值。
根据暗通道的值我们可以估计大气折射率:
根据暗通道的值估计大气光:
(1):选取暗通道图像中暗通道最亮的0.1%。
(2):在取出的位置中,对应到原图找出最高亮度点的值作为大气光。
然后回带到开始的式子中就可以求出对应的去雾图:
基于深度学习
使用卷积神经网络来进行低照度增强的资料较少,目前只发现了一种方式,并且也没有固定的官方模型,只是一个简单的7层卷积网络,由于图片增强的目的是把亮度低的地方亮度变高,所以该模型要求输出的大小和原来的相同,因此该网络没有池化层。其具体结构如下:
上述就是采用的网络结构,由于图片增强的目的只是为了提高亮度,同时并不希望色彩方面的值发生改变而引起不必要的色彩差异。因此本次采用的是将RGB色彩空间转化为HSI空间,然后再对I分量进行卷积处理,最后再转换成RGB空间合成最后的图片。其具体流程如下:
各方法的优劣
上述方法是最近看到的低照度增强使用较多的方法,其各有优缺。现在将其总结如下:
直方图法可以有效的提高对比度,并且处理速度快。但是容易出现色差并且灰度级的合并会丢失细节信息。
SSR方法假设光照是缓慢变化的,但是真是情况下光照是不平滑的,因此采用这种方法在亮度差异大的区域会产生光晕。
MSR方法能够较好的提高图片的对比度和亮度,但是图片边缘锐化不足,容易出现光晕或者图片泛白。
去雾模型虽然能够在一定程度上提高视觉质量,但是增强后的图像往往不符合场景,因为我们的场景是光线不够导致的图像变暗,而不是由于悬浮物遮挡导致的。
基于深度学习的方法能够避免传统方法的参数调节问题,也能够使色彩更加协调,但是缺乏训练样本,在训练时我们必须要给出同样场景只有照度不同的图片,因此该方法也比较难实现。
参考文献
《基于深度卷积神经网络的低照度图像增强》马红强1 ,马时平1,许悦雷1,2,朱明明1;
《基于卷积神经网络的水下图像增强算法研究》 丁雪研