低照度水下图像增强论文(L2UWE)+代码+评价方法

您所在的位置:网站首页 去除雾气设备 低照度水下图像增强论文(L2UWE)+代码+评价方法

低照度水下图像增强论文(L2UWE)+代码+评价方法

2023-07-15 07:56| 来源: 网络整理| 查看: 265

《L2UWE: A Framework for the Efficient Enhancement of Low-Light Underwater Images Using Local Contrast and Multi-Scale Fusion》

论文作者:Tunai Porto Marques, Alexandra Branzan Albu 发表会议:CVPR 发表时间:2020 论文代码:GitHub代码(matlab)

文章目录 《L2UWE: A Framework for the Efficient Enhancement of Low-Light Underwater Images Using Local Contrast and Multi-Scale Fusion》摘要一、先前工作支持1、Dark Channel Prior-based dehazing of single images2、Contrast-guided approach for the enhancement of low-light images3、Multi-scale fusion for image enhancement 二、本文方法1.用于昏暗场景的对比度感知的局部大气照明模型(局部窗口 γ 和局部对比度感知的大气光 A L C G ∞ c A_{LCG∞}^c ALCG∞c​)2、融合过程 三、评价总结

摘要

由于水下拍摄的图像通常会遭受次照明设备的困扰,这些照明设置可能会隐藏重要的视觉特征,从而降低图像的质量。基于此,论文提出了一种新颖的单张低照度水下图像增强器L2UWE。它是基于我们的观察结果,即可以从局部对比度信息中得到有效的大气照明模型。论文创建了两个截然不同的模型,并从中生成了两个增强的图像:一个突出显示更精细的细节,另一个集中于消除黑暗。在强调高亮度、显著性和局部对比度的区域时,采用多尺度融合过程来组合这些图像。并使用7个指标对水下和低照度场景的7中最新的增强方法进行测试,展示了L2UWE的高性能。

一、先前工作支持 1、Dark Channel Prior-based dehazing of single images

(1)成像模型 等式1将有雾图像I的形成描述为两个附加分量之和:直接衰减和空中照明。 在这里插入图片描述 其中第一项,直接散射D(x)=J(x)t(x),表示由于介质的特性,场景辐射所遭受的衰减;第二项,V(x)= A ∞ A_∞ A∞​(1-t(x)),由于前向散射光,可能会导致有雾图像的色偏。而整个去雾过程就是通过确定t和 A ∞ A_∞ A∞​来得到无雾图像J。 何凯明等人提出暗通道先验来推测出大气光 A ∞ A_∞ A∞​,进而得到一个求t的简单公式。 (2)暗通道 J d a r k J^{dark} Jdark 暗通道可以由公式2得到:在这里插入图片描述 即暗通道 J d a r k J^{dark} Jdark是首先求出图像I中三个颜色通道在像素y处的最小值,然后对于求得的单通道图像,求其在块Ω中的最小值。 (3)大气光 A L ∞ c A_{L∞}^c AL∞c​ 可以通过查看暗通道(其代表输入图像中的大部分不透明区域)中前0.1%或0.2%的最亮像素来推断单张三维图像的全局大气光矢量 A ∞ c A_∞^c A∞c​(c∈{red,green,blue}),然后考虑来自输入图像I的相同坐标中亮度最高的像素。Ancuti等人发现单一的全局值可能无法代表低照度场景的照明,因此建议根据等式3来估算斑块内部局部大气光强度: 在这里插入图片描述 x代表局部大气光中的空间坐标,y代表“最小”图像 I m i n I_{min} Imin​(z)= m i n z ∈ Ω ( y ) min_{z∈Ω(y)} minz∈Ω(y)​(I(z))中的空间坐标,z代表有雾图像I中的空间坐标。对于每个颜色通道c,局部大气光 A L ∞ c A_{L∞}^c AL∞c​的计算方法是:首先找到 I m i n c I_{min}^c Iminc​(代表了图像 I c I^c Ic中在块Ω内的最小强度);然后计算出在图像 I m i n c I_{min}^c Iminc​的Ψ块内的最大强度。通过争论光源的影响已经超出了补丁Ω的范围,Ancuti等人使用了Ω的两倍大小的补丁Ψ。接下来计算传输图t。 (4)透射图t和恢复图像J 在这里插入图片描述 此处 A ∞ c A_∞^c A∞c​会被 A L ∞ c A_{L∞}^c AL∞c​替代!!! 在这里插入图片描述

2、Contrast-guided approach for the enhancement of low-light images

文献[39]观察并解决了在整个图像去雾过程中使用单一尺寸斑块带来的三个问题:

小斑块尺寸会导致恢复场景的辐射过饱和;较大的斑块尺寸可以更好的消除雾度,但是由于他们认为透射轮廓(即到达相机的光量)在斑块内部是恒定的,因此在强度不连续周围可能会出现不需要的光晕;单个斑块尺寸通常对于不同比例的图像不是最佳的。

Marques等。 [39]认为图像的均匀区域具有较低的对比度,并且假设它们的透射轮廓大致相同,这适用于大小各异的色块(特别是从3×3到15×15)。 在这些情况下,使用较大的补丁大小会产生较暗的暗通道(加强DCP),因此是首选。 对于具有复杂内容(即强度变化)的区域,[39]使用较小的色块大小来捕获传输轮廓的细微差别。 为了确定图像I中每个像素的正确斑块尺寸,[39]引入了对比度编码图像(CCI),其计算总结在公式6中: 在这里插入图片描述 Ω i Ω_i Ωi​∈I代表一个以x为中心像素的大小为(2i+1)*(2i+1)的正方形块,σ表示块内强度的标准差。因此CCI由i填充,表示在每个像素位置x生成标准差最小的补丁的大小。还引入了一个公差的变量,以通过更改不同i的标准差的值来鼓励使用更大的补丁。 CCI后来用于计算透射图和暗通道,即用于使用自适应的补丁大小。

3、Multi-scale fusion for image enhancement

文献[7]提出从原图中计算出两张输入图像 I k I^k Ik(k={1,2}):一张白平衡后的图像+一张对比度增强后的图像。然后计算出每个输入 I k I^k Ik的重要特征的三个权重图:

亮度权重 W L k W_L^k WLk​:负责为具有良好可见性的像素分配高值,该权重图是通过观察输入的R、G、B三通道与亮度通道L(给定位置的像素强度的平均值)之间的偏差来计算;色度权重 W C k W_C^k WCk​:控制输出图像的饱和度权益,可以通过测量每个颜色通道与输入图像之间的标准差来计算;显著性权重 W S k W_S^k WSk​:为了突出显示具有更高显著性的区域,可以通过将输入的平均值减去其高斯平滑后的结果。

为了最小化权重图的简单组合引入的视觉伪影,[7]使用多尺度融合策略,其中针对每一个输入图像的归一化后的权重图 W k ˉ \bar{W^k} Wkˉ(即所有三个权重的乘积之间以及它们的和之间按像素划分)计算高斯金字塔,而输入图像 I k I^k Ik分解为拉普拉斯金字塔。考虑到两个金字塔的层数相同,则可以使用公式7来进行融合: 在这里插入图片描述

二、本文方法

[39]把大气光简化为单个3通道值,此常见的做法是假设光源大部分是白色的,可以很好的与阳光下的航空有雾图像配合使用,但是不能正确的表示低照度图像,因为这些场景可能呈现不均匀和非白色照明,因此这种错误的表示会导致图像中过多的黑暗被去除,最终导致过曝光或具有褪色的外观。 而L2UWE,通过推导更逼真的水下照明模型,来提出更好的图像增强机制。论文认为局部对比度信息是在两个不同的“镜头”下得出照明分布模型的指导参数:一个集中来捕获原图更精细的细节:另一个更宽泛的来捕获原图的细节,考虑更大的区域来创建更明亮的模型。每个模型驱动不同的除雾过程,并使用多尺度融合方法将输出合并。 这种融合策略既保留了两个照明模型获得的细节,又保留了黑暗消除功能。 结果,L2UWE的输出大大降低了原始图像的暗度,同时突出了它们的强度变化。

1.用于昏暗场景的对比度感知的局部大气照明模型(局部窗口 γ 和局部对比度感知的大气光 A L C G ∞ c A_{LCG∞}^c ALCG∞c​)

为了解决上述问题,在确定局部照明估计时,L2UWE考虑每个空间位置x处的CCI代码,并计算每个颜色通道的大气照明。 可以发现,具有高对比度(CCI中的代码c更低)的区域,应根据照明源对其产生的异质影响,通过考虑更大的区域来模拟其局部照明组件;反之,具有低对比度(CCI中的代码c更高)区域应该以大致均匀的方式照明,只需研究较小的斑块即可建模局部照明。公式8提供了上述推理的形式,反映了CCI代码c与当地大气照明模型计算中使用的照明平方补丁的大小之间的关系: 在这里插入图片描述 其中m表示任意乘数,c表示CCI中特定位置的代码c。参数m对对比引导的色块具有乘数作用,但是还会根据色块大小添加偏移量以逐步约束它:较小的色块将比较大的色块受到更大的影响。 则大气光的估计为: 在这里插入图片描述 创新点:此大气光使用的对比度感知的补丁大小!!! 创新点:此大气光使用的对比度感知的补丁大小!!!

2、融合过程

在公式8和公式9中参数m的选择确定了局部窗口的大小,从而确定了每个照明源的影响半径。即m越高,照明模型就越亮,虽然这会使得图像不那么暗,但是也可能会在图像区域应用过多的辐射校正(即使强度接近饱和度),并隐藏重要的强度变化。为了获得两种选择的优势,论文推导了两个 A L C G ∞ c A_{LCG∞}^c ALCG∞c​:一个m=5;另一个m=30。这些照明模型与公式4一起用于确定两个透射图。这些图使用快速导向滤波器,然后用于恢复原图的两个无雾图。使用每个 A L C G ∞ c A_{LCG∞}^c ALCG∞c​获得的图像增强结果用作多尺度融合过程的输入 I k I^k Ik。 为了正确组合两个输入,论文从每个输入计算三个权重图:显著性、亮度和局部对比度。这些权重图确保在融合输出中会强调输入中具有较高显著性和对比度的区域,或具有边缘和纹理变化的区域。 (1)显著性权重:将输入k的高斯平滑图减去该相同输入的平均强度值。 在这里插入图片描述 (2)亮度权重图: 在这里插入图片描述 将三个权重图组合为归一化权重图 W k ˉ \bar{W^k} Wkˉ,从中得出5层高斯金字塔G{ W k ˉ \bar{W^k} Wkˉ}。 将每个输入 I k I^k Ik分解为5级拉普拉斯金字塔L{ I k I^k Ik},使用公式7进行多尺度融合。 L2UWE的输出减少了原始图像的暗度,保留了色彩,并增强了重要的视觉功能。

三、评价

论文中使用的7种评价指标分别是:

UIQM:该无参考水下图像质量指标收到人类视觉系统的启发,结合了色彩、清晰度和对比度的测量;PCQI:一种用于评估对比度变化图像质量的方法,PCQI考虑局部对比度质量图;GCF:此度量标准反映了整个图像中存在的对比度级别(去雾图像通常呈现较高的对比度);e- and r-scores:根据原始图像和增强图像,分别指示这些边缘像素的可见边缘数量增加和梯度值增加;FADE:测量感知到的雾量(或反转图像中的暗度),从而在我们的分析中将较低的值分配给照明更好的图像;SURE:一种流行的方法,可提取有用的特征进行图像匹配,重建,拼接,目标检测等。 总结

感觉本论文主要是先前工作支持部分对三种方法的理解,在此基础上后续的创新点就比较容易明白。



【本文地址】


今日新闻


推荐新闻


CopyRight 2018-2019 办公设备维修网 版权所有 豫ICP备15022753号-3