本文来自ICLR

链接如下：

近年来，随着先进成像传感器和显示器的出现，超高清(UHD)成像技术得到了快速发展。虽然超高清成像提供了广泛的应用，并使图像质量有了显著的不同，但额外的像素也对现有图像处理算法的效率提出了挑战。尽管微光图像增强(LLIE)取得了显著进展，但现有方法，在用于处理真实世界的UHD低光图像时显示出明显的缺点。这是因为(1)大多数方法只关注亮度增强，无法去除噪声;(2)一些方法在空间域中同时增强亮度和去噪，导致增强次优;(3)现有方法主要在低分辨率(LR)数据上进行训练，导致与高分辨率(HR)输入不兼容;(4)部分研究采用重结构，因此在处理超高清图像时效率低下。

本文重点研究了图像恢复中最具挑战性的任务之一，即微光图像增强(LLIE)，需要联合增强亮度并去除传感器和昏暗环境引起的固有噪声。并通过要求在超高清状态下进行高效处理来提高难度

(1)提出了一种UHD LLIE的新解决方案，灵感来自于在傅里叶域中观察到的独特特征。与现有的LLIE方法相比，所提出的框架在解决超高清环境下亮度增强和噪声去除的联合任务方面表现出了卓越的有效性和效率。

(2)我们贡献了第一个超高清LLIE数据集，该数据集包含2150对4K超高清低噪声/正常清晰数据，涵盖了不同的噪声和黑暗级别和场景。

(3)对现有的UHD数据LLIE方法进行了系统分析

实验仅限于图像增强，没有提供视频领域的数据和基准。文章作者的探索没有考虑由于内存限制造成的对抗性损失。此外，由于实验的数据保存为sRGB格式，在极端情况下，实验的数据上训练的模型可能会处理失败，在这种情况下，由于位深度有限，信息会丢失。

(a)将低光噪声(low-noise)图像的振幅与其对应的正常光清晰(normal-clear)图像的振幅交换，生成正常光噪声(normal-noise)图像和低光清晰(low-clear)图像。结果表明，在傅里叶域中，亮度和噪声都能得到一定程度的分解。特别是，大多数亮度信息表示为振幅和噪声是分阶段显示的。这启发作者在傅里叶域中分别处理亮度和噪声。(b) HR正常清晰图像及其LR版本的振幅模式与相应的HR低噪声图像相似而不同。

2.2 THE UHDFOUR NETWORK

UHDFour旨在将UHD低噪声输入图像x∈RH×W ×C映射到其对应的正常清除版本y∈RH×W ×C，其中H、W和C分别表示高度、宽度和通道。图3显示了UHDFour的概述。它由LRNet和HRNet组成，如图3

LRNet的输入首先由Conv层嵌入到特征域中。为了降低计算复杂度，通过双线性插值将特征采样到原始分辨率的1/8。然后，LR特征经过一个编码器-解码器网络，该网络包含四个FouSpa block，带有两个2×downsample和两个2×upsample操作，获得输出特征。输出特征分别输入到FFT得到细化的振幅Ar和相位Pr特征，并通过Conv层估计LR法向清晰图像y8∈RH/8×W/8×C。

LRNet的输出与输入相结合，被馈送到HRNet。具体来说，首先通过PixelUnshuffle (8×↓)将输入x重塑为xpu∈RH×W ×C×64，以保留原始信息，然后馈送给一个Adjustment Block。通过细化的振幅Ar和相位Pr特征，调整块产生调整后的特征，这些特征通过Pixelshuffle (8×↑)重新塑造为输入x的原始高度和宽度。最后，通过双线性插值将估计得到的LR法线清除图像y8调整为原始输入x的大小，并与上采样特征相结合，估计出最终的HR法线清除图像y。

关键组件如下，图4：

FouSpa Block 在2.1中可知亮度和噪声可以在傅里叶域中分解。因此，作者设计了FouSpa块，在傅里叶域并行实现振幅和相位增强，在空间域并行实现特征增强。如图4(a)所示，输入特征分为傅里叶和空间分支。在傅里叶分支中，首先使用FFT来获得振幅分量(A)和相位分量(P)。这两个组件分别被1×1内核提供给两个Conv层。然后，通过IFFT将它们转换回空间域，并将它们与半实例归一化(HIN)单元增强的空间特征连接起来(Chen et al, 2021a)。连接的特征被进一步馈送到Conv层，然后以残差方式与输入特征结合。

Adjustment Block 是HRNet的主要结构，具有轻量化的特点。如图4(b)所示，Adjustment Block与FouSpa Block具有类似的结构。不同的是，在傅里叶分支中，利用从LRNet获得的细化的振幅Ar特征，使用空间特征变换(SFT) 通过简单的仿射变换来调制输入xpu的振幅特征。注意，由于相位的周期性，我们不能对其进行调制。

3、UHD-LL DATASET

作者收集了一个真正的低噪声/正常清除成对图像数据集，其中包含2150对以8bit sRGB格式保存的4K UHD数据。图5中显示了几个示例。

将UHD-LL数据集分为两部分:2000对用于训练，115对用于测试。训练和测试分区在它们的场景和数据中是独占的。作者还确保了训练和测试分割之间像素强度分布的一致性。UHD-LL数据集与现有的配对微光图像数据集之间的比较如表1所示。LOL数据集(两个版本:LOL-v1: 500张图片;lor -v2: 789张图像)与UHD-LL数据集最相关，因为两者都专注于带有噪声的真实微光图像。lor -v2包含lor -v1的所有图像。与LOL数据集相比，UHD-LL数据集具有更广泛的集合，其中考虑了来自丰富类型场景的不同黑暗和噪音水平。

作者的UHD-LL数据集与现有的配对微光图像数据集之间的比较如表1所示。LOL数据集(两个版本:LOL-v1: 500张图片;lor -v2: 789张图像)与作者的UHD-LL数据集最相关，因为两者都专注于带有噪声的真实微光图像。lor -v2包含lor -v1的所有图像。与LOL数据集相比，作者的数据集具有更广泛的集合，其中考虑了来自丰富类型场景的不同黑暗和噪音水平。

4、EXPERIMENTS

Implementation. 作者用PyTorch实现了上述方法，并在6个NVIDIA Tesla V100 gpu上训练它。作者使用ADAM优化器进行网络优化。学习率设置为0.0001。批处理大小为6。作者将每个Conv层的通道固定为16，除了与输出相关的Conv层。作者使用stride = 2和4×4内核的Conv层在编码器中实现2×下采样操作，在LRNet中使用插值在解码器中实现2×上采样操作。除非另有说明，Conv层使用stride = 1和3×3内核。

作者使用UHD-LL数据集中的训练数据来训练模型。图像随机裁剪成大小为512 × 512的patch进行训练。

比较的方法。这些方法包括12种光增强方法:NPE (TIP’13) (Wang et al., 2013) SRIE (CVPR’16) (Fu et al., 2016), DRBN (CVPR’20)(Y ang et al., 2020a), Zero-DCE (CVPR’20) (Guo et al., 2020), Zero-DCE++ (TPAMI’21) (Li et al.,2021b), RUAS (CVPR’21) (Liu et al., 2021b), Zhao et al. (ICCV’21) (Zhao et al., 2021), Enlighten-GAN (TIP’21) (Jiang et al., 2021), Afifi et al. (CVPR’21) (Afifi et al., 2021), SCI(CVPR’22) (Maet al., 2022), SNR-Aware (CVPR’22) (Xu et al., 2022), URetinex-Net (CVPR’22) (Wu et al., 2022)and 2 Transformers: Uformer (CVPR’22) (Wang et al., 2022) and Restormer (CVPR’22) (Zamiret al., 2022). 作者使用他们发布的模型，并使用与作者的方法相同的训练数据对他们进行再训练。

Evaluation Metrics. 作者采用全参考图像质量评估指标PSNR、SSIM (Wang et al, 2004)和LPIPS (Alex版本)(Zhang et al, 2018)来量化不同方法的性能。作者还采用了非参考图像质量评估器(NIQE) (Mittal et al, 2013)和多尺度图像质量转换器(MUSIQ)(在KonIQ-10k数据集上训练)(Ke et al, 2021)来评估恢复质量。因为不同论文报道的定量结果存在分歧。为了公平比较，作者采用常用的IQA PyTorch Toolbox1来计算所有比较方法的定量结果。

4.1 BENCHMARKING EXISTING MODELS

为了验证使用原始训练数据训练的现有LLIE方法的性能，作者直接使用发布的模型对UHD低光图像进行评估。这些原始训练数据集包括LOL (Wei et al., 2018), MIT-Adobe-FiveK (Bychkovsky et al., 2011),Exposure-Errors (Afifi et al., 2021), SICE (Cai et al., 2018), LSRW (Hai et al., 2024), and Dark-Face (Y ang et al., 2020b). EnlightenGAN uses the assemble training data from existing datasets(Wei et al., 2018; Dang-Nguyen et al., 2015; Kalantari & Ramamoorthi, 2017b; Cai et al., 2018).如图6所示，所有的方法都可以提高输入图像的亮度。然而，它们无法产生视觉上令人愉悦的结果。DRBN和enlightenment引入了工件。RUAS-LOL和RUAS-DarkFace会产生过度曝光的结果。在enlightenment和Afifi等方法的结果中都存在颜色偏差，所有的方法都不能很好地处理噪声，甚至放大噪声。

作者还总结了不同方法的量化性能，并验证了表2中常用的UHD微光图像非参考指标的有效性。URetinex-Net的PSNR得分最高，而SNR-Aware-LOLv1的SSIM和LPIPS性能最好。对于非参考指标，在MUSIQ、NIQE和NIMA下，SCI-difficult、Zhao et al-LOL和RUAS-LOL分别是赢家。从图6和表2中，我们发现用于一般图像质量评估的非参考指标不能准确评估增强UHD微光图像的主观质量。例如，RUAS-LOL在结果中遭受了明显的过度曝光，而它在NIMA指标下是最好的表现。综上所述，现有发布的模型用于UHD低光图像增强时，性能不尽人意。黑暗、噪音和人工制品仍然存在于结果中。

4.2 COMPARING RETRAINED MODELS

除了已经发布的模型，作者还在UHD-LL训练数据上重新训练现有的方法，并将它们的性能与作者的方法进行比较。如图7所示，作者的UHDFour产生了一个接近真实地面的清晰和正常光的结果。相比之下，zerodce++， RUAS, Afifi等，SCI和Restormer经历颜色偏差。Zero-DCE, zerodce++， RUAS, Zhao等，Afifi等，SCI等由于其网络设计的局限性，无法去除噪声。这些方法主要集中在亮度增强上。由于使用了Transformer结构，SNR-Aware、Uformer和Restormer具有很强的建模能力。然而，这三种方法仍然会在结果上留下噪声并引入伪影。

定量比较见表3

4.3 ABLATION STUDY

作者通过消融实验，以证明设计中主要成分的有效性。对于FouSpa Block，作者删除傅里叶分支(FB)(#1)，删除空间分支(SB)(#2)，并替换FouSpa Block(即。，没有FB和SB)，具有可比参数的残差块(#3)。作者还将FB替换为SB(即…(#4)。对于Adjustment Block，作者删除幅度调制(AM)(#5)，删除相位引导(PG)(#6)，删除SB(#7)，并删除AM和PG(#8)。作者还将AM和PG替换为两个SB(#9)，并将调整块替换为可比参数的剩余块(#10)。对于最终输出，作者删除LR正常清除结果(y8)的连接，表示为#11。作者还将所有FB替换为SB，标记为#12。除非另有说明，所有训练设置保持不变，作为完整模型的实施，记为#13。

该模型在UHD-LL测试集上的定量比较见表5。没有傅里叶分支(#1)，定量分数显著下降，说明分别处理振幅和相位可以提高增强亮度和去噪性能，分别处理振幅和相位可以提高增强亮度和去噪性能。从#2的结果来看，Spatial分支也提高了性能。然而，用残差块(#3)取代FouSpa Block无法实现与完整模型(#13)相当的性能，这表明了FouSpa Block的有效性。对于Adjustment Block，振幅调制(#5)、相位引导(#6)和空间分支(#7)共同验证其有效性。这样的块不能被剩余块(#10)取代。从#11的结果中，我们可以看到估计LR结果是必要的。此外，将傅里叶分支替换为空间分支(#4，#9，#12)不能达到与完整模型(#13)相当的性能，显示了傅里叶分支的有效性。

5.Rethink

傅里叶域中的一些独特特征所驱动的:1)大多数亮度信息集中在振幅上，而噪声与相位密切相关，2)高分辨率图像及其低分辨率版本具有相似的振幅模式。这一傅里叶运算的用途，可能会超出作者的工作范围，在图像分解和解纠缠等领域看到了潜力。随着效率的提高，它可以被用于需要实时响应的应用程序，例如。增强了自动驾驶汽车在黑暗中的感知能力。