这篇论文写的一眼难尽。可能是因为涉及到很多的内容，总想全面，但是却又无法完美。很多细节都在附录里，正文看完在看附录，你会发现原来是这样。。。

这是一篇在底层视觉任务上构建更有效的局部+全局交互策略的文章，再多个任务上实现了良好的效果。

图像处理任务，例如恢复和增强，都是重要的计算机视觉任务，这些主要的目的在于从退化的输入上产生理想的输出。不同类型的退化可能需要不同的图像增强策略，例如去噪denoising、去模糊deblurring、超分辨super-resolution、去雾dehazing、低亮度增强low-light enhancement和其他的一些任务。随着精细构建的大规模训练集的增加，最近许多高性能方法基于精心设计的CNN架构，在许多任务上获得了卓越的效果。提升模型的架构设计是大多数计算机视觉任务提升性能的关键之一，包括图像恢复领域。

现在许多Transformer和MLP的工作在目标识别等任务中体现出来了不错的效果，但是其在底层视觉任务上的应用中仍然充满挑战。最近有这样一些尝试：

所以，作者们将困难归因于这些结构并不够灵活来支持高分辨率的图像，以及他们在局部注意力上的局限。

为此作者们提出了一种基于multi-axis多轴思想[HiT: Improved Transformer for High-Resolution GANs]改进的MLP结构，称为MAXIM，这可以作为一种图像处理任务中有效且灵活的通用视觉骨干架构。这是一种UNet分割的分层结构，通过使用空间门控MLP实现了长距离的交互。

具体而言，MAXIM包括了两种MLP构建单元：

这些设计仅仅基于MLP操作，而且都受益于全局和全卷积的属性。这两种属性对于图像处理任务来说都是很需要的。

这些提出的核心构建块基于多轴策略，并行式的捕获局部（Conv）和全局（MLP）的交互（局部感受野+全局感受野）。在每个分支上，通过单轴混合信息，这种基于MLP的操作变成了全卷积的形式（输入形状无约束），并且可以相对于图像大小实现线性放缩（线性复杂度），这显著增加了结构对于密集图像处理任务的灵活性，而且提出的方法也不需要使用大规模预训练。

最终提出的方法在多个底层视觉任务——去噪、去模糊、去雨、去雾和增强——上获得了最好的效果。

延续了最近的恢复模型的形式，作者们基于多阶段范式，通过堆叠提出的结构，构建了一种简单有效的多阶段、多尺度的“编码-解码”架构。

对于多阶段结构中的每一个阶段，都可以称为一个独立的MAXIM骨干模型，者遵循编解码设计模式。

观察到具有较小感受野（例如Conv3x3）的操作对于UNet网络的性能至关重要，因此作者们在模块设计中采用了混合形式。使用卷积处理局部，使用MLP处理长距离依赖，从而充分利用他们（to make the most of them）。

因此本文的设计主要在于如何简单有效的实现局部交互、全局交互、以及局部和全局信息的整合。

对于整体模型而言，有许多零碎的调整：

这份工作收到了Improved Transformer for High-Resolution GANs（HiT）中引入的多轴块自注意力机制的启发，但是这篇参考工作中的设计并不太适合与图像恢复或者是图像增强任务，因为要面对的图像通常具有任意的形状（这里解释的有些牵强，因为严格来讲，本文的方法也没法处理任意形状，毕竟每个模块的划分必须保证边长可以被b和g拆分，只能说这里的方法基于MLP形式更加简单）。

为此作者们针对图像处理任务，通过构建分离头形式的多轴门控MLP块（MAB），从而扩展了多轴的概念。

具体操作流程：

这里的策略实际上体现出了一种可伸缩的将1d操作应用在二维图像上的方法，这具有灵活性和通用性。实际上，可以用其他的算子，例如空间MLP、自注意力、甚至是傅里叶变换等替代这里实际使用的gMLP。

UNet的一种常见改进，是利用纹理特征来选择门控skip connections的特征传播，可以使用交叉注意力实现。这里实现了一种轻量级的替代结构CGB。他是MAB的一种扩展，可以实现多个特征的交互。

计算流程：

- 作者们一步采用了多阶段框架，因为与扩大模型宽度或高度相比，发现它更高效。

实验中比较有趣的发现是，学习到的权重显示出了局部性和空间不变性。令人惊讶的是，global grid gMLP层也学会了执行“局部”操作（但在均匀的扩张网格上）。同一层中block gMLP和grid gMLP的空间权重，通常显示出相似或耦合的形状，这可能归因于多轴gMLP块中的并行分支设计。但是，作者们尚未观察到这些在不同阶段的滤波器如何变化的清晰趋势。