2025最新图像恢复论文拆解：2.8M参数，CNN+Mamba+Transformer融合，RestorMixer到底强在哪？

2025最新图像恢复论文拆解：2.8M参数，CNN+Mamba+Transformer融合，RestorMixer到底强在哪？摘要最近看了一篇很有代表性的图像恢复论文RestorMixer。这篇工作没有继续陷在“CNN、Transformer、Mamba 到底谁更强”这个问题里，而是提出了一种更实用的思路：让不同结构在不同阶段完成最擅长的任务。在高分辨率阶段，模型使用 CNN 快速提取局部纹理和边缘信息；在中低分辨率阶段，再引入 Mamba 和多尺度窗口注意力，增强长程依赖建模能力和区域级特征交互能力。论文在去雨、去雪、超分辨率、混合退化恢复等多个任务上都取得了较好的结果，同时模型参数量仅有2.8M，在精度与效率之间做到了不错的平衡。本文将从问题背景、解决方案、模型结构、实验效果、优缺点与复现思路几个方面，对这篇论文进行系统分析，并附上一份简化版 PyTorch 代码，方便理解和上手。一、为什么这篇论文值得分析？图像恢复一直是计算机视觉中的经典方向。常见任务包括：图像去雨图像去雪图像去模糊图像超分辨率混合退化恢复过去很多方法只针对某一个具体任务设计模型。这样的方案在单任务上往往效果不错，但问题也很明显：泛化性弱，复用性低，换一个任务就要重新设计网络和训练流程。RestorMixer 试图回答一个更实际的问题：能不能设计一个结构相对统一、参数较轻、同时适用于多种图像恢复任务的模型？作者给出的思路不是押注某一种架构，而是把CNN、Mamba、Transformer 风格的注意力机制组合起来，并让它们在不同阶段各司其职。这个设计本身就很有分析价值，因为它体现出一个越来越清晰的趋势：未来很多高性能视觉模型，未必是“单一架构到底”，而更可能是“异构结构协同”。二、论文主要解决了什么问题？这篇论文主要想解决两个问题。1. 单一结构难以兼顾局部细节与全局依赖在图像恢复任务中，模型既要关注局部纹理，也要理解更大范围的上下文关系。例如：去雨任务中，雨纹往往是局部细长结构去雪任务中，雪花可能覆盖较大区域超分辨率任务中，既需要恢复局部边缘，又要保持整体结构自然混合退化任务中，不同退化往往会叠加出现这意味着模型不能只看局部，也不能只看全局。2. 高性能模型往往计算开销较大如果从一开始就在高分辨率特征图上使用复杂的全局建模模块，计算成本会很高，推理速度也会受到明显影响。因此，论文真正要解决的是：如何在精度、效率和通用性之间找到一个更合理的平衡点。三、RestorMixer 的核心思路是什么？这篇论文的核心设计可以概括成一句话：高分辨率阶段用 CNN，中低分辨率阶段用 Mamba + 多尺度窗口注意力。这个思路看起来简单，但非常实用。1. 为什么高分辨率阶段先用 CNN？输入图像刚进入网络时，特征图尺寸最大，计算量最高。如果这时候直接使用复杂的全局建模模块，开销会非常大。而 CNN 在这个阶段有两个明显优势：处理局部纹理效率高对浅层边缘、纹理和细节提取稳定所以论文把高分辨率阶段交给 CNN，先完成局部特征提取。2. 为什么中低分辨率阶段再引入 Mamba 和注意力？随着编码器逐步下采样，特征图空间分辨率下降，计算压力减小。这时候再引入 Mamba 和注意力模块，就可以在相对合理的成本下建模更大范围的信息关系。因此作者在后续阶段引入：Mamba 模块：负责长程依赖建模多尺度窗口自注意力模块：负责多尺度区域关系建模与特征细化这就使得模型同时具备：较强的局部建模能力较好的全局感受能力相对可控的计算成本四、模型结构怎么理解？RestorMixer 整体上可以理解为一个三阶段 Encoder-Decoder 结构。其基本流程如下：输入图像 ↓ 卷积特征提取 ↓ Stage 1：高分辨率特征建模（CNN） ↓ 下采样 ↓ Stage 2：中分辨率特征建模（Mamba + 多尺度窗口注意力） ↓ 下采样 ↓ Stage 3：低分辨率特征建模（Mamba + 多尺度窗口注意力） ↓ 解码器逐步上采样 ↓ 跳跃连接融合特征 ↓ 输出恢复图像从功能上看，模型主要由以下几个部分组成。1. 浅层特征提取模块输入图像先经过卷积层映射到更高维的特征空间。这一层的作用主要是：提取浅层边缘信息保留局部纹理特征为后续编码阶段提供基础表示2. RDCNN：高分辨率阶段的局部建模模块在高分辨率阶段，论文使用卷积模块完成局部特征建模。这一设计比较合理，因为高分辨率下更适合优先提取局部信息，而不是直接做重型全局交互。这一阶段的主要任务是：提取边缘和纹理保证前端计算效率为后续全局建模打好基础3. M-T Block：论文的核心模块RestorMixer 的真正核心在于M-T Block。它主要由两类模块交替组成：EMVM BlockMWSA BlockEMVM Block这一部分偏向于 Mamba 风格的长程依赖建模。可以理解为：让网络在较大范围内理解图像结构关系，而不仅仅盯着局部纹理。MWSA Block这一部分是多尺度窗口自注意力模块。相比固定窗口注意力，多尺度窗口可以让模型从不同感受野观察图像区域，更适合处理复杂退化。这两个模块交替工作后，模型就具备了比较完整的“局部 + 全局”协同建模能力。4. Decoder：逐步恢复图像分辨率经过多阶段编码以后，模型进入解码阶段。解码器通过逐步上采样恢复空间分辨率，并结合跳跃连接，把浅层细节和深层语义特征进行融合，最终输出恢复结果。五、这篇论文的方法为什么有效？从结构设计上看，我认为它有效主要有三个原因。1. 局部建模和全局建模分工明确这篇论文不是简单地把多个模块叠在一起，而是根据不同阶段的特征需求进行安排：高分辨率阶段：优先抓局部细节中低分辨率阶段：加强全局关系和区域交互这种分工比单一架构从头堆到尾更符合图像恢复任务本身的特点。2. 多尺度窗口注意力增强了复杂退化建模能力现实中的图像退化往往不是单一尺度发生的。例如：雨纹可能很细雪花覆盖范围可能较大模糊可能同时影响局部边缘和整体结构如果只使用单一窗口大小，模型看到的信息范围会受到限制。多尺度窗口机制可以让模型同时从不同尺度观察图像区域，因此更适合复杂恢复任务。3. 结构设计兼顾精度和效率很多高性能模型虽然指标漂亮，但参数量大、计算量高，落地并不轻松。RestorMixer 的特点在于：没有一味追求堆大模型，而是在较小参数量下取得了不错的综合性能。这一点对于实际部署是很重要的。六、论文的实验效果怎么样？从论文给出的实验结果来看，RestorMixer 在多个任务上都表现出了较强的竞争力。1. 去雨任务在多个去雨数据集上，RestorMixer 取得了比较好的平均表现。论文中给出的结果表明，它在一些典型测试集上的恢复精度优于多种对比方法，同时参数量仅有2.8M，体现出较好的轻量化优势。这一结果说明：模型不是只在某一个任务上有效在复杂雨纹恢复中，结构设计确实发挥了作用小参数模型也可以取得较强的恢复能力2. 去雪任务在去雪任务上，RestorMixer 也表现出了较强的竞争力。这说明它并不是只对细粒度线性退化有效，在更复杂的大区域覆盖退化场景下依然具备不错的恢复能力。3. 超分辨率任务超分辨率部分很值得关注。虽然在某些专门为 SR 设计的大模型面前，它未必在所有数据集上都绝对领先，但作为一个通用恢复模型，能够在 SR 任务上保持较好的表现，本身已经说明了模型设计的有效性。4. 混合退化恢复任务混合退化恢复更能体现模型的通用能力。因为这类任务通常同时存在多种退化因素，对模型的适应能力要求更高。论文结果表明，RestorMixer 在这一任务上依然具备较强表现，说明其异构结构设计具有较好的泛化性。七、这篇论文的亮点在哪里？如果从“值得学习什么”的角度看，我觉得它主要有以下几个亮点。亮点一：不是简单混搭，而是按阶段分工很多看起来“融合多结构”的论文，本质上只是把几个模块拼起来。而 RestorMixer 更重要的一点在于：它明确区分了不同阶段的职责，这一点比单纯堆模块更有价值。亮点二：Mamba 和注意力不是替代关系，而是互补关系论文没有把 Mamba 当成 Transformer 的简单替代品，而是让二者在模型中承担不同任务。这体现出一个比较成熟的设计思路：Mamba 负责长程建模多尺度注意力负责特征细化这种关系不是“谁替代谁”，而是“谁补足谁”。亮点三：轻量化表现较好参数量只有2.8M，这一点非常适合工程向分析。因为对于很多真实应用场景来说，模型大小、速度、显存占用往往和精度同样重要。八、这篇论文有没有不足？有，而且这些不足也值得在分析时指出来。1. 结构复杂度高于纯 CNN 模型虽然参数量不大，但由于引入了多种异构模块，整体实现难度要高于传统卷积网络。如果想做真正的工程部署，代码复杂度、模块兼容性和推理优化都需要额外考虑。2. 对复现者不算特别友好这类融合 Mamba 和注意力的模型，阅读论文时看着清楚，但真正自己写出来、训起来，并不简单。尤其是涉及：特征维度变换窗口划分多阶段堆叠解码器和跳跃连接对齐这些地方都容易出错。3. 通用性虽然不错，但仍然集中在低层视觉恢复这篇论文验证的任务主要还是低层视觉恢复。它在这些任务上表现较好，但是否能进一步迁移到更多复杂视觉场景，还需要更多实验支撑。九、适合哪些人读这篇论文？