TPAMI 2026 | 雨雾噪模糊全搞定！CPL 框架让图像复原告别单一任务限制

点击上方“小白学视觉”选择加星标或“置顶” 重磅干货第一时间送达在日常拍摄中一张照片可能同时遭遇噪声、雾霾、雨滴等多种退化问题而传统图像复原方法要么只能处理单一退化类型要么在多任务场景下出现提示冗余、功能错位的问题。近期Gang Wu等学者提出的对比提示学习CPL框架为一体化图像复原带来了全新解决方案不仅能精准区分不同退化类型还能在复杂复合退化场景下保持高性能相关研究成果已发表于TPAMI 2026。论文信息题目 Beyond Degradation Redundancy: Contrastive Prompt Learning for All-in-One Image Restoration超越退化冗余面向一体化图像复原的对比提示学习作者Gang Wu, Junjun Jiang, Kui Jiang, Xianming Liu, Liqiang Nie一、一体化图像复原的核心痛点图像复原是计算机视觉的经典研究方向去噪、去雾、去雨、低光照增强等单任务复原方法已趋于成熟但真实场景中图像往往受多种退化叠加影响这推动了一体化图像复原的发展——用一个统一模型处理多类退化问题。实现一体化复原的关键是“任务感知提示”但现有方法存在两大核心问题表示冗余自适应提示学习虽能端到端优化但不同任务的提示表示高度重叠比如去雨和去噪的提示特征纠缠模型难以精准区分任务功能错位显式提示学习依赖预训练分类器生成高区分度特征却因过度追求分类性能丢失了图像重建所需的精细视觉信息导致提示与复原任务需求不匹配。研究者通过香农熵定量验证了这一问题去雨、去雾、不同噪声水平下的提示熵值均在2.08-2.24比特说明提示缺乏任务特异性无法清晰区分不同退化类型。二、CPL框架稀疏对比双管齐下解决痛点针对上述问题CPL框架提出两大核心模块——稀疏提示模块SPM和对比提示正则化CPR从根本上增强提示与任务的对齐性。先来看CPL框架的整体逻辑对应图1图1CPL框架的核心思路是先用SPM解决提示表示冗余问题让每个提示具备强任务特异性再通过CPR解决功能错位问题确保提示能精准引导复原模型完成任务最终实现“区分度”与“重建质量”的平衡。1. 稀疏提示模块SPM让提示“专才化”传统方法为每个任务学习单一密集提示容易导致特征重叠而SPM的核心是“稀疏选择”——从一组提示专家中只为当前退化类型挑选最相关的少数专家生成提示迫使每个提示专家专注于特定退化模式。SPM的结构对应图3主要包含两部分提示专家库包含多个可学习的提示专家每个专家负责捕捉退化特征的不同维度稀疏门控路由器根据输入图像特征通过top-k机制筛选出最相关的k个专家k远小于专家总数仅让这些专家参与提示生成其余专家权重置零。图3这种稀疏机制带来两大优势一是每个专家高度专门化有效减少不同任务提示的重叠二是仅激活少量专家提升了模型的计算效率训练和推理时都无需加载全部提示参数。实验数据验证了SPM的效果对应图4CPL框架下去雨、去雾、不同噪声水平的提示概率分布高度集中比如去雾提示的激活概率达0.97说明提示的任务特异性显著提升熵值大幅降低。图42. 对比提示正则化CPR让提示“功能对齐”SPM解决了提示“能不能区分”的问题而CPR则解决“能不能用对”的问题——确保提示能引导模型生成高质量复原图像而非仅在特征层面有区分度。CPR的创新在于“模型-提示解耦”不直接正则化提示特征而是从复原结果的角度优化提示功能核心逻辑是构建“正负样本对”正样本用正确的任务提示匹配退化图像生成高质量复原结果负样本用错误的任务提示匹配同一退化图像生成低质量复原结果。通过对比损失模型会被鼓励在使用正确提示时生成接近真实值的图像使用错误提示时生成偏差较大的图像。这种机制直接惩罚“提示-退化”错配的情况让提示与复原任务的功能需求精准对齐。残差分析对应图5直观验证了CPR的效果错误提示生成的复原图像在对应退化区域如雨纹、雾的光照区域会出现明显误差说明模型已学会根据正确提示完成特定复原任务。图5三、实验验证全场景碾压现有方法研究者在6类基准测试中验证了CPL框架的有效性涵盖三任务、五任务、七任务、去天气、复合退化、真实世界去天气场景核心结论是CPL能持续提升现有先进复原模型的性能尤其在复杂复合退化场景下优势显著。1. 多任务场景性能领先在三任务去噪去雨去雾设置中CPL加持的模型平均PSNR达32.78 dB超过此前最优的AdaIR方法0.09 dB去雨任务PSNR达38.77 dB较原始PromptIR提升2.40 dB对应表1。在五任务新增去模糊、低光照增强设置中CPL模型平均PSNR达30.55 dB超AdaIR 0.35 dB其中去雾任务较原始PromptIR提升4.28 dB低光照增强超AdaIR 0.65 dB对应表2。视觉效果上对应图6CPL在去噪时能恢复更多纹理细节去雾时色彩保真度更高去雨时可完全去除雨纹且保留复杂结构。图62. 复杂退化场景表现突出在复合退化场景CDD-11数据集包含单一退化、二阶/三阶复合退化中CPL模型平均PSNR达29.07 dB超此前最优的OneRestore 0.60 dB较原始PromptIR提升3.17 dB对应表5。即使是最具挑战性的三阶复合退化低光照雾雨/雪CPL仍能稳定发挥低光照雾雨场景PSNR达25.40 dB较PromptIR提升1.66 dB对应图9。图9在真实世界全天候复原场景WeatherBench数据集中CPL模型平均PSNR达30.35 dB较原始PromptIR提升2.49 dB同时感知质量LPIPS分数也显著优于现有方法对应表6。3. 消融实验验证模块有效性稀疏性影响三任务场景下k2激活2个专家性能最优五任务场景下k1最大稀疏性性能最优说明稀疏机制能适配不同任务复杂度可扩展性增加提示数量时CPL性能提升幅度是PromptIR的3倍且计算量保持恒定SPM仅激活少量专家而PromptIR计算量随提示数量线性增加泛化性CPL可集成到CNN、Transformer、状态空间模型等不同架构中均能带来1 dB左右的PSNR提升验证了“即插即用”的特性。四、总结与展望CPL框架的核心贡献在于首次清晰诊断并解决了一体化图像复原中提示的“表示冗余”和“功能错位”问题通过稀疏提示模块增强提示的任务特异性通过对比提示正则化实现提示与复原任务的功能对齐。从实验结果来看对应图2CPL能在所有评估配置中为现有先进模型带来稳定提升建立了一体化图像复原的新基准。图2未来该研究可进一步探索更细粒度的提示专家划分以及在动态退化场景如实时视频复原中的应用为真实世界图像复原提供更通用、高效的解决方案。这一研究不仅为一体化图像复原提供了新范式也为提示学习在计算机视觉其他领域的应用提供了参考——平衡特征区分度与任务适配性才能让提示真正发挥指导作用。下载1OpenCV-Contrib扩展模块中文版教程在「小白学视觉」公众号后台回复扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。下载2Python视觉实战项目52讲在「小白学视觉」公众号后台回复Python视觉实战项目即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目助力快速学校计算机视觉。下载3人工智能0基础学习攻略手册在「小白学视觉」公众号后台回复攻略手册即可获取《从 0 入门人工智能学习攻略手册》文档包含视频课件、习题、电子书、代码、数据等人工智能学习相关资源可以下载离线学习。交流群欢迎加入公众号读者群一起和同行交流目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群以后会逐渐细分请扫描下面微信号加群备注”昵称学校/公司研究方向“例如”张三 上海交大 视觉SLAM“。请按照格式备注否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告否则会请出群谢谢理解~