TPAMI 2025 | 港城大团队新作：强化学习引导 ODE 轨迹，提升图像复原性能

点击上方“小白学视觉”选择加星标或“置顶” 重磅干货第一时间送达在计算机视觉领域图像恢复一直是核心研究方向之一——从模糊的监控画面中还原清晰细节、让水下拍摄的照片重现真实色彩、给低光照的夜景图像提亮增晰这些看似神奇的操作背后都离不开图像恢复技术的支撑。近期一篇发表于TPAMI 2025的研究论文为基于微分方程的图像恢复方法带来了颠覆性突破提出全新的轨迹优化范式打造出统一的感知图像恢复模型FLUX-IR在超分辨率、去噪、去模糊等7类任务上均达到领先水平。论文信息题目 Learning Efficient and Effective Trajectories for Differential Equation-Based Image Restoration基于微分方程的图像恢复学习高效且有效的轨迹作者Zhiyu Zhu, Jinhui Hou, Hui Liu, Huanqiang Zeng, Junhui Hou一、痛点扩散模型的“两难”——效果与效率不可兼得扩散模型凭借强大的生成能力成为近年图像恢复领域的研究热点。这类方法通过构建微分方程轨迹在低质量图像和高质量图像的分布之间搭建桥梁反向采样实现图像恢复。但实际应用中两个核心问题始终制约着它的落地 一是重建效果易受误差累积影响扩散模型推理时依赖逐步去噪分数估计的微小误差会不断累积导致最终恢复结果失真 二是推理效率低下为保证效果传统扩散模型需要大量采样步骤计算成本高、耗时久难以满足实时应用需求。既要提升恢复质量又要加速推理过程成为扩散模型在图像恢复领域亟待解决的核心矛盾。二、核心突破轨迹优化新范式兼顾效果与效率针对上述痛点研究团队提出了一套全新的轨迹优化框架整体思路可通过下图清晰理解图1该框架主要包含两大核心阶段基于强化学习的轨迹增强以及成本感知的轨迹蒸馏。前者聚焦提升重建质量后者专攻推理效率优化二者结合实现了“鱼与熊掌兼得”。1. 基于强化学习的ODE轨迹增强找对“恢复路径”扩散模型的反向生成轨迹常因概率特性出现不稳定、混乱的问题就像走迷宫时选错了方向越走越偏离目标。研究团队发现确定性的常微分方程ODE轨迹虽然稳定但缺乏多样性无法找到最优路径而随机微分方程SDE能生成多样轨迹却噪声强度固定灵活性不足。为此团队创新性引入调制随机微分方程M-SDE通过动态调整噪声强度生成多样化的候选恢复轨迹再借助强化学习将ODE轨迹与其中最有效的M-SDE轨迹对齐——相当于在迷宫中先试遍多条可能的路径再把最优路线固定下来引导模型沿着最精准的方向完成图像恢复。图2这一过程解决了传统扩散模型分数估计误差累积的问题让模型学习到更优的恢复路径从根源上提升重建质量。2. 成本感知的轨迹蒸馏走快“恢复路径”找到最优路径后如何减少走完全程的步数研究团队提出成本感知的轨迹蒸馏策略通过分析蒸馏过程的成本特性针对性减轻模型学习负担1初始状态插值告别“从噪声起步”传统扩散模型推理时需要从纯高斯噪声开始生成初始阶段的估计误差极大。而图像恢复任务中低质量输入图像虽然退化但仍包含场景的结构、语义信息比随机噪声更有价值。团队利用低质量图像进行初始状态插值将其作为生成过程的起点而非从纯噪声开始。这一步相当于给模型一个“初始参考”大幅降低初始阶段的估计误差让模型从更接近目标的起点出发完成恢复。2低质量图像负向引导校准“前进方向”低质量图像和高质量图像的分布存在显著差异团队将低质量图像作为采样引导通过调整分数函数放大扩散过程中的正向恢复成分进一步修正生成方向。这就像在前进时不断用“错误样本”校准方向让模型少走弯路在更少的步数内达到理想效果。图3上图清晰展示了蒸馏成本的特性蒸馏成本与步数负相关、初始步骤对成本贡献最大、高低质量图像分布差异显著这也印证了上述策略的合理性。三、统一模型FLUX-IR7大任务全面领先基于上述轨迹优化框架研究团队对120亿参数的基础扩散模型FLUX-DEV进行微调打造出统一的图像恢复模型FLUX-IR。该模型可处理超分辨率、去噪、去模糊、低光增强、水下增强、去雨、去雪7类图像恢复任务无需为不同任务单独设计模型泛化能力拉满。1. 任务特定实验性能碾压现有SOTA1水下图像增强在UIEB数据集上FLUX-IR相比HCLR-net、SemiUIR等SOTA方法PSNR提升1.3dB即使是单步模型也优于传统多步方法。在无参考指标评估中FLUX-IR的MUSIQ、CLIPIQA分数最高NIQE分数最低恢复出的图像色彩更自然、细节更清晰水下物体的轮廓和纹理还原度远超对比方法。图42低光图像增强在LOL-v1数据集上FLUX-IR实现0.7dB的PSNR提升LOL-v2数据集上提升超1.1dB。更关键的是其单步推理仅需0.06秒效率远超LLFormer、LLFlow-L-SKFF等方法。视觉效果上即使是极低光照区域的细节如文字、叶片纹理也能精准重建。图53图像去雨在Raindrop、Outdoor-Rain等数据集上FLUX-IR分别实现2.1dB、0.9dB的PSNR提升双步和单步模型均优于专门的去雨扩散模型。对于雨滴严重遮挡的区域如汽车屋顶、户外架子能精准还原物体结构甚至能校正纹理颜色清晰重建模糊的文字和数字。图62. 统一任务验证感知质量与效率双优除了上述任务FLUX-IR在超分辨率、去噪、去模糊、去雪任务中同样表现出色。在感知质量评估中MUSIQ、CLIPIQA等指标全面领先且推理步数大幅减少兼顾了视觉效果和计算效率。这意味着无论是专业的工业场景还是日常的图像修复需求FLUX-IR都能提供高质量、高效率的解决方案。四、总结重新定义微分方程基图像恢复这篇TPAMI 2025论文的核心价值在于提出了一套全新的轨迹优化范式从“找对路径”和“走快路径”两个维度解决了扩散模型在图像恢复领域的核心痛点。其打造的FLUX-IR模型不仅在7类任务上刷新SOTA更实现了“统一模型适配多任务”的突破为图像恢复技术的实用化、规模化落地奠定了基础。未来随着该框架与更高效的网络结构、更丰富的数据集结合基于微分方程的图像恢复方法有望在更多实际场景中发挥作用——从安防监控、医疗影像到手机拍照、影视后期让高质量的图像恢复触手可及。下载1OpenCV-Contrib扩展模块中文版教程在「小白学视觉」公众号后台回复扩展模块中文教程即可下载全网第一份OpenCV扩展模块教程中文版涵盖扩展模块安装、SFM算法、立体视觉、目标跟踪、生物视觉、超分辨率处理等二十多章内容。下载2Python视觉实战项目52讲在「小白学视觉」公众号后台回复Python视觉实战项目即可下载包括图像分割、口罩检测、车道线检测、车辆计数、添加眼线、车牌识别、字符识别、情绪检测、文本内容提取、面部识别等31个视觉实战项目助力快速学校计算机视觉。下载3人工智能0基础学习攻略手册在「小白学视觉」公众号后台回复攻略手册即可获取《从 0 入门人工智能学习攻略手册》文档包含视频课件、习题、电子书、代码、数据等人工智能学习相关资源可以下载离线学习。交流群欢迎加入公众号读者群一起和同行交流目前有SLAM、三维视觉、传感器、自动驾驶、计算摄影、检测、分割、识别、医学影像、GAN、算法竞赛等微信群以后会逐渐细分请扫描下面微信号加群备注”昵称学校/公司研究方向“例如”张三 上海交大 视觉SLAM“。请按照格式备注否则不予通过。添加成功后会根据研究方向邀请进入相关微信群。请勿在群内发送广告否则会请出群谢谢理解~