从David Marr的视觉计算理论，聊聊为什么你的CV模型总感觉“差点意思”

从David Marr的视觉计算理论看现代CV模型的认知鸿沟当你盯着监控画面里误将树影识别为行人的AI系统或是看着医疗影像分析模型对轻微噪点就产生误诊时是否思考过为什么这些在测试集上表现优异的模型面对真实世界却总显得不够聪明这背后或许隐藏着一个被多数工程师忽视的认知框架——David Marr在40年前提出的视觉计算理论层次。1. Marr理论的三重境界与当代CV实践的错位1982年出版的《视觉计算理论》中Marr将视觉系统分解为三个层次计算理论Computational Theory、算法与表象Algorithm/Representation和硬件实现Hardware Implementation。这种分层如同金字塔计算理论层Why ↓ 算法与表象层How ↓ 硬件实现层What现代深度学习模型大多停留在底层两级的优化。以ResNet为例硬件实现GPU矩阵运算、CUDA核心优化算法层面残差连接设计、卷积核参数学习计算理论多数论文从未讨论为什么要用卷积处理视觉任务这种现象在Transformer架构中更为明显自注意力机制最初是为序列建模设计的当被迁移到视觉领域时研究者们更关注位置编码如何修改、计算复杂度如何降低却很少追问为什么这种全局关系建模适合视觉理解。2. 表象层陷阱当模型学会看却不懂见Marr特别强调**表象Representation**的层次性。他提出人类视觉从二维图像到3D理解的四个阶段表象层次内容描述典型CV技术对应图像原始像素强度数据增强、色彩标准化要素图边缘/纹理等局部特征SIFT、CNN浅层特征2.5D图观察者为中心的深度/朝向立体匹配、光流估计3D模型物体为中心的几何理解NeRF、三维重建当前主流模型存在两个典型问题层次混淆端到端训练让模型直接从像素映射到语义标签跳过了中间表征的显式构建目标错位ImageNet竞赛催生的准确率导向使优化目标与建立对物体的理解这一本质目标偏离这在对抗样本攻击中表现得尤为明显——人类能识别被干扰的熊猫依然是熊猫而模型却可能将其判定为长臂猿。因为模型学习的是像素到标签的统计关联而非Marr所说的物体本质描述。3. 计算理论缺失的代价五个实战困境解析3.1 领域适应中的脆弱泛化当训练数据城市街道与测试环境乡村道路存在分布差异时模型性能会显著下降。从Marr视角看这是因为模型没有掌握道路的本质计算理论——无论是沥青还是砂石路面可行驶区域的空间连续性才是关键特征。3.2 小样本学习的根本挑战人类儿童看几次长颈鹿图片就能准确识别而模型需要成千上万样本。差异在于人类建立长脖子斑点四足的3D概念模型机器学习学习像素组合的统计规律3.3 视频理解的表层关联当前视频动作识别模型如3D CNN往往通过帧间差分捕捉运动却难以理解开门与关门是同一行为的两种状态。这违背了Marr强调的建立物体状态与动作关系的描述。3.4 三维重建的几何迷失NeRF等新技术能渲染逼真3D场景但重建的椅子可能缺少可坐性这一功能理解。正如Marr指出3D表象必须包含物体的功能属性。3.5 可解释性工具的局限Grad-CAM等热力图方法显示模型看的位置但这与人类理解的位置常常不一致。因为热力图反映的是像素级重要性而非概念级推理。4. 向Marr理论回归CV系统设计的三个转向4.1 从准确率导向到本质理解在图像分类任务中可以引入概念瓶颈模型Concept Bottleneck Models# 传统端到端模型 model Sequential([ResNet50(), Dense(num_classes)]) # 概念瓶颈模型 features ResNet50()(input_img) concepts ConceptLayer(defined_concepts)(features) # 显式概念层 predictions Dense(num_classes)(concepts)这种架构强制模型先学习人类定义的中层概念如翅膀、喙再组合概念进行预测。4.2 多表象联合建模借鉴Marr的层次化思想可以设计混合表征网络要素级CNN提取局部特征2.5D级深度估计分支3D级可微分渲染模块语义级Transformer构建关系各层次表征通过跨层注意力机制交互而非简单的特征拼接。4.3 任务驱动的计算理论设计在开发新模型时建议先回答Marr的三个基本问题计算目标系统要解决什么本质问题如判断物体可抓取性而非输出抓取坐标信息约束输入输出间的信息转换原理是什么效能标准如何衡量描述的质量如物理可行性像素精度5. 前沿探索当Marr遇见生成式AI扩散模型在图像生成中的突破带来新启示——去噪过程隐式构建了从噪声到清晰图像的多个表征层次。这与Marr的层次理论惊人地吻合噪声图原始感官输入中间状态逐步显现的要素和结构最终输出完整3D理解的2D投影或许未来的视觉理解系统应该像扩散模型那样显式建模表征演化过程引入物理引擎作为3D理解的归纳偏置将符号推理与神经网络结合实现计算理论层的表达在波士顿郊外的实验室里35岁的Marr不会想到他留下的理论框架会成为诊断AI视觉局限性的最佳工具。当我们在PyTorch中调试又一个SOTA模型时或许该停下来思考这个修改是在逼近视觉的本质还是继续在表象层内卷